91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

HDFS有哪些顯著的特點

發布時間:2021-12-09 11:49:03 來源:億速云 閱讀:552 作者:小新 欄目:大數據

小編給大家分享一下HDFS有哪些顯著的特點,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!

分布式文件系統(Hadoop Distributed File System)是Hadoop核心子項目,為Hadoop提供了一個綜合性的文件系統抽象,并且只會實現了多類文件系統的接口。HDFS基于流式數據訪問、存儲和處理超大文件。

在HDFS中引入了存放元數據信息的服務器:NameNode和實際存放數據的服務器:DataNode。

HDFS有著顯著的特點

  • 存儲數據較大

運行在HDFS的應用程序的數據處理有較大的需求,從存儲GB到存儲TB級別的超大文件,在目前的實際應用中,HDFS以及被利用來管理存儲PB級別的數據

  • 支持多硬件平臺

Hadoop可以運行在廉價、異構的商用硬件集群上,并且可以在HDFS設計時充分考慮數據的可靠性、安全性、高可用性

  • 支持流式數據

HDFS有一個設計思路是“寫入一次,多次讀取”、數據源生成數據集后,會被復制分發到不同的存儲節點,已用于響應數據分析任務的請求。HDFS放寬了可移植操作系統接口的要求,可以以流的形式訪問文件系統中的數據

  • 數據的一致性高

因為采用“寫入一次,多次讀取”的策略,所以支持追加不支持多次修改,降低了數據不一致性的造成可能

  • 有效預防硬件失效

HDFS的設計能夠有效預防硬件異常并且具有自動恢復數據的能力

  • 高容錯性

HDFS能夠自動保存數據的多個副本,并且能夠自動將失敗的任務重新發配,具有高容錯性

所以,HDFS經常被使用于各個場景下,例如:

大數據存儲:分布式存儲

日志處理:擅長日志分析

ETL:數據可抽取到MYSQL,oracle,Lucene

機器學習

搜索引擎

但是,相對于的,HDFS也有不適應的地方

不適合低延遲的數據訪問

HDFS不適合處理那些數據訪問要求低延遲的請求,因為HDFS主要是為了高數據的吞吐設計的,會產生稿時間延遲的代價

無法高效的存儲大量小文件

HDFS采用主從架構來存儲數據,需要用到NameNode來管理文件系統的元數據,以響應請求。為了快速響應請求,元數據存在主節點的內存中,如果小文件數量多達,容易造成內存不足,導致系統錯誤

以上是“HDFS有哪些顯著的特點”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

安徽省| 襄汾县| 武夷山市| 陇川县| 榆中县| 宝应县| 徐汇区| 油尖旺区| 垫江县| 包头市| 湘潭市| 客服| 大悟县| 镇安县| 时尚| 大宁县| 六安市| 嵩明县| 申扎县| 玛曲县| 安塞县| 敦煌市| 白水县| 阆中市| 马山县| 济南市| 安庆市| 花莲市| 阿坝县| 沭阳县| 沧源| 增城市| 乌拉特中旗| 阿克苏市| 海原县| 竹溪县| 阳高县| 临湘市| 股票| 黑龙江省| 惠州市|