您好,登錄后才能下訂單哦!
小編給大家分享一下HDFS有哪些顯著的特點,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
分布式文件系統(Hadoop Distributed File System)是Hadoop核心子項目,為Hadoop提供了一個綜合性的文件系統抽象,并且只會實現了多類文件系統的接口。HDFS基于流式數據訪問、存儲和處理超大文件。
在HDFS中引入了存放元數據信息的服務器:NameNode和實際存放數據的服務器:DataNode。
HDFS有著顯著的特點
存儲數據較大
運行在HDFS的應用程序的數據處理有較大的需求,從存儲GB到存儲TB級別的超大文件,在目前的實際應用中,HDFS以及被利用來管理存儲PB級別的數據
支持多硬件平臺
Hadoop可以運行在廉價、異構的商用硬件集群上,并且可以在HDFS設計時充分考慮數據的可靠性、安全性、高可用性
支持流式數據
HDFS有一個設計思路是“寫入一次,多次讀取”、數據源生成數據集后,會被復制分發到不同的存儲節點,已用于響應數據分析任務的請求。HDFS放寬了可移植操作系統接口的要求,可以以流的形式訪問文件系統中的數據
數據的一致性高
因為采用“寫入一次,多次讀取”的策略,所以支持追加不支持多次修改,降低了數據不一致性的造成可能
有效預防硬件失效
HDFS的設計能夠有效預防硬件異常并且具有自動恢復數據的能力
高容錯性
HDFS能夠自動保存數據的多個副本,并且能夠自動將失敗的任務重新發配,具有高容錯性
所以,HDFS經常被使用于各個場景下,例如:
大數據存儲:分布式存儲
日志處理:擅長日志分析
ETL:數據可抽取到MYSQL,oracle,Lucene
機器學習
搜索引擎
但是,相對于的,HDFS也有不適應的地方
不適合低延遲的數據訪問
HDFS不適合處理那些數據訪問要求低延遲的請求,因為HDFS主要是為了高數據的吞吐設計的,會產生稿時間延遲的代價
無法高效的存儲大量小文件
HDFS采用主從架構來存儲數據,需要用到NameNode來管理文件系統的元數據,以響應請求。為了快速響應請求,元數據存在主節點的內存中,如果小文件數量多達,容易造成內存不足,導致系統錯誤
以上是“HDFS有哪些顯著的特點”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。