linux有什么分布式文件系統

今天小編給大家分享一下linux有什么分布式文件系統的相關知識點，內容詳細，邏輯清晰，相信大部分人都還太了解這方面的知識，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來了解一下吧。

linux分布式文件系統有：1、OpenAFS，是一套開放源代碼的分布式文件系統；2、MooseFs，是一個具備容錯功能的網絡分布式文件統；3、googleFs，是一個可擴展分布式文件系統等。

linux分布式文件系統有哪些？

• NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）

網絡文件系統是FreeBSD支持的文件系統中的一種，也被稱為NFS。

NFS允許一個系統在網絡上與它人共享目錄和文件。通過使用NFS， 用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是：

1、本地工作站使用更少的磁盤空間，因為通常的數據可以存放在一臺機器上而且可以通過網絡訪問到。

2、用戶不必在每個網絡上機器里面都有一個home目錄。home目錄可以被放在NFS服務器上并且在網絡上處處可用。

3、諸如軟驅、CDROM、和ZIP之類的存儲設備可以在網絡上面被別的機器使用。可以減少整個網絡上的可移動介質設備的數量。

開發語言c/c++,可跨平臺運行。

• OpenAFS（www.openafs.org）

OpenAFS是一套開放源代碼的分布式文件系統，允許系統之間通過局域網和廣域網來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件服務器組織的，每個服務器的標識通常是隱藏在文件系統中，從AFS客戶機登陸的用戶將分辨不出他們在那個服務器上運行，因為從用戶的角度上看，他們想在有識別的Unix文件系統語義的單個系統上運行。

文件系統內容通常都是跨cell復制，一便一個硬盤的失效不會損害OpenAFS客戶機上的運行。OpenAFS需要高達1GB的大容量客戶機緩存，以允許訪問經常使用的文件。它是一個十分安全的基于kerbero的系統，它使用訪問控制列表(ACL）以便可以進行細粒度的訪問，這不是基于通常的Linux和Unix安全模型。開發協議IBM Public，運行在linux下。

• MooseFs（derf.homelinux.org）

Moose File System是一個具備容錯功能的網絡分布式文件統，它將數據分布在網絡中的不同服務器上，MooseFs通過FUSE使之看起來就 是一個Unix的文件系統。但有一點問題，它還是不能解決單點故障的問題。開發語言perl,可跨平臺操作。

• pNFS（www.pnfs.com）

網絡文件系統(Network FileSystem,NFS)是大多數局域網(LAN）的重要的組成部分。但NFS不適用于高性能計算中苛刻的輸入書櫥密集型程序，至少以前是這樣。NFS標準的罪行修改納入了Parallel NFS(pNFS），它是文件共享的并行實現，將傳輸速率提高了幾個數量級。

開發語言c/c++,運行在linux下。

• googleFs

據說是一個比較不錯的一個可擴展分布式文件系統，用于大型的，分布式的，對大量數據進行訪問的應用。它運行于廉價的普通硬件上，但可以提供容錯功能，它可以給大量的用戶提供性能較高的服務。google自己開發的。

相關拓展：

常用的分布式文件系統有：GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph、GlusterFS等。

常見分布式文件系統比對

1、GFS（Google File System）
Google公司為滿足公司需求而開發的基于Linux的可擴展的分布式文件系統，用于大型的、分布式的、對大數據進行訪問和應用，成本低，應用于廉價的普通硬件上，但不開源，暫不考慮。

2、TFS（Taobao File System）
阿里巴巴為滿足了淘寶對小文件存儲的需求而開發的一個可擴展、高可用、高性能、面向互聯網服務、開源的分布式文件系統，主要針對海量的非結構化數據，它構筑在普通的Linux機器集群上，可為外部提供高可靠和高并發的存儲訪問。TFS為淘寶提供海量小文件存儲，通常文件大小不超過1M，這個也暫不考慮。

3、HDFS（Hadoop Distributed File System）
Hadoop分布式文件系統，適合運行在通用硬件上做分布式存儲和計算，因為它具有高容錯性和可擴展性的特點，可部署在廉價的機器上，適合大數據的處理，在離線批量處理大數據上有先天的優勢。
Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源于Apache Nutch，后者是一個開源的網絡搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapReduce算法的一種開源應用，是Google開創其帝國的重要基石。

4、MooseFS
MooseFS 是來自波蘭的開源且具備冗余容錯功能的分布式 POSIX 文件系統，也是參照了 GFS 的架構，實現了絕大部分 POSIX 語義和 API，它支持通過FUSE方式將文件掛載操作，同時其提供的web管理界面非常方便查看當前的文件存儲狀態，對master服務器有單點依賴，用perl編寫，用于中、大型文件應用，但性能相對較差，由于可能會實時訪問所以暫不考慮。
備注：POSIX表示可移植操作系統接口(Portable Operating System Interface of UNIX,縮寫為 POSIX )，POSIX標準定義了操作系統應該為應用程序提供的接口標準

5、FastDFS
由淘寶的余慶先生所開發的一個開源分布式文件系統。它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。適合以文件為載體的在線服務，如相冊網站、視頻網站等等。FastDFS為互聯網量身定制，充分考慮了冗余備份、負載均衡、線性擴容等機制，并注重高可用、高性能等指標，使用FastDFS搭建一套高性能的文件服務器集群提供文件上傳、下載等服務。但是FastDFS部署有點麻煩，且它的SKD是不全的。

6、MogileFS
MogileFS是一套高效開源的文件自動備份組件，由Six Apart開發，廣泛應用在包括LiveJournal等web2.0站點上。支持多節點冗余，可實現自動的文件復制。不需要RAID，應用層可以直接實現RAID，不共享任何東西，通過集群接口提供服務工作于應用層，沒有特殊的組件要求。使用HTTP方式通信。

國內所知道的使用 MogileFS 的公司有圖片托管網站 yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量，圖片都超過 30T 以上。

7、GridFS
MongoDB是一種知名的NoSql數據庫，GridFS是MongoDB的一個內置功能，它用于存儲和恢復那些超過16M（BSON文件限制）的文件(如：圖片、音頻、視頻等)，是文件存儲的一種方式，但是它是存儲在MonoDB的集合中。它可以直接利用已建立的復制或分片機制，所以對于文件存儲來說故障恢復和擴展都容易，且GridFS不產生磁盤碎片。

8、MinIO
MinIO 是一個基于Apache License v2.0開源協議的對象存儲服務。它兼容亞馬遜S3云存儲服務接口，非常適合于存儲大容量非結構化的數據，例如圖片、視頻、日志文件、備份數據和容器/虛擬機鏡像等，而一個對象文件可以是任意大小，從幾kb到最大5T不等。它也是一個非常輕量的服務,可以很簡單的和其他應用的結合。MinIO的特色在于簡單、輕量級，對開發者友好，學習成本低，安裝運維簡單，開箱即用。

9、SeaweedFS
SeaweedFS是基于go語言開發高度可擴展開源的分布式存儲系統，能存儲數十億文件（最終受制于你的硬盤大小）、并且速度快，內存占用小。上手使用比fastDFS要簡單很多，自帶Rest API。對于中小型文件效率非常高，但是單卷最大容量被程序限制到30G，建議存儲文件以100MB以內為主。

10、Ceph
Ceph是Red Hat旗下一個成熟的分布式文件系統，而且還是一個有企業級功能的對象存儲生態環境。該系統具備高性能、高可用性、高可擴展性、實時存儲性等特點。雖然ceph很強大，但是學習成本高、安裝運維復雜。Ceph用C++編寫，存儲容量可輕松達到PB級別。

11、GlusterFS
GlusterFS 是由美國的 Gluster 公司開發的 POSIX 分布式文件系統（以 GPL 開源），它主要應用在集群系統中，具有高擴展性、高可用性、高性能、可橫向擴展等特點，并且其沒有元數據服務器的設計，讓整個服務沒有單點故障的隱患。該系統主要是為中大型文件設計的，存儲容量可輕松達到PB。它存在擴容縮容影響服務器較多、遍歷目錄下文件耗時、小文件性能較差的缺點。

以上就是“linux有什么分布式文件系統”這篇文章的所有內容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會為大家更新不同的知識，如果還想學習更多的知識，請關注億速云行業資訊頻道。