Ceph(CephFS)文件系統介紹和搭建

一：安裝前介紹

一個Ceph（CephFS）文件系統至少需要兩個RADOS池，一個用于數據，另一個用于元數據，配置這些池時，我們應該考慮以下三點

• 對元數據池使用更高的復制級別，因為此池中的任何數據丟失都可能導致整個文件系統無法訪問
• 對元數據池使用較低延遲的存儲（例如SSD），因為這將直接影響在客戶端上觀察到的文件系統操作的延遲
• 用于創建文件系統的數據池是“默認”數據池，并且是用于存儲所有inode追溯信息的位置，用于硬鏈接管理和災難恢復。因此，在CephFS中創建的所有inode在默認數據池中至少具有一個對象。如果為文件系統計劃了擦除編碼的池，通常最好將復制池用于默認數據池，以提高小對象的讀寫性能以更新回溯。另外，可以添加另一個擦除編碼的數據池，該數據池可用于目錄和文件的整個層次結構

二：安裝配置步驟

創建兩個具有默認設置以供文件系統使用的池，并創建好mds，2是pg_number，這里沒指定pgp的值，有關pg和pgp的說明可以參考我之前的文章，Ceph概念介紹及組件介紹

[root@ceph-node1 ~]# ceph osd pool create cephfs_data 2
pool 'cephfs_data' created
[root@ceph-node1 ~]# ceph osd pool create cephfs_metadata 2
pool 'cephfs_metadata' created
[root@ceph-node1 ~]# ceph-deploy mds create ceph-node2
[root@ceph-node1 ~]# ceph mds stat
cephfs-1/1/1 up {0=ceph-node2=up:active}

創建完池后，就可以來創建cephFS了

[root@ceph-node1 ~]# ceph fs new cephfs cephfsmetadata cephfsdata
new fs with metadata pool 41 and data pool 40
[root@ceph-node1 ~]# ceph fs ls
name: cephfs, metadata pool: cephfsmetadata, data pools: [cephfsdata ]

三：客戶端掛載（內核驅動方式）

創建掛載目錄

[root@ceph-client /]# mkdir -p /mnt/cephfs

在ceph-node2上，創建用戶client.cephfs

[root@ceph-node2 ~]#ceph auth get-or-create client.cephfs mon ‘allow r’ mds ‘allow r, allow rw path=/’ osd ‘allow rw pool=cephfs_data’

在ceph-node2上，獲取client.cephfs用戶的key

[root@ceph-node2 ~]#ceph auth get-key client.cephfs
AQCL2d1dj4OgFRAAFeloClm23YTBsPn1qQnfTA==

將上一條命令獲取到的key保存到ceph客戶端中

[root@ceph-client ~]#echo AQCL2d1dj4OgFRAAFeloClm23YTBsPn1qQnfTA== > /etc/ceph/cephfskey

掛載此文件系統

[root@ceph-client ~]# mount -t ceph ceph-node2:6789:/ /mnt/cephfs -o name=cephfs,secretfile= /etc/ceph/cephfskey

寫入fstab中

[root@ceph-client ~] ech ceph-node2:6789:/ /mnt/cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfskey,_netdev,noatime 0 0o ceph-node2:6789:/ /mnt/cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfskey,_netdev,noatime 0 0 > /etc/fstab

查看掛載情況

[root@ceph-client ~]# df -Th | grep cephfs
172.16.4.79:6789:/ ceph 46G 0 46G 0% /mnt/cephfs