RBD塊設備在Ceph分布式存儲中的具體應用

確保集群狀態正常（具體配置過程略）：
可參照 https://blog.51cto.com/jdonghong/244175 上半部分配置。
CEPH環境配置
開始部署RBD or RADOS Block Device

客戶端安裝ceph（本案例客戶端為192.168.27.210，192.168.26.112）
ceph-deploy install bddb.com
推送配置文件到客戶端。
[root@master idc-cluster]# ceph-deploy admin bddb.com

客戶端創建rdb塊鏡像設備

[root@BDDB ceph]# rbd create idc --size 4096 --image-feature layering
[root@BDDB ceph]# rbd ls
idc
[root@BDDB ceph]#
客戶端映射創建的塊鏡像設備
[root@BDDB ceph]# rbd map idc
/dev/rbd0
[root@BDDB ceph]#

格式化塊設備創建文件系統（客戶端節點上）。
[root@BDDB ceph]# mkfs.xfs /dev/rbd0

掛載目錄：[root@BDDB ceph]# mount /dev/rbd/rbd/idc /ceph/rbd

查看狀態并存放或創建測試文件：


[root@BDDB ceph]# ls /ceph
rbd rbd2
[root@BDDB ceph]# ls /ceph -l
total 0
drwxr-xr-x 2 ceph ceph 6 Aug 23 11:17 rbd
drwxr-xr-x 2 ceph ceph 6 Aug 26 10:01 rbd2
[root@BDDB ceph]# mount /dev/rbd
rbd/ rbd0
[root@BDDB ceph]# mount /dev/r
random raw/ rbd/ rbd0 rtc rtc0
[root@BDDB ceph]# mount /dev/rbd
rbd/ rbd0
[root@BDDB ceph]# mount /dev/rbd/rbd/idc /ceph/rbd
[root@BDDB ceph]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 60G 32G 29G 53% /
/dev/sda5 60G 3.5G 57G 6% /data
/dev/sda1 497M 148M 350M 30% /boot
tmpfs 184M 0 184M 0% /run/user/0
/dev/rbd0 3.9G 16M 3.6G 1% /ceph/rbd
[root@BDDB ceph]# ls

ceph.client.admin.keyring ceph.conf rbdmap tmp3nza8m tmpGs8qYv tmpNTb5P9 tmpOJovru
[root@BDDB ceph]# cd /ceph/rbd
[root@BDDB rbd]# ls
123.txt 1.txt lost+found my1.txt my2.txt my3.txt
[root@BDDB rbd]# rbd map isc
/dev/rbd1
[root@BDDB rbd]# lsblk -f

NAME FSTYPE LABEL UUID MOUNTPOINT
sda
├─sda1 xfs 5f75d5de-3e02-43e3-a36d-57bc39e9a5ae /boot
├─sda2 xfs bab8e8ae-cb5e-4299-b879-54960f1a24b9 /
├─sda3 swap ce44af87-b8a7-40d2-8504-1c8fae81f613 [SWAP]
├─sda4
└─sda5 xfs cb8c9f72-8154-4ae9-aa57-54703dedfd06 /data
sr0
rbd0 ext4 cf1f5bc8-5dd1-44d4-87a6-0c55d39405fe /ceph/rbd
rbd1 xfs 42989fcc-0746-4848-a957-0c01704865b8
[root@BDDB rbd]# mount /dev/rbd
rbd/ rbd0 rbd1
[root@BDDB rbd]# mount /dev/rbd/rbd/isc
123.txt 1.txt lost+found/ my1.txt my2.txt my3.txt
[root@BDDB rbd]# mount /dev/rbd/rbd/isc /ceph/rbd
rbd/ rbd2/
[root@BDDB rbd]# mount /dev/rbd/rbd/isc /ceph/rbd2/
[root@BDDB rbd]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 60G 32G 29G 53% /
/dev/sda5 60G 3.5G 57G 6% /data
/dev/sda1 497M 148M 350M 30% /boot
tmpfs 184M 0 184M 0% /run/user/0
/dev/rbd0 3.9G 16M 3.6G 1% /ceph/rbd
/dev/rbd1 10G 33M 10G 1% /ceph/rbd2
[root@BDDB rbd]# cd /ceph/rbd2/
[root@BDDB rbd2]# ls
[root@BDDB rbd2]# touch {1..3}.txt
[root@BDDB rbd2]# ls
1.txt 2.txt 3.txt
[root@BDDB rbd2]# echo my test >1.txt
[root@BDDB rbd2]# ls
1.txt 2.txt 3.txt
[root@BDDB rbd2]# cat 1.txt
my test
[root@BDDB rbd2]#

再在另一個客戶端映射塊設備并掛載，觀察RBD效果：
首先在另一個客戶端觀察設備鏡像狀態：
[root@master rbd]# rbd ls
idc
isc
[root@master rbd]# rbd info idc isc
rbd: too many arguments
[root@master rbd]# rbd info idc
rbd image 'idc':
size 4096 MB in 1024 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.85456b8b4567
format: 2
features: layering
flags:
[root@master rbd]# rbd info isc
rbd image 'isc':
size 10240 MB in 2560 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.148a56b8b4567
format: 2
features: layering
flags:
[root@master rbd]#
映射rbd塊鏡像設備到本機（map）
[root@master rbd]# lsblk -f
NAME FSTYPE LABEL UUID MOUNTPOINT
fd0
sda
├─sda1 xfs fb314ba6-93e0-4d7d-bb80-9c6e5a92fd61 /boot
└─sda2 LVM2_member 3Zne0f-m5MZ-OP67-TQ2a-Lnzr-SGME-UNJnMK
├─centos-root xfs d009c83b-2ca3-4642-a956-9f967fa249e6 /
├─centos-swap swap cf124d61-2df9-44a4-bba2-cee94056f547 [SWAP]
└─centos-data xfs 538b2348-c8cd-4755-9ba9-2f3b10fb8f33 /data
sr0
rbd0 ext4 cf1f5bc8-5dd1-44d4-87a6-0c55d39405fe /ceph/rbd
[root@master rbd]# rbd map isc
/dev/rbd1
[root@master rbd]#

查看map后的映射效果：
[root@master rbd]# lsblk -f

掛載映射設備并觀察效果：（注意這里無需再格式，因為在另一個客戶端已經格式化，生成文件系統類型，否則會造成數據破壞，甚至報錯及集群出錯等可能）
[root@master rbd]# mount /dev/rbd/rbd/isc /ceph/rbd2
[root@master rbd]# df -h

進入掛載目錄觀察另一客戶端創建的文件及內容是否存在：
[root@master rbd]# cd /ceph/rbd2/
[root@master rbd2]# ls
1.txt 2.txt 3.txt
[root@master rbd2]# cat 1.txt
my test
[root@master rbd2]#


切到另一個客戶端觀察文件變化：

文件內容無變化，嘗試重新映射觀察變化：
[root@BDDB rbd2]# cd
[root@BDDB ~]# umount /ceph/rbd2/
[root@BDDB ~]# rbd unmap isc
[root@BDDB ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 60G 32G 29G 53% /
/dev/sda5 60G 3.5G 57G 6% /data
/dev/sda1 497M 148M 350M 30% /boot
tmpfs 184M 0 184M 0% /run/user/0
/dev/rbd0 3.9G 16M 3.6G 1% /ceph/rbd
[root@BDDB ~]#

重新映射后文件內容更新了：
[root@BDDB ~]# lsblk -f
NAME FSTYPE LABEL UUID MOUNTPOINT
sda
├─sda1 xfs 5f75d5de-3e02-43e3-a36d-57bc39e9a5ae /boot
├─sda2 xfs bab8e8ae-cb5e-4299-b879-54960f1a24b9 /
├─sda3 swap ce44af87-b8a7-40d2-8504-1c8fae81f613 [SWAP]
├─sda4
└─sda5 xfs cb8c9f72-8154-4ae9-aa57-54703dedfd06 /data
sr0
rbd0 ext4 cf1f5bc8-5dd1-44d4-87a6-0c55d39405fe /ceph/rbd
rbd1 xfs 42989fcc-0746-4848-a957-0c01704865b8
[root@BDDB ~]# mount /dev/rbd/rbd/isc /ceph/rbd2/
[root@BDDB ~]# cd /ceph/rbd2/
[root@BDDB rbd2]# ls
1.txt 2.txt 3.txt
[root@BDDB rbd2]# cat 1.txt
my test
my test
my test
my test
my test

觀察編輯同一文件效果：

并無提示
更改內容：

出現不一致。
擴（縮）容：
[root@BDDB ~]# rbd resize --size 20480 rbd/idc

[root@BDDB ~]# rbd info idc
rbd image 'idc':
size 20480 MB in 5120 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.85456b8b4567
format: 2
features: layering
flags:
[root@BDDB ~]# resize2fs /dev/rbd0

查看文件依舊存在：
[root@BDDB ~]# cd /ceph/rbd
[root@BDDB rbd]# ls
123.txt 1.txt lost+found my1.txt my2.txt my3.txt
[root@BDDB rbd]# cat my1.txt
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.27.210 master
192.168.27.211 client1
192.168.27.212 client2
192.168.27.213 client3
192.168.26.112 BDDB.com
192.168.26.112 bddb.com bddb

小結： rbd能實現在多客戶端遠程訪問rbd塊設備映射做為本地存儲設備掛載使用，但不支持同一時刻多客戶端同時掛載使用，會出現數據異步的情況，導致數據錯亂，因此是非共享型異步傳輸方式，rbd支持在線擴(縮)容，最新ceph支持 layering,striping exclusive lock, object map,fast diff ,deep-flatten 等新的new features
layering。