您好,登錄后才能下訂單哦!
proxmox+ceph集群安裝筆記
1、創建3臺vmware虛擬機
cpu:2x2 4核 開虛擬化
內存:2G
硬盤1:20G,系統盤
硬盤2:200G,ceph存儲盤
網絡:橋接模式
IP:10.8.20.11/12/13
主機名:pve1.abc.com/pve2.abc.com/pve3.abc.com
2、在pve1虛擬機上安裝proxmox,安裝在20g的硬盤上,默認安裝即可
3、系統配置
1)更改為國內源
安裝vim
apt update
apt install vim -y
安裝阿里云的源
cd /etc/apt
vi sources.list.d/pve-enterprise.list
修改為
deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription
vi sources.list
修改為:
deb http://mirrors.aliyun.com/debian buster main contrib
deb http://mirrors.aliyun.com/debian buster-updates main contrib
#安全更新
deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib
更新系統
apt update
apt upgrade -y
init 6
2)去除web管理平臺的訂閱提示
sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
最后再執行:systemctl restart pveproxy
3)不使用lvm-thin,將local也就是根分區擴展
pve默認安裝時,會建立local和local-lvm 大小分別為4.61G(根分區的lvm,存放iso)和8G(存放虛擬機)
下面要把8g的刪除,合并到4.61g
就是要把邏輯卷data刪除,邏輯卷root擴展
修改pve的存儲配置
vi /etc/pve/storage.cfg
修改成:
dir: local
path /var/lib/vz
content rootdir,iso,vztmpl,backup
(刪除lvm-thin段)
刪除data所在的lv
lvremove /dev/pve/data(pve是卷組名 data是邏輯卷名)
查看卷組信息
vgs
VG #PV #LV #SN Attr VSize VFree
pve 1 2 0 wz--n- <19.50g 12.37g
還剩下12.37g
擴展root邏輯卷
lvextend -L +12.37G /dev/pve/root
resize2fs /dev/pve/root
到web管理頁面上查看可以看到只剩下一個local,大小為16.79g。
4)登錄web管理頁面修改主機名與ip地址的對應(這步可以不做)
pve1->系統->主機,添加以下2行
10.8.20.12 pve2.abc.com pve2
10.8.20.13 pve3.abc.com pve3
以上就安裝配置好了pve1的主機。
在pve2和pve3上重復以上操作即可。
4、建立pve集群
pve1上執行:
pvecm create pve-cluster(pve-cluster是集群名)
pve2、pve3執行:
pvecm add 10.8.20.11
在pve1上查看集群狀態
pvecm status
pvecm nodes
5、建立ceph存儲集群(存放虛擬機鏡像,另外iso的存儲使用nfs)
1)安裝ceph(所有節點上面均執行)
pveceph install (后面不加版本號是安裝最新的nautilus版)
出現以下字樣表示安裝成功
installed ceph nautilus successfully
2)建立ceph集群網絡,為了簡便,這里和管理網絡共用(所有節點上面均執行)
pveceph init -network 10.8.20.0/24
3)創建ceph集群存儲Mon監控(所有節點上面均執行)
pveceph createmon
4)創建ceph集群存儲OSD服務(所有節點上面均執行)
pveceph createosd /dev/sdb
5)創建集群存儲資源池
ceph osd pool create pve-pool 128 128(只在pve1上面執行,pve-pool?是存儲池名),
128(pg_num)的由來:
少于 5 個 OSD 時可把?pg_num?設置為 128
OSD 數量在 5 到 10 個時,可把?pg_num?設置為 512
OSD 數量在 10 到 50 個時,可把?pg_num?設置為 4096
6)登錄pve1的web管理頁面,添加RBD集群存儲
數據中心->存儲->添加->選擇RBD
ID:填寫為pve-ceph
資源池:pve-pool
Monitor:10.8.20.11 10.8.20.12?10.8.20.13 (注意添加多個Mon以空格隔開)
添加節點:pve1,pve2,pve3
添加好后,查看rbd集群存儲配置信息
cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content vztmpl,images,backup,iso,rootdir
rbd: pve-ceph
content rootdir,images
krbd 1
nodes pve3,pve2,pve1
pool pve-pool
7)檢查相關密鑰是否存在
cd /etc/pve/priv
看有沒有ceph目錄,沒有的話就創建,并復制密鑰進來
mkdir ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph.keyring
一般來說是存在的:
root@pve1:/etc/pve/priv# cd ceph
root@pve1:/etc/pve/priv/ceph# ls
pvecluster-ceph.keyring
8)賦予應用相關權限
ceph osd pool application enable pve-pool rgw?rbd
9)安裝ceph Dashboard
pve1上執行
apt install ceph-mgr-dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create?admin?admin123 administrator(admin是用戶名,admin123是密碼,administrator是指定該用戶是管理員)
systemctl restart ceph-mgr@pve1.service
訪問https://10.8.20.11:8443,使用用戶名admin密碼admin123登錄即可
至此,ceph安裝完成
6、安裝nfs服務器,提供iso存儲
安裝一臺centos服務器,啟用nfs服務
假設nfs的輸出目錄是這臺centos上的/data/nfs目錄
yum install rpcbind nfs-utils -y
vi /etc/exports
加入:
/data/nfs 10.8.20.0/24(rw,sync,no_root_squash)
啟動nfs服務
systemctl?enable?rpcbind nfs-server
systemctl start rpcbind nfs-server(centos7)
查看共享目錄
exportfs
激活配置
exportfs -rav
最后在pve集群上添加nfs存儲
pve1web管理頁面:數據中心->存儲->添加->選擇nfs
添加好后可以上傳iso文件,會存放在centos服務器的/data/nfs/template/iso目錄下
7、安裝虛擬機測試集群,虛擬機硬盤選擇存放在pve-ceph存儲下才可以使用遷移和HA功能
我的技術博客:秋天的回憶
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。