ETCD集群運維—備份及容災恢復

etcd是一個開源的分布式鍵值對數據庫，他的每一個節點都有一份數據的copy，當有節點故障時保證了高可用性。etcd使用Raft算法來保證一致性。

特別提醒：若使用v3備份數據時存在v2的數據則不影響恢復

若使用v2備份數據時存在v3的數據則恢復失敗

etcd V2新增節點(刪除數據后重新加入)

適用于單節點故障，重新加入集群

V2與V3新增節點的區別僅在于member add參數

停止etcd服務

# systemctl stop etcd

# 清空etcd data數據

# mv /var/lib/etcd/default.etcd /tmp

# 查看etcd列表

# /opt/kubernetes/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://172.30.0.89:2379,https://172.30.0.81:2379,https://172.30.2.10:2379" member list

# remove 已存在的etcd name

# /opt/kubernetes/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://172.30.0.89:2379,https://172.30.0.81:2379,https://172.30.2.10:2379" member remove a4ec138b3529c929

# 新增etcd節點

# V2

# /opt/kubernetes/bin/etcdctl --ca-file=/opt/kubernetes/ssl/ca.pem --cert-file=/opt/kubernetes/ssl/server.pem --key-file=/opt/kubernetes/ssl/server-key.pem member add etcd03 https://172.30.0.89:2380

# V3

# ETCDCTL_API=3? /opt/kubernetes/bin/etcdctl --endpoints=https://172.30.2.10:2379,etcd02=https://172.30.0.81:2379,etcd03=https://172.30.0.89:2379? --cacert=/opt/kubernetes/ssl/ca.pem? ?--cert=/opt/kubernetes/ssl/server.pem? ?--key=/opt/kubernetes/ssl/server-key.pem? member add? etcd03 --peer-urls="https://172.30.0.89:2380"?

# 修改該節點etcd配置ETCD_INITIAL_CLUSTER_STATE="existing"

# 同時重啟所有etcd

# systemctl restart etcd

etcd數據備份恢復（集群不可用，災難恢復）

注意：單節點備份一份當前或歷史數據即可，在恢復的時候需要同步到所有節點，若只想恢復一臺節點的，則會在系統日志里報request cluster ID mismatch

沒有節點加入，因為是會創建一個新的集群id ，相當于重新搭建一臺新的cluster（數據保留，cluster id變更）

# 停止apiserver（集群不可用狀態，確認無寫入的話也可以不停）

# 停止etcd服務

systemctl stop etcd

# 數據備份

# ETCDCTL_API=3 /opt/kubernetes/bin/etcdctl snapshot? save /var/lib/etcd/etcd_backup/etcd_$(date "+%Y%m%d%H%M%S").db

# 同步備份數據到各個節點

# scp etcd_$(date "+%Y%m%d%H%M%S").db? 集群各etcd節點

# 移除數據目錄?

mv /var/lib/etcd/default.etcd /tmp

# 快照恢復數據? 修改name 和 initial-advertise-peer-urls為當前節點的即可

# ETCDCTL_API=3 /opt/kubernetes/bin/etcdctl snapshot --cacert=/opt/kubernetes/ssl/ca.pem --cert=/opt/kubernetes/ssl/server.pem --key=/opt/kubernetes/ssl/server-key.pem? restore /var/lib/etcd/etcd_20190903102702.db --name=etcd01 --data-dir=/var/lib/etcd/default.etcd --initial-cluster="etcd01=https://172.30.2.10:2380,etcd02=https://172.30.0.81:2380,etcd03=https://172.30.0.89:2380" --initial-cluster-token="etcd-cluster" --initial-advertise-peer-urls=https://172.30.2.10:2380

# 重啟etcd