Cassandra集群管理-替換異常節點

Cassandra集群管理-替換異常節點

替換異常集群節點，使用JVM啟動標志 Dcassandra.replace_address_first_boot = <dead_node_ip>啟動。一旦啟用此屬性，節點將在休眠狀態中啟動，在此期間所有其他節點將看到此節點關閉。替換節點將立即開始從集群中的其余節點引導數據。 新節點的正常引導的主要區別在于此新節點在此階段不會接受任何寫入。一旦引導完成，節點將被標記為“UP”，我們依賴于隱性啟動保障新節點數據獨立存在。（因為自引導開始以來新節點不接受寫）。
如果替換過程所需的時間超過max_hint_window_in_ms，那么您必須運行repair以使所放置的節點再次保持一致，因為它在引導期間錯過了正在進行的寫入。

注意:

本文檔只是體系文檔中的一部分，前面文檔信息詳見：
測試準備+下線正常節點：https://blog.51cto.com/michaelkang/2419518
節點異常重啟：https://blog.51cto.com/michaelkang/2419524
添加新節點：https://blog.51cto.com/michaelkang/2419521
刪除異常節點：https://blog.51cto.com/michaelkang/2419525

查看集群狀態

[root@kubm-01 ~]# nodetool status                        
Datacenter: dc1
--  Address         Load       Tokens       Owns    Host ID                               Rack
.......

異常節點狀態為DN

DN  172.20.101.166  76.83 MiB  256          ?       88e16e35-50dd-4ee3-aa1a-f10a8c61a3eb  rack1

替換節點-注意事項

參考 “## Cassandra 集群添加節點”
https://blog.51cto.com/michaelkang/2419521

修改配置文件

vi /etc/cassandra/conf/jvm.options  
如果要替換已死亡的節點，請在其位置重新啟動指定死節點地址的新節點。 新節點的數據目錄中不得包含任何數據.
47行
#-Dcassandra.replace_address=listen_address or broadcast_address of dead node

修改配置文件：
-Dcassandra.replace_address=172.20.101.166

清理無用數據、啟動服務

執行前刪除下列文件夾及內容：
- data/
- commitlog/
- saved_caches/

rm -rf /var/lib/cassandra/

啟動：
/etc/init.d/cassandra start

等待集群數據恢復完成，驗證集群狀態：

[root@kubnode-02 cassandra]# nodetool status
Datacenter: dc1
===============
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address         Load       Tokens       Owns    Host ID                               Rack
    UN  172.20.101.164  68.13 MiB  256          ?       dcbbad83-fe7c-4580-ade7-aa763b8d2c40  rack1
    UN  172.20.101.165  59.21 MiB  256          ?       b985de23-6ad1-40b9-a252-dbaeb5d4cb12  rack1
恢復=》UN  172.20.101.166  154.7 KiB  256  ?  f9a72fb2-55bd-40ec-b8e7-717404b80f19  rack1
    UN  172.20.101.167  71.93 MiB  256          ?       8808aaf7-690c-4f0c-be9b-ce655c1464d4  rack1
    UN  172.20.101.160  66.23 MiB  256          ?       57cc39fc-e47b-4c96-b9b0-b004f2b79242  rack1
    UN  172.20.101.157  55.23 MiB  256          ?       091ff0dc-415b-48a7-b4ce-e70c84bbfafc  rack1

驗證查詢

cqlsh 172.20.101.157  -u cassandra -p cassandra 
cassandra@cqlsh> SELECT * from kevin_test.t_users; 

 user_id | emails                          | first_name | last_name
---------+---------------------------------+------------+-----------
       6 | {'k6-6@gmail.com', 'k6@pt.com'} |     kevin6 |      kang
       7 | {'k7-7@gmail.com', 'k7@pt.com'} |     kevin7 |      kang
       9 | {'k9-9@gmail.com', 'k9@pt.com'} |     kevin9 |      kang
       4 | {'k4-4@gmail.com', 'k4@pt.com'} |     kevin4 |      kang
       3 | {'k3-3@gmail.com', 'k3@pt.com'} |     kevin3 |      kang
       5 | {'k5-5@gmail.com', 'k5@pt.com'} |     kevin5 |      kang
       0 | {'k0-0@gmail.com', 'k0@pt.com'} |     kevin0 |      kang
       8 | {'k8-8@gmail.com', 'k8@pt.com'} |     kevin8 |      kang
       2 | {'k2-2@gmail.com', 'k2@pt.com'} |     kevin2 |      kang
       1 | {'k1-1@gmail.com', 'k1@pt.com'} |     kevin1 |      kang

測試結果：

反復重啟節點，查詢表內容正常。

參考信息：

https://blog.csdn.net/yuanjian0814/article/details/78768889
https://www.jianshu.com/p/1dcca8f19894
http://cassandra.apache.org/doc/latest/tools/nodetool/nodetool.html?highlight=setstreamthroughput
https://zhaoyanblog.com/archives/684.html
https://blog.csdn.net/yuanjian0814/article/details/78777735
https://blog.csdn.net/iteye_19004/article/details/82648737