如何保證Redis的高并發

小編給大家分享一下如何保證Redis的高并發，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

　　單機的redis幾乎不太可能說QPS超過10萬+，一般在幾萬。

　　除非一些特殊情況，比如你的機器性能特別好，配置特別高，物理機，維護做的特別好，而且你的整體的操作不是太復雜。

　　Redis通過主從架構，實現讀寫分離，主節點負責寫，并將數據同步給其他從節點，從節點負責讀，從而實現高并發。

　　Redis高并發的同時，還需要容納大量的數據：一主多從，每個實例都容納了完整的數據，比如redis主就10G的內存量，其實你就最對只能容納10g的數據量。如果你的緩存要容納的數據量很大，達到了幾十g，甚至幾百g，或者是幾t，那你就需要redis集群，而且用redis集群之后，可以提供可能每秒幾十萬的讀寫并發。

replication的核心機制

　　redis采用異步方式復制數據到slave節點，不過redis 2.8開始，slave node會周期性地確認自己每次復制的數據量
　　一個master node是可以配置多個slave node的
　　slave node也可以連接其他的slave node
　　slave node做復制的時候，是不會block master node的正常工作的
　　slave node在做復制的時候，也不會block對自己的查詢操作，它會用舊的數據集來提供服務; 但是復制完成的時候，需要刪除舊數據集，加載新數據集，這個時候就會暫停對外服務了
　　slave node主要用來進行橫向擴容，做讀寫分離，擴容的slave node可以提高讀的吞吐量

master持久化對于主從架構的安全保障的意義

　　如果采用了主從架構，那么建議必須開啟master node的持久化！

　　不建議用slave node作為master node的數據熱備，因為那樣的話，如果你關掉master的持久化，可能在master宕機重啟的時候數據是空的，然后可能一經過復制，salve node數據也丟了

　　第二個，master的各種備份方案，要不要做，萬一說本地的所有文件丟失了; 從備份中挑選一份rdb去恢復master; 這樣才能確保master啟動的時候，是有數據的

master同步數據給slave的過程

　　當啟動一個slave node的時候，它會發送一個PSYNC命令給master node

　　如果這是slave node重新連接master node，那么master node僅僅會復制給slave部分缺少的數據; 否則如果是slave node第一次連接master node，那么會觸發一次full resynchronization

　　開始full resynchronization的時候，master會啟動一個后臺線程，開始生成一份RDB快照文件，同時還會將從客戶端收到的所有寫命令緩存在內存中。

　　RDB文件生成完畢之后，master會將這個RDB發送給slave，slave會先寫入本地磁盤，然后再從本地磁盤加載到內存中。然后master會將內存中緩存的寫命令發送給slave，slave也會同步這些數據。

　　slave node如果跟master node有網絡故障，斷開了連接，會自動重連。master如果發現有多個slave node都來重新連接，僅僅會啟動一個rdb save操作，用一份數據服務所有slave node。

主從復制的斷點續傳

　　從redis 2.8開始，就支持主從復制的斷點續傳，如果主從復制過程中，網絡連接斷掉了，那么可以接著上次復制的地方，繼續復制下去，而不是從頭開始復制一份

　　master node會在內存中常見一個backlog，master和slave都會保存一個replica offset還有一個master id，offset就是保存在backlog中的。

　　如果master和slave網絡連接斷掉了，slave會讓master從上次的replica offset開始繼續復制

　　但是如果沒有找到對應的offset，那么就會執行一次resynchronization

無磁盤化復制

　　master在內存中直接創建rdb，然后發送給slave，不會在自己本地落地磁盤了

　　repl-diskless-sync
　　repl-diskless-sync-delay，等待一定時長再開始復制，因為要等更多slave重新連接過來

過期key處理

　　slave不會過期key，只會等待master過期key。

　　如果master過期了一個key，或者通過LRU淘汰了一個key，那么會模擬一條del命令發送給slave。

復制的完整流程

　　slave node啟動，僅僅保存master node的信息，包括master node的host和ip（redis.conf里面的slaveof配置的），但是復制流程沒開始

　　slave node內部有個定時任務，每秒檢查是否有新的master node要連接和復制，如果發現，就跟master node建立socket網絡連接
　　slave node發送ping命令給master node
　　口令認證，如果master設置了requirepass，那么salve node必須發送masterauth的口令過去進行認證
　　master node第一次執行全量復制，將所有數據發給slave node
　　master node后續持續將寫命令，異步復制給slave node

數據同步相關的核心機制

指的就是第一次slave連接msater的時候，執行的全量復制，那個過程里面你的一些細節的機制

（1）master和slave都會維護一個offset

　　master會在自身不斷累加offset，slave也會在自身不斷累加offset
　　slave每秒都會上報自己的offset給master，同時master也會保存每個slave的offset

　　這個倒不是說特定就用在全量復制的，主要是master和slave都要知道各自的數據的offset，才能知道互相之間的數據不一致的情況

（2）backlog

　　master node有一個backlog，默認是1MB大小
　　master node給slave node復制數據時，也會將數據在backlog中同步寫一份
　　backlog主要是用來做全量復制中斷候的增量復制的

（3）master run id

　　info server，可以看到master run id
　　如果根據host+ip定位master node，是不靠譜的，如果master node重啟或者數據出現了變化，那么slave node應該根據不同的run id區分，run id不同就做全量復制
　　如果需要不更改run id重啟redis，可以使用redis-cli debug reload命令

（4）psync

　　從節點使用psync從master node進行復制，psync runid offset
　　master node會根據自身的情況返回響應信息，可能是FULLRESYNC runid offset觸發全量復制，可能是CONTINUE觸發增量復制

全量復制

　　master執行bgsave，在本地生成一份rdb快照文件
　　master node將rdb快照文件發送給salve node，如果rdb復制時間超過60秒（repl-timeout），那么slave node就會認為復制失敗，可以適當調節大這個參數
　　對于千兆網卡的機器，一般每秒傳輸100MB，6G文件，很可能超過60s
　　master node在生成rdb時，會將所有新的寫命令緩存在內存中，在salve node保存了rdb之后，再將新的寫命令復制給salve node
　　client-output-buffer-limit slave 256MB 64MB 60，如果在復制期間，內存緩沖區持續消耗超過64MB，或者一次性超過256MB，那么停止復制，復制失敗
　　slave node接收到rdb之后，清空自己的舊數據，然后重新加載rdb到自己的內存中，同時基于舊的數據版本對外提供服務
　　如果slave node開啟了AOF，那么會立即執行BGREWRITEAOF，重寫AOF

增量復制

　　如果全量復制過程中，master-slave網絡連接斷掉，那么salve重新連接master時，會觸發增量復制
　　master直接從自己的backlog中獲取部分丟失的數據，發送給slave node，默認backlog就是1MB
　　msater就是根據slave發送的psync中的offset來從backlog中獲取數據的

heartbeat

　　主從節點互相都會發送heartbeat信息

　　master默認每隔10秒發送一次heartbeat，salve node每隔1秒發送一個heartbeat

異步復制

　　master每次接收到寫命令之后，現在內部寫入數據，然后異步發送給slave node

看完了這篇文章，相信你對如何保證Redis的高并發有了一定的了解，想了解更多相關知識，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！