Hbase 原理

Hbase流程體系圖

Hbase 寫數據流程

• 1、 client 向 hregionserver 發送寫請求。
• 2、hregionserver 將數據寫到 hlog (write ahead log )。為了數據的持久化和恢復。
• 3、 hregionserver 將數據寫到內存 (memstore)
• 4、 反饋 client 寫成功。

數據 flush 過程

• 1、 當 memstore 數據達到閾值(默認是 64M)，將數據刷到硬盤，將內存中的數據刪除，同時刪除 hlog 中的歷史數據。
• 2、 并將數據存儲到 hdfs 中。
• 3、 在 hlog 中做標記點。

數據合并過程

• 1、 當數據達到 4 塊， hmaster 將數據塊加載到本地，進行合并
• 2、 當合并的數據超過 256M，進行拆分，將拆分后的 region 分配給不同的 hregionserver 管理
• 3、 當 hregionser 宕機后，將 和regionserver 上的 hlog 拆分，然后分配給不同的 hregionserver 加載，修改 .META。
• 4、 注意：hlog 會同步到 hdfs

Hbase 讀數據流程

• 1、 通過 zookeeper 和 -ROOT-.META。表定位 hregionserver 。
• 2、 數據從內存和硬盤合并后返回 client
• 3、 數據塊會緩存

hmaster 的職責

• 1、 管理用戶對 table 的增、刪、改、查等操作。
• 2、 記錄 region 在哪臺 HRegion Server 上
• 3、 在 Region Split 后，負責新 Region 的分配
• 4、 新機器加入時，管理 HRegion Server 的負載均衡，調整 Region 分布
• 5、 在 HRegion Server 宕機后，負責失效 HRegion Server 上的 Region 遷移。

hmaster 的職責

• 1、 HRegion Server主要負責響應用戶I/O請求，向HDFS文件系統中讀寫數據，是HBASE中最核心的模塊。
• 2、 HRegion Server管理了很多table的分區，也就是region。

client職責

• 1、 HBASE Client使用HBASE的RPC機制與HMaster和RegionServer進行通信
• 2、 管理類操作：Client與HMaster進行RPC；
• 3、 數據讀寫類操作：Client與HRegionServer進行RPC。

hbase依賴zookeeper

1、保存Hmaster的地址和backup-master地址

hmaster：

• a)管理HregionServer
• b)做增刪改查表的節點
• c)管理HregionServer中的表分配

2、保存表-ROOT-的地址
hbase默認的根表，檢索表。

3、HRegionServer列表
表的增刪改查數據。
和hdfs交互，存取數據。

Hbase 命令

到這里 hbase 的基本原理，和使用命令就寫完了。