您好,登錄后才能下訂單哦!
今天就跟大家聊聊有關CDH如何使用Solr實現HBase二級索引,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。
1.簡單說明
使用Solr構建Hbase二級索引的原理很簡單,不過是以空間換取時間,對指定列在Solr中構建索引,最終還是通過rowkey訪問Hbase,如下圖:
2.四大組件
Hbase+Zookeeper+Solr+Key Value Store(Lily Hbase Indexer)
可見,Hbase與Solr是獨立部署的,而讓兩者發生關系的最核心組件就是Key Value Store.
當然,我們可以不使用現成的K-V Store自己代碼實現,大概邏輯也就是:從Hbase中拉取數據然后發起POST請求存到Solr中,Hbase中一行或多行數據對應Solr中一個或多個doc,如圖:
3.三個重要的配置文件
schema.xml:對應組件Solr,構建Solr schema,定義了Hbase要構建索引的列,如圖:
morphline-hbase-mapper.xml
:讓Hbase與Lily發生關系,如圖:
morphlines.conf:Hbase與Solr映射關系在此文件中體現,如圖:
三個文件的關系圖如下,通過這三個文件Hbase,Solr 及 Lyli 也就一一映射起來了,如圖:
4.理解Solr
見邏輯視圖:
索引對照圖:
物理視圖與邏輯視圖與索引視圖:
創建索引過程:Solr提供restful接口
5.了解Hbase結構圖
6.了解Lily如何做橋梁
基于Hbase復制功能:
具體執行流程:主類SepConsumer,多線程并發處理
其實就是這么個過程:
看完上述內容,你們對CDH如何使用Solr實現HBase二級索引有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。