溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
小編給大家分享一下Hive中Map端JOIN的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
map端join適用于當一張表很小(可以存在內存中)的情況，即可以將小表加載至內存。Hive從0.7開始支持自動轉為map端join，具體配置如下：
SET hive.auto.convert.join=true; -- hivev0.11.0之后默認true
SET hive.mapjoin.smalltable.filesize=600000000; -- 默認 25m
SET hive.auto.convert.join.noconditionaltask=true; -- 默認true，所以不需要指定map join hint
SET hive.auto.convert.join.noconditionaltask.size=10000000; -- 控制加載到內存的表的大小
一旦開啟map端join配置，Hive會自動檢查小表是否大于hive.mapjoin.smalltable.filesize配置的大小，如果大于則轉為普通的join，如果小于則轉為map端join。
關于map端join的原理，如下圖所示：
首先，Task A(客戶端本地執行的task)負責讀取小表a，并將其轉成一個HashTable的數據結構，寫入到本地文件，之后將其加載至分布式緩存。
然后，Task B任務會啟動map任務讀取大表b，在Map階段，根據每條記錄與分布式緩存中的a表對應的hashtable關聯，并輸出結果
注意：map端join沒有reduce任務，所以map直接輸出結果，即有多少個map任務就會產生多少個結果文件。
以上是“Hive中Map端JOIN的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
