您好,登錄后才能下訂單哦!
如何使用apache pig 處理chukwa收集的數據,很多新手對此不是很清楚,為了幫助大家解決這個難題,下面小編將為大家詳細講解,有這方面需求的人可以來學習下,希望你能有所收獲。
公司使用chukwa收集每個服務器數據的,數據收集到的hdfs以后被寫成sequencefile,想用pig處理這些數據,pig本身不支持這種數據結構的,查看chukwa源碼發現,本身有帶有pig腳本,是hicc用來做數據統計的腳本,hicc一直不好使,也懶得搭理這玩意。
1、chukwa/script/pig/DF.pig
define chukwaLoader org.apache.hadoop.chukwa.pig.ChukwaLoader();
源碼在:chukwa/contrib/chukwa-pig下邊
本身chkwa支持的pig版本比較老,使用pig腳本加載這個jar包,執行壓根不好使,把代碼放到pig下進行編譯,就可以直接使用了。
看完上述內容是否對您有幫助呢?如果還想對相關知識有進一步的了解或閱讀更多相關文章,請關注億速云行業資訊頻道,感謝您對億速云的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。