溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容介紹了“如何解決HBase-Spark無法在Spark2編譯通過的問題”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！
1
編譯異常
在Spark2代碼中使用hbase-spark依賴包訪問HBase時，編寫的代碼無法完成編譯，在編譯的過程中提示如下錯誤：
Error:scalac: missing or invalid dependency detected while loading class file 'HBaseContext.class'.?
Could not access type Logging in package org.apache.spark,?
because it (or its dependencies) are missing. Check your build definition for?
missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.)?
A full rebuild may help if 'HBaseContext.class' was compiled against an incompatible version of org.apache.spark.
運行工程編譯命令時提示“Could not access type Logging in package org.apache.spark”
2
問題分析
經過查看資料找到HBase官網的一個JIRA，地址：
https://issues.apache.org/jira/browse/HBASE-16428
JIRA中找到在代碼中引用了HBaseContext時，使用Spark2編譯Spark應用程序將會失敗，因為HBaseContext模塊引用了org.apache.spark.Logging。在Spark2中，由于Logging被移動到一個私有的包下導致。同樣也有Spark2的一個JIRA說明該問題：
https://issues.apache.org/jira/browse/SPARK-13928
3
問題解決
為了完成編譯，這里Fayson使用如下做法解決該問題：
1.在自己的工程下創建一個org.apache.spark的包
2.在org.apache.spark包下創建一個Trait類型的Logging.scala類型，該類的內容通過Spark2源碼找到
將spark-core工程下org.apache.spark.internal.Logging類內容拷貝至我們工程下創建的org.apache.spark.Logging類中。
4.完成上述操作后，再次執行編譯，可以正常的完成編譯
4
總結
1.通過異常分析，由于Logging類在Spark2中私有化了，那在自己的工程中創建重寫一個Logging類方式解決該問題。
2.Logging類的內容要確保與對應Spark2版本代碼一致，避免造成一些莫名其妙的問題。
“如何解決HBase-Spark無法在Spark2編譯通過的問題”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
