如何解析sbt編譯Spark App的依賴問題

本篇文章給大家分享的是有關如何解析sbt編譯Spark App的依賴問題，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

背景簡介

Spark App（用Spark APIs編寫的）需要submit到Spark Cluster運行，對于Scala編寫的代碼，提交之前要用sbt或者maven把以下內容：

• 源代碼

• 依賴的jar包

全部打包成一個大的jar文件，這樣代碼就不會因為沒有依賴無法在集群中運行。

問題

我司用Scala編寫Spark streaming應用，實現讀取Kafka數據，處理后存儲到cassandra集群中。這里需要用到一個包spark-streaming-kafka，之前用的spark1.6.0的版本。sbt中的配置如下：

libraryDependencies ++= Seq(
  // Spark dependency
  "com.eaio.uuid" % "uuid" % "3.2",
  "org.apache.spark" %% "spark-core" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-streaming" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-streaming-kafka" % "1.6.0",
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M2",
   // Third-party libraries
  "com.github.scopt" %% "scopt" % "3.4.0"
)

升級到Spark 2.0.0后需要更新軟件包版本，于是將sbt構建配置中的依賴部分改為：

libraryDependencies ++= Seq(
  // Spark dependency
  "com.eaio.uuid" % "uuid" % "3.2",
  "org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-streaming" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-streaming-kafka" % "2.0.0",
  "com.datastax.spark" %% "spark-cassandra-connector" % "2.0.0-M2",
   // Third-party libraries
  "com.github.scopt" %% "scopt" % "3.4.0"
)

本以為這樣修改后重新構建就沒問題了。但是我太天真了，構建后報錯，提示：

[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn]     ::          UNRESOLVED DEPENDENCIES         ::
[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn]     :: org.apache.spark#spark-streaming-kafka_2.10;2.0.0: not found
[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn] 
[warn]     Note: Unresolved dependencies path:
[warn]         org.apache.spark:spark-streaming-kafka_2.10:2.0.0 (/home/linker/workspace/linkerwp/linkerStreaming/build.sbt#L12-23)
[warn]           +- Linker Networks Inc.:linker-streaming_2.10:0.0.1
sbt.ResolveException: unresolved dependency: org.apache.spark#spark-streaming-kafka_2.10;2.0.0: not found

說明這個包是不存在的，于是馬上到maven repo上去找。常見的Maven公共repo有：

• search.maven.org…用于搜索你的依賴包。

• https://mvnrepository.com/…maven倉庫。

進入網址輸入spark-streaming-kafka搜索后數來好幾和選項，前面4個結果都是不支持Spark 2.0.0的，這讓我誤以為Spark 2.0.0還不支持Kafka，這個想法被前面幾個搜索結果誤導了。因為對于2.0.0的Spark，Kafka添加了具體的版本號！spark-streaming-kafka→spark-streaming-kafka-0-8就可以找到了（實際上這個版本也在maven repo的搜索結果，因為靠后我沒有去看）！！

• 對于Java/Scala的編譯問題，我曾經特別抗拒，因為maven和sbt的配置文件很冗雜，沒有Python的簡潔明了。Python里20行的依賴文件在maven/sbt里至少200行，而且只要有一個地方沒寫正確就無法正確編譯。

• 現在發現要想正確編譯，保證源代碼沒問題的情況下，就需要指定正確的依賴包和格式。這個需要到maven的倉庫上去搜索，確認無誤后再添加到配置文件中。

• 要學會發散、拓展思考。當看到sbt編譯失敗的時候就應該根據報錯信息推測出問題的原因：“依賴包版本不正確”，然后把版本指定正確就可以了。

以上就是如何解析sbt編譯Spark App的依賴問題，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。