如何使用sbt打包scala寫的spark項目

這篇文章主要介紹“如何使用sbt打包scala寫的spark項目”，在日常操作中，相信很多人在如何使用sbt打包scala寫的spark項目問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何使用sbt打包scala寫的spark項目”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

項目根目錄build.sbt

//項目名稱 
  
name := "sparkScala"
 
 
//項目版本 
 
version := "1.0"

 
//scala版本

scalaVersion := "2.11.7"

 
//jdk版本

javacOptions ++= Seq("-source", "1.7", "-target", "1.7")

 
//依賴項，%%表示測試時需要，一般%； % "provided"表示此jar不打入最終的jar文件內

libraryDependencies += "com.alibaba" % "fastjson" % "1.2.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.4.1" % "provided"

 
//主函數

mainClass in Compile := Some("main.MergePartition")

 
//打包時，排除scala類庫

assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)

項目根目錄project/plugins.sbt添加assembly插件

 addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

最終在項目根目錄下執行

sbt clean assembly

 即可看到香噴噴的jar包文件

解壓里面即可看到fastjson被打入jar包內，其它要排除的都已被排除

在META-INF/MANIFEST.MF文件也寫入了Main-Class: main.MergePartition 這個主函數執行類

到此，關于“如何使用sbt打包scala寫的spark項目”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！