如何編譯Spark 1.5.2

這篇文章將為大家詳細講解有關如何編譯Spark 1.5.2，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

在編譯spark 1.5.2 時，由于maven版本過低導致出錯（貌似使用oschina國內鏡像也出現了錯誤，所以沒采用國內鏡像，這樣就慢一些，但是沒關系，能成功就行）

升級maven到最新的版本：

                             （1）卸載之前的maven, sudo apt-get autoremove maven

                             （2）下載最新的maven, apache-maven-3.3.9-bin.tar.gz

                             （3）sudo tar -zxvf  apache-maven-3.3.9-bin.tar.gz -C /usr

                             （4）sudo gedit  ~/.bashrc

                             （5） # MAVEN

                                        export MAVEN_HOME=/usr/apache-maven-3.3.9

                                        export PATH=${MAVEN_HOME}/bin:$PATH

                            （6）source ~/.bashrc

  設置Maven內存， 

export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=512m"

                   （這里得設置 MaxPermSize=1g ，不然會出現 OutOfMemoryError）

 開始編譯： mvn -Pyarn -Dyarn.version=2.6.0 -Dhadoop.version=2.6.0 -DskipTests clean -U package

-vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M

-Xms    JVM初始分配的堆內存大小，默認是物理內存的1/64。
-Xmx   JVM最大分配的堆內存大小，默認是物理內存的1/4。
-XX:PermSize  JVM初始分配的非堆內存大小，默認是物理內存的1/64。
-XX:MaxPermSize  JVM最大分配的非堆內存大小，默認是物理內存的1/4。
-XX:NewSize  JVM初始分配的新生代堆區域內存大小。
-XX:MaxNewSize  JVM最大分配的新生代堆區域內存大小。
-XX:ReservedCodeCacheSize  編譯代碼時的緩存空間大小。

關于“如何編譯Spark 1.5.2”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。