Spark入門及安裝與配置

以下是老男孩教育編寫的大數據資料，轉載請注明出處：http://www.oldboyedu.com

Hadoop

Hadoop是分布式計算引擎，含有四大模塊，common、hdfs、mapreduce和yarn。

并發和并行

并發通常指針對單個節點的應對多個請求的能力，是單一節點上計算能力的衡量，并行通常針對集群來講，是利用多個節點進行分布式協同作業，我們稱之為并行計算。

Spark

快如閃電集群計算引擎，應用于大規模數據處理快速通用引擎，使用內存計算。

1.Speed

內存計算速度是hadoop的100倍以上，硬盤計算是Hadoop是10倍以上，Spark使用高級DAG(Direct acycle graph)執行引擎。

2.易于使用

提供了80+高級算子，能夠輕松構建并行應用，也可以使用scala，python，r的shell進行交互式操作。

3.通用性

對SQL、流計算、復雜分析可進行組合應用。spark提供了類庫棧，包括SQL、MLlib、graphx和Spark streaming。

4.架構

包括： Spark core、 Spark SQL、 Spark streaming、 Spark mllib和 Spark graphx

5. 到處運行

Spark可以運行在hadoop、mesos、standalone和clound上，同時可以訪問多種數據源，如hdfs、hbase、hive、Cassandra、 S3等。

spark集群部署模式

1.local

不需要啟動任何Spark進程，使用一個JVM運行Spark所有組件，主要用于調試和測試。

2.standalone

獨立模式，需要安裝Spark集群，分別啟動master節點和worker節點，master是管理節點，worker是task的執行節點。

3.yarn

不需要單獨部署Spark集群，可以說根本沒有Spark集群的概念。

該模式下，使用的完全是Hadoop的Job執行流程，只是到末端啟動任務時使用Spark的Task執行發生，相當于Spark是一個Hadoop的Job，將Spark的所有jar包打入job運行的依賴包中，流程按照hadoop的執行流程來進行。

安裝spark

1.下載spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下載地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解壓文件到/soft目錄下

$>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft

3.創建軟連接

創建軟連接后，編譯各種文件配置以及后期進行版本升級和替換非常方便。

$>cd /soft

$>ln -s spark-2.3.0-bin-hadoop2.7 spark

4.配置環境變量

編輯/etc/profile環境變量文件：

$>sudo nano /etc/profile

在文件末尾添加如下內容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

注意：將Spark的bin目錄和sbin目錄都添加到環境變量path中，而且Linux使用“:”作為分隔符。

5.環境變量生效

$>source /etc/profile

6.進入Spark-shell命令行

$>/soft/spark/spark-shell

#進入scala命令提示符

$scala>

7.體驗Spark-shell

因為Spark使用的scala語言，因此同Scala的使用完全一致。

$scala>1 + 1

#輸出結果