Spark與Elasticsearch在Ubuntu

在Ubuntu上安裝和配置Spark與Elasticsearch涉及幾個步驟。以下是一些關鍵步驟的概述：

安裝Java

Spark需要Java環境，因此首先需要安裝Java。可以通過以下命令來安裝OpenJDK 11：

sudo apt update
sudo apt install openjdk-11-jdk

下載并解壓Spark

接下來，從Spark官網下載適合Ubuntu的Spark版本，并解壓到指定目錄。例如，解壓到/opt/spark目錄：

wget https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
tar xzf spark-3.2.0-bin-hadoop3.2.tgz
sudo mv spark-3.2.0-bin-hadoop3.2 /opt/spark

配置Spark環境變量

為了方便使用Spark，需要配置環境變量。編輯~/.bashrc文件，添加以下內容：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

然后運行source ~/.bashrc使配置生效。

啟動Spark Shell

現在可以啟動Spark Shell了：

spark-shell

安裝Elasticsearch

可以通過官方文檔提供的命令來下載并安裝Elasticsearch。請注意，這里使用的是Elasticsearch 7.x版本，因為與某些Spark組件的兼容性更好。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.1-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.1-linux-x86_64.tar.gz
sudo mv elasticsearch-7.10.1 /opt/elasticsearch

配置Elasticsearch環境變量

同樣地，編輯~/.bashrc文件，添加以下內容：

export ELASTICSEARCH_HOME=/opt/elasticsearch
export PATH=$PATH:$ELASTICSEARCH_HOME/bin

然后運行source ~/.bashrc使配置生效。

啟動Elasticsearch

現在可以啟動Elasticsearch了：

/opt/elasticsearch/bin/elasticsearch

至此，已經在Ubuntu上成功安裝了Spark和Elasticsearch，并進行了基本的環境配置。接下來可以根據具體需求進行進一步的設置和使用。