flink如何安裝部署

這篇文章主要介紹了flink如何安裝部署，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

Flink支持運行與所有的類linux環境，比如linux，mac os x 和cygwin(windows)，要求一個master節點，一個或者多個worker節點。再部署啟動flink集群之前，要準備一下環境，對每個節點的環境要求是：

1. 需要java 1.8.x或者更高版本

2. ssh(sshd一定要啟動，因為要用flink腳本去管理集群遠程的節點)

如果，你集群環境不滿足這些軟件要求，請及時安裝和更新。

假如ssh是免密碼登陸的，然后保證每個集群的安裝路徑都一樣，這樣可以方便的使用flink腳本管理集群。

JAVA_HOME配置是flink集群必須要求的，也可以通過conf/flink-conf.yaml里的env.java.home屬性設置。

Flink集群配置

在下載flink

https://flink.apache.org/downloads.html

然后解壓

tar -zxfflink-1.7.1-bin-hadoop27-scala_2.11.tgz

配置的要點分析

master選定

在解壓之后，就可以開始編輯flink的conf/flink-conf.yaml進行配置了。

必要重要的點是選定master節點，配置屬性叫做：jobmanager.rpc.address。

內存配置

根據自己的實際情況集群大小，業務繁忙度設置合理的jobmananger的jvm內存，屬性是jobmanager.heap.mb 和taskmanager.heap.mb。

單位是MB。當然，有些集群可能是節點直接內存可能有大有小，這樣統一flink的taskmanager配置，會導致一些節點物理內存荒廢，所以建議是可以通過FLINK_TM_HEAP這個環境變量來調整，該環境變量會覆蓋掉配置文件內部的taskmanager.heap.mb配置。

指定worker節點

集群的哪些節點被配置為worker節點，也是需要明確指定的，這個很類似hdfs的配置，需要編輯conf/slaves文件，然后將所有wroker節點的ip或者host寫入該文件即可。然后就可以ssh到所有機器的節點上啟動集群。

當然，有些人要抬杠了，我就不配置slaves，我要一臺一臺啟動taskmanager，只能說完全沒問題。

單節點無需配置，解壓之后可以直接啟動的。

配置案例

官網給出了一個三節點的集群（10.0.0.1到10.0.03）

再次強調，在每個節點flink的home路徑要存在且統一，最簡單的方式是用NFS，當然也可以scp的方式分發到每個節點。

重要配置解析

• jobmanager.heap.mb:jobmanager的堆內存。

• taskmanager.heap.mb:taskmanager的堆內存。

• taskmanager.numberOfTaskSlots:每個機器slots的數量，官方說是cpu的數量一個意思一般slot數就可以設置為cpu數或者cpu數的整數倍。

• parallelism.default :任務啟動的時候的默認并行度。

• taskmanager.tmp.dirs : taskmanager的運行臨時路徑，可以配置多路徑，有ssd更好。

啟動flink集群

bin/start-cluster.sh 腳本在是啟動整個flink集群的腳本，執行的時候會現在本地啟動一個jobmanager，然后使用ssh連接到slaves文件配置的所有worker節點啟動taskmanager。Taskmanager通過前面配置的jobmanager的rpc端口鏈接到jobmanager，這樣整個集群就啟動了。

停止集群采用的腳本是bin/stop-cluster.sh。

上面的啟動方式主要是從零啟動一個正常的集群，那么很多時候我們會給集群添加機器，這個時候怎么辦呢？

Flink提供了兩個腳本

增加一個JobManager

bin/jobmanager.sh ((start|start-foreground)[host] [webui-port])|stop|stop-all

增加一個TaskManager

bin/taskmanager.shstart|start-foreground|stop|stop-all

執行命令所在的機器就是你要添加到集群的機器，切記啊。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“flink如何安裝部署”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!