Flink 1.10Container環境怎么配置

這篇文章主要介紹“Flink 1.10Container環境怎么配置”，在日常操作中，相信很多人在Flink 1.10Container環境怎么配置問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Flink 1.10Container環境怎么配置”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

• 如資源隔離，因為 YARN 是以 Java 為基礎開發的，所以它很多資源方面的隔離有一些受限。

• 另外對 GPU 支持不夠，當然現在的 YARN 3.0 已經對 GPU 的調度和管理有一定支持，但之前版本對GPU 支持不是很好。

  
    
  
  
  kubectl create -f flink-configuration-configmap.yamlkubectl create -f jobmanager-service.yamlkubectl create -f jobmanager-deployment.yamlkubectl create -f taskmanager-deployment.yaml

• 首先 ，它會向 K8S Master 申請創建 Flink ConfigMap，在 ConfigMap 中提供了 Flink 集群運行所需要的配置，如：flink-conf.yaml 和 log4j.properties；
• 其次 ，創建 Flink JobManager 的 service，通過 service 來打通 TaskManager 和 JobManager之間的聯通性；
• 然后 ，創建 Flink Jobmanager 的 Deployment，用來啟動 JobMaster，包含的組件有 Dispatcher 和 Resource manager。
• 最后 ，創建 Flink TaskManager 的 Deployment，用來啟動 TaskManager，因為 Flink 官方 taskmanager-deployment.yaml 示例中指定了2個副本，所以圖中展示了2個 TM 節點。

./bin/flink run -m : ./examples/streaming/WordCount.jar

• 優點是無需修改 Flink 源碼，僅僅只需預先定義一些yaml 文件，集群就可以啟動，互相之間的通信完全不經過 K8S Master；

• 缺點是資源需要預先申請無法動態調整，而 Flink on YARN 是可以在提交作業時聲明集群所需的 JM 和 TM 的資源。

• JobManager/TaskManager metrics
• Job metrics(checkpoint次數、size和fail次數)
• task metrics
• operator metrics(每秒處理多少條record、receive的bytes數目)。

■ 網絡性能

• 不要有異構網絡環境（盡量不要跨機房訪問）
• 云服務商的機器配置網卡多隊列  (將實例中的網絡中斷分散給不同的CPU處理， 從而提升性能)
• 選取云服務商提供的高性能網絡插件：例如阿里云的 Terway
• Host network，繞開 k8s 的虛擬化網絡（需要一定的開發量）

■ 磁盤性能

apiVersion: apps/v1kind: Deploymentmetadata:  name: flink-taskmanagerspec:  replicas: 2  selector:    matchLabels:      app: flink      component: taskmanager  template:    metadata:      labels:        app: flink        component: taskmanager    spec:      containers:      - name: taskmanager        image: reg.docker.alibaba-inc.com/chagan/flink:latest        workingDir: /opt/flink        command: ["/bin/bash", "-c", "$FLINK_HOME/bin/taskmanager.sh start; \          while :;          do            if [[ -f $(find log -name '*taskmanager*.log' -print -quit) ]];              then tail -f -n +1 log/*taskmanager*.log;            fi;          done"]        ports:        - containerPort: 6122          name: rpc        livenessProbe:          tcpSocket:            port: 6122          initialDelaySeconds: 30          periodSeconds: 60        volumeMounts:        - name: flink-config-volume          mountPath: /opt/flink/conf/        - name: state-volume          mountPath: /dump/1/state        securityContext:          runAsUser: 9999  # refers to user _flink_ from official flink image, change if necessary      volumes:      - name: flink-config-volume        configMap:          name: flink-config          items:          - key: flink-conf.yaml            path: flink-conf.yaml          - key: log4j.properties            path: log4j.properties      - name: state-volume        hostPath:          path: /dump/1/state          type: DirectoryOrCreate

• 查看日志，檢測是否有 exception;
• 如果是性能就需要用 jstack，查看 CPU、調用棧卡在哪里;
• 如果發現總是有 OOM 風險，或者老年代總是打的很滿，或者 GC 頻繁，或者Full GC 導致 Stop the world，就需要 jmap 查看哪塊占內存，分析是否存在內存泄露

到此，關于“Flink 1.10Container環境怎么配置”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！