怎么在Yarn集群中分配Container

本篇內容介紹了“怎么在Yarn集群中分配Container”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

YarnAllocator從字面意思來看，也應該知道是在Yarn集群中分配Container的。

private[yarn] class YarnAllocator(
    driverUrl: String,
    driverRef: RpcEndpointRef,
    conf: YarnConfiguration,
    sparkConf: SparkConf,
    amClient: AMRMClient[ContainerRequest],
    appAttemptId: ApplicationAttemptId,
    securityMgr: SecurityManager,
    localResources: Map[String, LocalResource],
    resolver: SparkRackResolver,
    clock: Clock = new SystemClock)

其中driverUrl就是Driver的地址。當用YarnAllocator分配Container來運行Executors時，這些Executors要聯系的Driver地址就是構造函數里的driverRef參數。

requestTotalExecutorsWithPreferredLocalities方法是分配多個Executor的，先將分配請求保存在隊列里，然后在守護線程中異步的創建Executor。

def requestTotalExecutorsWithPreferredLocalities(
      requestedTotal: Int,
      localityAwareTasks: Int,
      hostToLocalTaskCount: Map[String, Int],
      nodeBlacklist: Set[String]): Boolean = synchronized {
    this.numLocalityAwareTasks = localityAwareTasks
    this.hostToLocalTaskCounts = hostToLocalTaskCount
    if (requestedTotal != targetNumExecutors) {
      logInfo(s"Driver requested a total number of $requestedTotal executor(s).")
      targetNumExecutors = requestedTotal
      allocatorBlacklistTracker.setSchedulerBlacklistedNodes(nodeBlacklist)
      true
    } else {
      false
    }
  }

targetNumExecutors就是說明要申請創建多少個Executor的意思。具體的實際創建動作是在runAllocatedContainers中執行的。

         launcherPool.execute(() => {
            try {
              new ExecutorRunnable(
                Some(container),
                conf,
                sparkConf,
                driverUrl,
                executorId,
                executorHostname,
                executorMemory,
                executorCores,
                appAttemptId.getApplicationId.toString,
                securityMgr,
                localResources
              ).run()
              updateInternalState()
            } catch {
              
            }

這一段就是在分配的Container上創建Executor的過程，用ExecutorRunner來包裝的。其中的driverUrl就是構造函數中帶過來的driver的地址。

可見每個driver都會創建一個屬于自己的單獨的YarnAllocator。

順便說一句，很多人以前Spark是集群，實際上Spark本身只是一種計算方式，可以看成它只是jar包。Spark的driver運行時才會去申請Executor，向Yarn申請或者向Standalone集群申請。Standalone集群是指Master和Worker，不是指Spark core，更不是指SparkContext。

“怎么在Yarn集群中分配Container”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！