1、主備切換機制原理剖析與原始碼分析
2、註冊機制原理剖析與原始碼分析
3、狀態改變處理機制原始碼分析

4、資源排程機制原始碼分析（schedule()，兩種資源排程演算法）

*

• Driver的排程機制

*

//Master中的schedule（）方法。
  private def schedule(): Unit = {
  //standby的Master是不會被呼叫的
    if (state != RecoveryState.ALIVE) { return }
    // 對註冊的worker進行過濾，留下Alive的worker。

    val shuffledWorkers = Random.shuffle(workers) // Randomization helps balance drivers
 

    //Driver 的排程機制
    //首先排程Driver。只有在Yarn—cluster的模式提交下，才會註冊Driver。因為StandAlone和Yarn—client模式都會在本地直接啟動Driver，不會註冊Driver，當然也不可能讓Master來排程Driver了。
    //只要有活著的workeru沒有被遍歷到就繼續遍歷。
    //這個driver還沒有被啟動。
    for (worker <- shuffledWorkers if worker.state == WorkerState.ALIVE) {
      for (driver <- waitingDrivers) {
      //如果當前這個worker的記憶體空閒量／cpu大於等於Driver需要的記憶體空閒量／cpu。
 

        if (worker.memoryFree >= driver.desc.mem && worker.coresFree >= driver.desc.cores) {
        //啟動Driver
          launchDriver(worker, driver)
          //將Driver從waitingDrivers中移除
          waitingDrivers -= driver
        }
      }
    }
    startExecutorsOnWorkers()
  }

//洗牌
  def shuffle[T, CC[X
 
] <: TraversableOnce[X]](xs: CC[T])(implicit bf: CanBuildFrom[CC[T], T, CC[T]]): CC[T] = {
    val buf = new ArrayBuffer[T] ++= xs

    def swap(i1: Int, i2: Int) {
      val tmp = buf(i1)
      buf(i1) = buf(i2)
      buf(i2) = tmp
    }
//對集合的資料進行隨機打亂
    for (n <- buf.length to 2 by -1) {
      val k = nextInt(n)
      swap(n - 1, k)
    }

    (bf(xs) ++= buf).result

//在某一個work上啟動Driver。
  private def launchDriver(worker: WorkerInfo, driver: DriverInfo) {
    logInfo("Launching driver " + driver.id + " on worker " + worker.id)
    //將Driver加入到worker的快取中
    //將Worker需要的使用的CPU和記憶體都加入到Driver需要的CPU和記憶體中
    worker.addDriver(driver)
    // 同時也把Work加入到Driver的快取結構了。
    driver.worker = Some(worker)
    //然後呼叫work兒的actor，把它傳送LaunchDriver訊息。讓worker來啟動Driver，並將Driver啟動為Running。
    worker.endpoint.send(LaunchDriver(driver.id, driver.desc))
    driver.state = DriverState.RUNNING
  }

• Application的排程機制