Airflow 中文文件:使用Mesos擴充套件(社群貢獻)
有兩種方法可以將氣流作為mesos框架執行:
- 直接在mesos從站上執行氣流任務,要求每個mesos從站安裝和配置氣流。
- 在安裝了氣流的docker容器內執行氣流任務,該容器在mesos slave上執行。
任務直接在mesos從站上執行
MesosExecutor
允許您在Mesos群集上安排氣流任務。 為此,您需要一個正在執行的mesos叢集,並且必須執行以下步驟 -
- 在將執行Web伺服器和排程程式的mesos從站上安裝氣流,讓我們將其稱為“Airflow伺服器”。
- 在Airflow伺服器上,從ofollow,noindex">mesos下載 安裝mesos python eggs。
-
在Airflow伺服器上,使用可從所有mesos從站訪問的資料庫(例如mysql)並在
airflow.cfg
新增配置。 -
將
airflow.cfg
更改為指向airflow.cfg
的point executor引數,並提供相關的Mesos設定。 -
在所有mesos奴隸上,安裝氣流。 從Airflow伺服器複製
airflow.cfg
(以便它使用相同的sql鍊金術連線)。 - 在所有mesos從伺服器上,執行以下服務日誌:
airflow serve_logs