Airflow 中文文件：專案
歷史
Airflow於2014年10月由Airbnb的Maxime Beauchemin開始。 它是第一次提交的開源，並在2015年6月宣佈正式加入Airbnb Github。
該專案於2016年3月加入了Apache Software Foundation的孵化計劃。
提交者
- @mistercrunch（Maxime“Max”Beauchemin）
- @ r39132（Siddharth“Sid”Anand）
- @criccomini（Chris Riccomini）
- @bolkedebruin（Bolke de Bruin）
- @artwr（亞瑟威德默）
- @jlowin（Jeremiah Lowin）
- @patrickleotardif（Patrick Leo Tardif）
- @aoen（丹·達維多夫）
- @syvineckruyk（Steven Yvinec-Kruyk）
- @msumit（Sumit Maheshwari）
相關推薦
Airflow 中文文件：專案
歷史 Airflow於2014年10月由Airbnb的Maxime Beauchemin開始。 它是第一次提交的開源，並在2015年6月宣佈正式加入Airbnb Github。 該專案於2016年3月加入了Apache Software Foundation的孵化計劃。 提交者
Airflow 中文文件：寫日誌
在本地編寫日誌 使用者可以使用base_log_folder設定在airflow.cfg指定日誌資料夾。 預設情況下，它位於AIRFLOW_HOME目錄中。 此外，使用者可以提供遠端位置，以便在雲端儲存中儲存日誌和日誌備份。 在Airflow Web UI中，本地日誌優先於遠端日誌。 如果找不到或訪問本
Airflow 中文文件：用Celery擴大規模
CeleryExecutor是您擴充套件工人數量的方法之一。 為此，您需要設定Celery後端（ RabbitMQ ， Redis ，...）並更改airflow.cfg以將執行程式引數指向CeleryExecutor並提供相關的Celery設定。 有關設定Celer
Airflow 中文文件：用Dask擴充套件
DaskExecutor允許您在Dask分散式群集中執行Airflow任務。 Dask叢集可以在單個機器上執行，也可以在遠端網路上執行。 有關完整詳細資訊，請參閱分散式文件 。 要建立叢集，首先啟動排程程式： # default settings for a local cluster DA
Airflow 中文文件：UI /截圖
通過Airflow UI，您可以輕鬆監控資料管道並對其進行故障排除。 以下是您可以在Airflow UI中找到的一些功能和視覺化的快速概述。 DAGs檢視 您環境中的DAG列表，以及一組有用頁面的快捷方式。 您可以一目瞭然地檢視成功，失敗或當前正在執行的任務數量。
Airflow 中文文件：保護連線
預設情況下，Airflow將在元資料資料庫中以純文字格式儲存連線的密碼。 在安裝過程中強烈建議使用crypto包。 crypto包確實要求您的作業系統安裝了libffi-dev。 如果最初未安裝crypto軟體包，您仍可以通過以下步驟為連線啟用加密： 安裝crypto包pip
Airflow 中文文件：管理連線
Airflow需要知道如何連線到您的環境。 其他系統和服務的主機名，埠，登入名和密碼等資訊在UI的Admin->Connection部分中處理。 您將創作的管道程式碼將引用Connection物件的“conn_id”。 可以使用UI或環境變數建立和管理連線。 有關
Airflow 中文文件：使用操作器
操作器代表一個理想情況下是冪等的任務。 操作員確定DAG執行時實際執行的內容。 有關更多資訊，請參閱Operators Concepts文件和Operators API Reference 。 BashOperator 模板 故障排除
Airflow 中文文件：初始化資料庫後端
如果您想對Airflow進行真正的試駕，您應該考慮設定一個真正的資料庫後端並切換到LocalExecutor。 由於Airflow是使用優秀的SqlAlchemy庫與其元資料進行互動而構建的，因此您應該能夠使用任何支援作為SqlAlchemy後端的資料庫後端。 我們建議使用MySQL或P
Airflow 中文文件：設定配置選項
第一次執行Airflow時，它會在$AIRFLOW_HOME目錄中建立一個名為airflow.cfg的檔案（預設情況下為~/airflow $AIRFLOW_HOME ）。 此檔案包含Airflow的配置，您可以對其進行編輯以更改任何設定。 您還可以使用以下格式設定帶有環境變數的選項： $A
Airflow 中文文件：教程
本教程將向您介紹一些基本的Airflow概念，物件及其在編寫第一個管道時的用法。 示例管道定義 以下是基本管道定義的示例。 如果這看起來很複雜，請不要擔心，下面將逐行說明。 """ Code that goes along with the Airflow tutorial l
Airflow 中文文件：安裝
獲得氣流 安裝最新穩定版Airflow的最簡單方法是使用pip ： pip install apache-airflow 您還可以安裝Airflow，支援s3或postgres等額外功能： pip install apache-airflow [ postgres,s3
Airflow 中文文件：快速開始
安裝快速而直接。 # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLO
Airflow 中文文件：概念
Airflow Platform是用於描述，執行和監控工作流的工具。 核心理念 DAG的 在Airflow中， DAG （或定向非迴圈圖）是您要執行的所有任務的集合，以反映其關係和依賴關係的方式進行組織。 例如，一個簡單的DAG可以包含三個任務：A，B和C.可以說A必須在B可
Airflow 中文文件：API 參考
運營商 運算子允許生成某些型別的任務，這些任務在例項化時成為DAG中的節點。 所有運算子都派生自BaseOperator ，並以這種方式繼承許多屬性和方法。 有關更多詳細資訊，請參閱BaseOperator文件。 有三種主要型別的運營商： 執行操作的操作員，或告訴其他系統
Airflow 中文文件：常見問題
為什麼我的任務沒有安排好？ 您的任務可能無法安排的原因有很多。 以下是一些常見原因： 您的指令碼是否“編譯”，Airflow引擎是否可以解析它並找到您的DAG物件。 要對此進行測試，您可以執行airflow list_dags並確認您的DAG顯示在列表中。 您還可以執行air
Airflow 中文文件：Lineage
注意 Lineage 支援是非常實驗性的，可能會發生變化。 Airflow可以幫助跟蹤資料的來源，發生的事情以及資料隨時間的變化。 這有助於實現審計跟蹤和資料治理，還可以除錯資料流。 氣流通過任務的入口和出口跟蹤資料。 讓我們從一個例子開始，看看它是如何工作的。 from
Airflow 中文文件：整合
反向代理 Azure：Microsoft Azure AWS：亞馬遜網路服務 Databricks GCP：Google雲端平臺 反向代理 可以在反向代理後面設定氣流，並能夠靈活地設定其端點。 例如，您可以配置反向代理以獲取： http
Airflow 中文文件：實驗性 Rest API
Airflow公開了一個實驗性的Rest API。 它可以通過網路伺服器獲得。 端點可在/ api / experimental /獲得。 請注意，我們希望端點定義發生變化。 端點 這是佔位符，直到招搖定義處於活動狀態 / api / experimental / dag
Airflow 中文文件：時區
預設情況下啟用對時區的支援。 Airflow在內部和資料庫中以UTC格式儲存日期時間資訊。 它允許您使用時區相關的計劃執行DAG。 目前，Airflow不會將其轉換為使用者介面中的終端使用者時區。 它始終以UTC顯示。 此外，操作符中使用的模板也不會被轉換。 時區資訊是暴露出來的，由DAG的