1. 程式人生 > >Airflow 中文文件:寫日誌

Airflow 中文文件:寫日誌

在本地編寫日誌

使用者可以使用base_log_folder設定在airflow.cfg指定日誌資料夾。 預設情況下,它位於AIRFLOW_HOME目錄中。

此外,使用者可以提供遠端位置,以便在雲端儲存中儲存日誌和日誌備份。

在Airflow Web UI中,本地日誌優先於遠端日誌。 如果找不到或訪問本地日誌,將顯示遠端日誌。 請注意,只有在任務完成(包括失敗)後才會將日誌傳送到遠端儲存。 換句話說,執行任務的遠端日誌不可用。 日誌作為{dag_id}/{task_id}/{execution_date}/{try_number}.log儲存在日誌資料夾中。

將日誌寫入Amazon S3

在你開始之前

遠端日誌記錄使用現有的Airflow連線來讀取/寫入日誌。 如果沒有正確設定連線,則會失敗。

啟用遠端日誌記錄

要啟用此功能,必須按照此示例配置airflow.cfg :

閱讀全文/改進本文