1. 程式人生 > >Airflow 中文文件:Lineage

Airflow 中文文件:Lineage

注意

Lineage 支援是非常實驗性的,可能會發生變化。

Airflow可以幫助跟蹤資料的來源,發生的事情以及資料隨時間的變化。 這有助於實現審計跟蹤和資料治理,還可以除錯資料流。

氣流通過任務的入口和出口跟蹤資料。 讓我們從一個例子開始,看看它是如何工作的。

 from airflow.operators.bash_operator import BashOperator
from airflow.operators.dummy_operator import DummyOperator
from airflow.lineage.datasets import File
from airflow.models import DAG
from datetime import timedelta

FILE_CATEGORIES = [ "CAT1" , "CAT2" , "CAT3" ]

args = {
    'owner' : 'airflow' ,
    'start_date' : airflow . utils . dates . days_ago ( 2 )
}

閱讀全文/改進本文