Azure Data Factory（簡寫 ADF）是Azure的雲ETL服務，簡單的說，就是雲上的SSIS。ADF是基於雲的ETL，用於資料整合和資料轉換，不需要程式碼，直接通過UI（code-free UI）來設計，可進行直觀監控和管理。使用者還可以把現有的SSIS packages部署到Azure，並和ADF完全相容地執行。

一，ADF適用的場景

在大資料的世界中，原始的、無結構的資料通常存在在關係型、非關係型和其他儲存系統中，由於原始資料沒有適當的上下文含義，無法被資料分析師、資料科學家提供有意義的insights。

ADF能夠處理海量的資料，對這些原始資料進行處理和提煉，獲得有用的資訊和洞察。Azure Data Factory 建立Pineline，從不同的資料來源（如：Azuer Storage，File， SQL DataBase，Azure Data Lake等）中提取資料，對資料進行加工處理和複雜計算後，把這些有價值的資料儲存到不同的目標儲存（如：Azuer Storage，File， SQL DataBase，Azure Data Lake等）上，供資料分析師或資料科學家進行分析。

Azure 資料工廠是基於雲的資料整合服務，用於在雲中建立資料驅動型工作流，以便協調和自動完成資料移動和資料轉換。 使用 Azure 資料工廠可執行以下任務：

• 建立管道（Pipeline），以便從不同的資料儲存中提取資料。
• 處理和轉換原始資料，獲得一個結構化的資料。
• 把處理之後的資料釋出到資料儲存（例如 Azure Synapse Analytics），供商業智慧 (BI) 應用程式使用。

二，ADF的工作原理

ADF 包含一系列的相互連線元件，為資料工程師提供完整的端到端（end-to-end）的平臺。Azure 資料工廠中的管道（資料驅動型工作流）通常執行以下三個步驟：

1，連線和收集

企業有不同型別的資料，這些資料位於不同的源中，比如on-permises，雲上的，有結構的、無結構的，並且以不同的間隔和速度到達。構建資訊生成系統的第一步是連線到所有必需的資料來源，對資料進行處理，這些源包括：SaaS 服務、檔案共享、FTP、Web 服務，然後，把需要的資料移到中心位置進行後續處理和分析。

如果沒有ADF，那麼企業就必須建立自定義的資料移動元件或編寫自定義的服務，以便整合這些資料來源並進行處理。整合和維護此類系統既昂貴又困難，這些系統通常還缺乏企業級監視、警報和控制，而這些功能是完全託管的服務能夠提供的。但是藉助ADF，使用者可以在pipeline中使用“Copy Activity”，把資料從本地和雲的源資料儲存轉移到雲上的集中資料儲存，進行進一步的分析。

2，轉換和擴充

把資料集中到雲上的資料儲存以後，使用ADF對映資料流處理或轉換資料，資料流使資料工程師能夠構建和維護資料轉換，而無需瞭解Spark叢集或Spart變成。如果使用者喜歡手工編碼轉換，那麼ADF支援外部活動（External Activity），以在HDInsight Hadoop，Spark，Data Lake Analytics和Machine Learning等計算服務上執行轉換。

3，釋出

ADF使用Azure DevOps和GitHub全面支援Pipeline，在釋出最終版本之前進行迭代式的開發。把原始資料精煉成可用於商業分析的資料之後，使用者可以把轉換的資料從雲上的儲存傳送到本地源（例如 SQL Server），也可將其保留在雲端儲存源中，供 BI 和分析工具及其他應用程式使用。

4，Source Control 和 Monitor

ADF內建監控器，用於監控ADF中的活動（Activity）和Pipeline的成功率和失敗率。

V2版本的ADF具有GitHub和DevOps的source control功能。

三，ADF的關鍵元件

ADF 由下面4個關鍵元件構成： 

• Pipelines
• Activities
• Datasets
• 連線（Linked services和Integration runtimes）

ADF的4個關鍵元件之間的關係：

1，管道（Pipeline）

ADF包含一個或多個Pipeline，管道是Activity的邏輯分組，一個管道作為一個工作單元，管道中的Activity作為一個整體來執行任務。

管道使使用者可以把多個Activity作為一個整體進行管理，而不必單獨管理每個Activity，管道中的Activity可以連線在一起按照順序串聯執行，也可以單獨以併發方式執行。

2，活動（Activity）

管道可以包含一個或多個活動，活動定義對資料執行的操作，是Pipeline中的一個步驟。 例如，使用者可以使用Copy Activity把資料從一個數據儲存複製到另一個數據儲存。ADF支援三種類型的活動：資料移動活動、資料轉換活動和控制流活動。

• 資料移動活動：用於把資料從源資料儲存賦值到接收資料儲存，來自任何源的資料都可以寫入到任何接收器。
• 資料轉換活動：使用者對資料進行轉換處理
• 控制流活動：控制流負責對管道活動進行控制，包含按照順序連線活動、在管道級別定義引數、進行迴圈控制等。

3，資料集（Datasets）

資料集程式碼資料儲存中的資料結構，這些結構指向或引用在活動中使用的資料（輸入或輸出），也就是說，一個活動使用零個或多個數據集作為輸入，使用一個或多個數據集作為輸出。

4，連線（Connection）

連線有兩種型別：Linked services 和 Integration runtimes，連線服務十分類似於連線字串，用於定義ADF連線到外部資源時所需要的連線資訊，連線服務定義如何連線到外部資料來源，而資料集代表外部源資料的結構。

5，其他元件

引數（Parameters）是一個只讀的Key-Value對，引數定義在管道中，在管道執行時，引數傳遞到管道中的Activity中。

變數（Variable）用於在管道中儲存臨時值，並可以接收引數的值，把值傳遞到其他管道、資料流和Activity中。

參考文件：

Azure Data Factory(英文)

Azure Data Factory(中文)

Azure Data Factory documentation

What is Azure Data Fact