使用者畫像系統的作業排程Airflow研究和應用

摘要： 使用者畫像系統從業務入手，全面構建使用者的標籤體系。標籤體系的設計和生成需要多個作業協同和有序工作。而使用者畫像系統的作業排程，就是用來保證多個作業能夠協同有序工作。本文是對開源的作業排程系統Airflow的研究和應用探索。 Airflow環境配置 第一步：構建Linux開發環境 W...

使用者畫像系統從業務入手，全面構建使用者的標籤體系。標籤體系的設計和生成需要多個作業協同和有序工作。而使用者畫像系統的作業排程，就是用來保證多個作業能夠協同有序工作。本文是對開源的作業排程系統Airflow的研究和應用探索。

Airflow環境配置

第一步：構建Linux開發環境 Windows作業系統基於虛擬機器構建Linux開發環境。虛擬機器用VMware，Linux用CentOS7。 VMware虛擬機器中安裝CentOS7，參考連結： https://www.cnblogs.com/smyhvae/p/3917532.html

第二步：Linux系統搭建Python工作環境 基於sh安裝方式，快速搭建Python工作環境。 執行如下命令：

cd /opt
wget https://repo.continuum.io/archive/Anaconda3-5.2.0-Linux-x86_64.sh
bash Anaconda3-5.2.0-Linux-x86_64.sh

如果執行wget命令報錯，表示centOS7沒有連線網路。centOS7配置自動連線網路，參考連結： https://jingyan.baidu.com/article/19192ad8f7c320e53e570728.html 命令執行好後，就可以在Linux系統下進行Python的使用了。

第三步：安裝airflow 執行命令

pip install airflow
export AIRFLOW_HOME=/home/airflow
# 初始化資料庫：
airflow initdb
# 啟動服務：
airflow webserver （啟動airflow

開啟瀏覽器，輸入如下URL http://localhost:8080/admin/ 執行成功出現如下頁面：