2018年4月份，網路安全公司Endgame釋出了一款名為EMBER的大型開源資料集。EMBER是一個包含了100多萬種良性和惡意PE檔案（Windows可執行檔案）集合，這是一種常見的惡意軟體隱藏格式。同時，針對該資料集，該公司同時在github上釋出瞭如何使用該資料集的一個教程貼。在該教程的指引下，我嘗試搭建了該專案的執行環境，併成功執行。但是過程中依然遇到了一些問題，現整理問題如下。

1. 執行 

pip install lief==0.83

報錯：找不到lief解決方案：     更新源，即在終端下執行 pip install —upgrade報錯：time out解決方案：     pip --default-timeout=100 install -U lief==0.83
2. 還是找不到lief     原因：lief還沒有加入到python底層庫中，因此搜尋該庫原始檔，直接安裝     解決方案：     google lief python，出來github連結在終端下執行 pip install https:

//github.com/lief-project/packages/raw/lief-master-latest/pylief-0.8.3.dev.zip3. 執行 python train_ember.py [/path/to/dataset]找不到pqdm
解決方案：     google pqdm github,     在終端下執行 pip install -e git+https://github.com/tqdm/[email protected]#egg=tqdm注：[/path/to/dataset]是解壓後的資料集所在的資料夾(注意：不是單個檔案)路徑，例如，我將資料集解壓後，重新命名為ember_data，並且放在了與train_ember.py同一層的目錄檔案，那麼我就執行 python train_ember.py ember_data/

（下同）4. 上一步安裝完後，出現如下提示
ember 0.1.0 requires lightgbm==2.1.0, which is not installed.
ember 0.1.0 has requirement numpy==1.14.2, but you'll have numpy 1.13.3 which is incompatible.
ember 0.1.0 has requirement pandas==0.22.0, but you'll have pandas 0.20.3 which is incompatible.ember 0.1.0 has requirement tqdm==4.21.0, but you'll have tqdm 4.23.2 which is incompatible.

原因：已經安裝的包版本不相容
解決重新安裝，採用pip install -v lightgbm==2.1.0pip install -v numpy==1.14.2pip install -v tqdm==4.21.0Conda install pandas=0.22.0
其中pandas採用conda安裝的原因是pip一直time out，後來發現conda安裝真的是快，建議直接用這個安裝。5. 訓練樣本【源說明見下圖】
報錯：unrecognized arguments分析原因：檔案路徑寫錯解決方案：將解壓後的資料集（重新命名為ember_data）放到train_ember.py同一級目錄下，執行python train_ember.py ember_data/最後結果
6. 執行 classify_binaries.py 檔案【源說明見下圖】
[/path/to/model] 是在上一步訓練過程生成的model.txt檔案，在第五步中我將資料集資料夾放到與train_ember.py同級的地方，同樣的，他們也與classify_binaries.py同級那麼，就執行如下程式碼python classify_binaries.py -m ember_data/model.txt【說明】不知道為什麼，model.txt就是看不到，但是通過搜尋可以搜到。不過這不影響用程式碼去找到它。【執行結果】（有錯誤）
顯示沒有二進位制檔案，問題還是找不到我的model.txt檔案這時候用終端進入ember_dataset目錄下，輸入 ll （英文字母第12個字母）可以重新整理所有的檔案，然後關閉資料夾，重新開啟就有了【再次執行】終端回到scripts目錄下     python classify_binaries.py -m ember_data/model.txt還是不行，先跳過此步7. 繼續執行在scripts目錄下（train_ember.py檔案）開啟終端，進入python3環境下import ember ember.create_vectorized_features("ember_dataset/") ember.create_metadata(“ember_dataset/")【說明】ember_dataset/ 是資料集目錄源教程是 /data/ember/ ，這個路徑不是同級下的，因此執行這類程式碼的時候一定要十分注意。
……繼續執行剩下程式碼，都沒有出現問題……8. 隨便放一個exe檔案到指定目錄，檢測它的安全性

源github連結（資料集 + 教程+ 原始碼）：https://github.com/endgameinc/ember