啟用Docker虛擬機器GPU，加速深度學習
關於環境配置的文章可以算得上是月經貼了，隨便上網一搜，就有大把的文章。但我覺得還是有必要記錄一下我最近一次的深度學習環境配置，主要原因在於各種軟體在快速更新，對應的安裝配置方法也會有一些變化。
這篇深度學習環境配置有兩個關鍵詞，一個是Docker虛擬機器，另一個是GPU加速。
開始之前
Docker虛擬機器
首先說一下Docker虛擬機器。為什麼需要虛擬機器？不知道你是否有過這樣的經歷，在github上看到一個有趣的開源專案，把程式碼下載下來，按照專案上的說明編譯執行，結果發現怎麼也不能成功。
或者反過來，你開發了一個不錯的專案，丟到github，並把編譯步驟儘可能詳細的寫了出來，然而還是有一堆開發者釋出issue，說程式碼編譯執行存在問題。你也很無辜啊，明明在我這兒好好的，怎麼到了別人那裡就狀況百出呢？
為什麼會出現這個狀況？主要是軟體行業講究快速迭代，快步向前，軟體會不停更新。就拿TensorFlow來說，從釋出到現在，不知道更新了多個版本。雖然作為軟體開發者會盡力保證向前相容，但實際上很難做到完美相容。為了解決這一相容問題，就有必要使用到虛擬機器，現在很多開源專案都會提供一個虛擬機器檔案，裡面包含了所有專案所需的軟體包和環境。
GPU加速
接下來說一下GPU加速。使用Docker虛擬機器解決了開發環境問題，但同時又引入了另一個問題：虛擬機器通常無法啟用GPU。我們知道，深度學習屬於計算密集型應用，特別是在訓練模型階段，往往需要花上幾個小時甚至幾十天的時間來訓練一個模型，開啟與不開啟GPU往往有幾十倍的效能差距。作為一名嚴肅的深度學習開發者，非常有必要使用一臺帶GPU的高效能運算機，並開啟GPU支援。
那麼問題來了，如何既享受Docker虛擬機器帶來的環境隔離的便捷，又能體驗到GPU加速帶來的效能提升？
有問題，自然會有人站出來提供解決方案。Nvidia公司就為自家的N卡提供瞭解決方案：nvidia-docker。下面就說說Nvidia的配置方案是怎樣的。
宣告
在開始之前作如下宣告：
- 本文針對的是Nvidia顯示卡的配置說明，如果你用的是ATI顯示卡或其它品牌顯示卡，請出門右轉找Google
- 本文針對的是Ubuntu系統的配置說明，這不表示其它作業系統就無法配置，如果你使用的是其它作業系統，請自行百度。
- 本文的實踐環境是Ubuntu 16.04 64位作業系統和GTX 960顯示卡，其他版本的Ubuntu或者其他型號的Nvidia顯示卡，理論上也是適用的，但無法百分之百保證，可能有些步驟需要稍作修改。
在宿主(Host)主機上安裝CUDA
CUDA（Compute Unified Device Architecture）是一種由NVIDIA推出的通用平行計算架構，該架構使GPU能夠解決複雜的計算問題。
你的顯示卡支援CUDA嗎？
首先確認一下顯示卡型號，在Linux系統上可以使用lspci命令：
lspci | grep VGA
01:00.0 VGA compatible controller: NVIDIA Corporation GM206 [GeForce GTX 960] (rev a1)可以看出，我的顯示卡型號是GeForce GTX 960，前往Nvidia的CUDA GPUs頁面，可以查到，基本上所有的N卡都支援CUDA，自然我的GeForce GTX 960也支援。
安裝最新的CUDA
CUDA的版本一直在更新，截至我寫這篇文章的時候，最新版本是9.2。當然安裝老版本也是可以的，不過我一直秉承著裝新不裝舊的原則，通常都會選擇最新版本。
按照Nvidia的安裝指導，進行如下操作：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_9.2.88-1_amd64.deb
sudo dpkg --install cuda-repo-ubuntu1604_9.2.88-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub然而，在安裝時提示以下錯誤：
gpgkeys: protocol `https' not supported解決方法也很簡單，將所需的包裝上：
sudo apt install gnupg-curl接下來，就可以像安裝普通的ubuntu軟體包那樣安裝cuda:
sudo apt-get update
sudo apt install cuda你可以倒杯咖啡，慢慢品嚐，這個步驟可能會花一點時間，畢竟有差不多3GB的軟體包需要下載。
更新環境變數
為了避免每次都設定環境變數，建議將如下環境變數設定加入到\~/.bashrc（或\~/.profile）檔案中：
# for nvidia CUDA
export PATH="/usr/local/cuda-9.2/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-9.2/lib64:$LD_LIBRARY_PATH"
要讓環境變數立即生效，可以先登出，然後再登入進來。或者執行如下命令：
source ~/.bashrcNVIDIA持久守護程序
這一步驟做的事情我並不是十分理解，作用大體上是即使沒有客戶端連線到GPU，持久守護程式也會保持GPU初始化，並保持CUDA任務的狀態。文件要求這樣做，我們還是照做好了。
首先新建/usr/lib/systemd/system目錄:
sudo mkdir /usr/lib/systemd/system然後新增/usr/lib/systemd/system/nvidia-persistenced.service檔案，其內容:
[Unit]
Description=NVIDIA Persistence Daemon
Wants=syslog.target
[Service]
Type=forking
PIDFile=/var/run/nvidia-persistenced/nvidia-persistenced.pid
Restart=always
ExecStart=/usr/bin/nvidia-persistenced --verbose
ExecStopPost=/bin/rm -rf /var/run/nvidia-persistenced
[Install]
WantedBy=multi-user.target最後啟用該服務：
sudo systemctl enable nvidia-persistenced禁用某些UDEV規則
某個udev規則（物理裝置和系統之間的介面）會阻止NVIDIA驅動程式正常工作。為此，編輯/lib/udev/rules.d/40-vm-hotadd.rules，註釋掉memory子系統規則：
# SUBSYSTEM=="memory", ACTION=="add", DEVPATH=="/devices/system/memory/memory[0-9]*", TEST=="state", ATTR{state}="online"驗證CUDA是否工作
重啟機器，嘗試編譯CUDA示例來驗證CUDA是否正常安裝。可以使用如下命令安裝CUDA示例程式碼：
cuda-install-samples-9.1.sh ~其中 ~ 代表將程式碼安裝到HOME目錄下，當然你也可以安裝到別的位置。
接下來就是編譯示例程式碼：
cd ~/NVIDIA_CUDA-9.2_Samples/
make你又可以來杯咖啡了，取決於你電腦的CPU，這一步驟可能需要幾十分鐘的時間。
編譯完成後，執行其中的一個示例程式:
./bin/x86_64/linux/release/deviceQuery | tail -n 1如果輸出Result = PASS就表示CUDA是正常工作的。
安裝NVIDIA Docker
首先加入nvidia-docker包列表：
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidia-docker.list | \
sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update接下來，確保你的機器上安裝的是最新的docker-ce，這意味著如果你之前安裝了docker-engine, docker.io，需要先解除安裝。別擔心，這些都是docker家族的成員，只不過在不同時候取了不同的名稱，最新的docker-ce是這些版本的升級版：
# remove all previous Docker versions
sudo apt-get remove docker docker-engine docker.io
# add Docker official GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
# Add Docker repository (for Ubuntu Xenial)
sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu xenial stable"
sudo apt-get update
sudo apt install docker-ce有了最新的docker，最後來安裝nvidia-docker：
# Install nvidia-docker2 and reload the Docker daemon configuration
sudo apt-get install -y nvidia-docker2
sudo pkill -SIGHUP dockerd驗證nvidia-docker
進行到這一步，nvidia-docker安裝完畢，那如何檢驗nvidia-docker正確安裝了呢？
我們可以啟動nvidia提供的docker映象，裡面有一個實用程式nvidia-smi，它用來監視（並管理）GPU:
docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi如果得到形如如下的輸出，就說明docker容器GPU已經啟用。
你還可以做一個測試，看看CPU與GPU之間到底有多大的差距。下面是一段來自learningtensorflow.com的基準測試指令碼:
import sys
import numpy as np
import tensorflow as tf
from datetime import datetime
device_name = sys.argv[1] # Choose device from cmd line. Options: gpu or cpu
shape = (int(sys.argv[2]), int(sys.argv[2]))
if device_name == "gpu":
device_name = "/gpu:0"
else:
device_name = "/cpu:0"
with tf.device(device_name):
random_matrix = tf.random_uniform(shape=shape, minval=0, maxval=1)
dot_operation = tf.matmul(random_matrix, tf.transpose(random_matrix))
sum_operation = tf.reduce_sum(dot_operation)
startTime = datetime.now()
with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as session:
result = session.run(sum_operation)
print(result)
# It can be hard to see the results on the terminal with lots of output -- add some newlines to improve readability.
print("\n" * 5)
print("Shape:", shape, "Device:", device_name)
print("Time taken:", str(datetime.now() - startTime))在當前目錄下建立內容如上的python檔案:benchmark.py，然後啟動支援GPU的tensorflow docker映象，執行該tensorflow程式：
docker run \
--runtime=nvidia \
--rm \
-ti \
-v "${PWD}:/app" \
tensorflow/tensorflow:latest-gpu \
python /app/benchmark.py cpu 10000上面的命令是CPU版本的，執行完之後，將命令中的cpu引數修改為gpu，再執行一次。
在我的機器上，結果分別為：
CPU: ('Time taken:', '0:00:15.342611')
GPU: ('Time taken:', '0:00:02.957479')也許你會覺得就十幾秒的差距，也沒啥？要知道，這可是差不多7倍的差距。加入你的深度學習專案採用GPU需要24個小時，那麼不啟用GPU則需要一週的時間，這個還是有著巨大的差距的。
參考
