1. 安裝前的預備知識/Pre-installation Actions

CUDA是NVIDIA公司開發的一套平行計算平臺和程式設計模型，它通過GPU（顯示卡）的強大計算能力顯著地提高程式的執行速度。它實際上只是在C語言的基礎上提供了一組擴充套件，所以其cuda程式碼的風格與C語言十分相似。

為了在你的Linux系統中使用CUDA，需要做以下準備工作：

• 確認你的電腦上有一張支援CUDA的顯示卡

首先，只有英偉達的顯示卡才可以使用CUDA，可以在命令列輸入命令：

lspci | grep -i nvidia

來確認是否是英偉達顯示卡。

只有英偉達的部分中高階顯示卡才支援CUDA，因此確認是英偉達的顯示卡之後，還要檢視你的顯示卡型號是否包含在NVIDIA官網的

CUDA GPUs列表裡面，裡面包含的顯示卡型別都支援CUDA。

• 確認你安裝的Linux發行版

Linux發行版數量繁多。但英偉達CUDA開發工具僅支援只有幾個主流的Linux發行版，可以通過以下命令來檢視你的部分系統資訊：

uname -m && cat /etc/*release

• 確認你的系統安裝了gcc編譯工具

這個條件一般情況下是滿足的，因為一般的Linux發行版在安裝系統時就預設安裝了gcc。執行CUDA程式的時候不需要gcc，但是在使用CUDA工具進行開發的時候需要用到它。可以在bash中輸入以下命令確認：

gcc --version

• 確認你的系統已經安裝了正確的kernel headers and development packages

在安裝CUDA驅動前，必須要安裝好與你的Linux系統核心版本相匹配的核心頭和開發包。比如你的系統核心版本是3.17.4-301，那麼你必須也要安裝3.17.4-301版本的核心頭和開發包。

使用以下命令確認你的系統核心版本：

uname -r

比如我的系統核心版本是：

[email protected]:~$ uname -r
4.13.0-26-generic

然後根據你的系統核心版本使用apt命令安裝對應的核心頭和開發包。在ubuntu中使用以下命令：

sudo apt-get install linux-headers-$(uname -r)

當然，如果你的系統本身就滿足要求，輸入這條命令不會安裝新的東西，比如我的情況：

[email protected]:~$ sudo apt-get install linux-headers-$(uname -r)
[sudo] ys 的密碼： 
正在讀取軟體包列表... 完成
正在分析軟體包的依賴關係樹 
正在讀取狀態資訊... 完成 
linux-headers-4.13.0-26-generic 已經是最新版 (4.13.0-26.29~16.04.2)。
linux-headers-4.13.0-26-generic 已設定為手動安裝。
下列軟體包是自動安裝的並且現在不需要了：
 iucode-tool snap-confine
使用'sudo apt autoremove'來解除安裝它(它們)。
升級了 0 個軟體包，新安裝了 0 個軟體包，要解除安裝 0 個軟體包，有 1 個軟體包未被升級。

其他Linux發行版安裝核心頭和開發包的命令參考這裡。

• 選擇一種安裝方法

CUDA Toolkit 可以使用2種不同的安裝機制進行安裝：

1. 使用指定發行版的安裝包，也就是常用的.rpm包或者.deb包。

2. 使用runfile包，字尾名為.run檔案。

兩種安裝方式的優缺點：

使用.run包的優點是支援更多的Linux發行版，不管是使用.deb格式的Ubuntu/Debian，還是使用.rpm格式的其他大多數Linux發行版；其缺點是無法更新Linux系統的本地包管理系統，也就是隻能單機/standalone安裝，無法線上更新，而且只支援64位的系統。

使用指定發行版的安裝包的優缺點和使用.run包剛好相反。

• 處理安裝衝突的方法

這一點主要針對的是目前你要安裝的CUDA Toolkit或者NVIDIA Driver和你電腦上以前安裝的版本的衝突問題，如果你是第一次安裝CUDA Toolkit和NVIDIA Driver，那麼請跳過這一點。

如果你以前在你電腦上已經安裝了另一個版本的CUDA Toolkit或者NVIDIA Driver，那就得注意了，因為現在安裝的版本和以前安裝的版本存在一個相容性問題。看下圖展示的CUDA和英偉達顯示卡驅動的相容性表：

2018-01-17 12-21-45螢幕截圖.png

內容很清晰，這裡就不解釋了。
如果存在衝突，則要先解除安裝之前安裝的相應CUDA Toolkit或者NVIDIA Driver。
使用以下命令來解除安裝之前安裝的.run格式的CUDA Toolkit：

sudo /usr/local/cuda-X.Y/bin/uninstall_cuda_X.Y.pl

也就是執行/usr/local/cuda-X.Y/bin/資料夾下的uninstall_cuda_X.Y.pl檔案。其中的X.Y是之前你安裝的CUDA Toolkit的版本號，如果不清楚是多少，cd到/usr/local/目錄並使用ls命令來檢視。
使用以下命令來解除安裝.run格式安裝的顯示卡驅動：

sudo /usr/bin/nvidia-uninstall

使用下面的命令來解除安裝一個.rpm/.deb格式的版本：

sudo yum remove <package_name> # Redhat/CentOS 
sudo dnf remove <package_name> # Fedora 
sudo zypper remove <package_name> # OpenSUSE/SLES 
sudo apt-get --purge remove <package_name> # Ubuntu

2. 安裝過程/Installation

參考自英偉達官網Package Manager Installation.
下面簡單記錄兩種安裝方式的安裝過程，只針對ubuntu，其他發行版請參考上一行的連結。

2.0 各版本CUDA的下載地址

2.1 .deb格式的安裝過程

.deb格式的安裝又分為2種安裝方式：deb(local)和deb(network)，也就是提供了2種類型的.deb包供下載，以CUDA Toolkit 8.0.61為例：
本地的.deb包很大，大約有1.9G，這種方式下，安裝開始時，dpkg包管理器將會安裝一個本地倉庫，倉庫中存放了實際的安裝包檔案，並將本地倉庫路徑新增到APT高階包管理工具的安裝包源倉庫列表中。

2018-01-17 13-48-40螢幕截圖.png
而線上的.deb包則只有幾個kb大小，同樣使用dpkg安裝，安裝過程中，會告訴APT高階包管理工具到哪個線上源倉庫去下載實際安裝包檔案。2018-01-17 13-49-34螢幕截圖.png

根據個人愛好，下載deb(local)或者deb(network)都可以。
然後直接根據下載頁面提供的安裝步驟進行安裝。
如果你下載的本地.deb包，執行如下命令：

sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb
sudo apt-get update
sudo apt-get install cuda

如果採用以上安裝方式，在執行第一句dpkg命令之後，會在System Settings-->Software&Update中看到已經添加了一個本地安裝源倉庫：

Screenshot from 2018-03-12 09-50-04.png

如果你下載的線上.deb包，執行如下命令：

sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb
sudo apt-get update
sudo apt-get install cuda

2.2 .run檔案的安裝過程

安裝.run檔案比較麻煩，在沒有提前安裝顯示卡驅動的情況下，參考英偉達官網的安裝教程： Runfile Installation，最終出現了以下錯誤：
"The driver installation is unable to locate the kernel source. Please make sure that the kernel source packages are installed and set up correctly. If you know that the kernel source packages are installed and set up correctly, you may pass the location of the kernel source with the '--kernel-source-path' flag."
參考了很多文章之後，這個問題依舊沒有解決，於是採用了以下的方法：

先在系統設定-》軟體與更新-》附加驅動這裡安裝較新版本的英偉達顯示卡驅動：

2018-01-17 14-48-01螢幕截圖.png

caffe官網裡說道，.run檔案中帶的顯示卡驅動的版本通常已經過時，所以顯示卡驅動就用這個辦法安裝是最方便的，同時上圖中下面一個未知驅動不要使用它，據說是CPU中自帶的英特爾顯示卡驅動。
安裝完顯示卡驅動之後，下載.run安裝包，以CUDA Toolkit 8.0.61為例：
選擇下載runfile格式：

2018-01-17 14-54-41螢幕截圖.png

• 禁止Nouveau驅動

有些教程中有這一步，使用gedit開啟/etc/modprobe.d/blacklist-nouveau.conf檔案：

sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

在其中加入兩行語句：

blacklist nouveau
options nouveau modeset=0

我開啟時它是一個空檔案，反正就照著做吧，沒影響。
再執行下面這句命令：

sudo update-initramfs -u

執行完重啟系統。

• 執行runfile檔案安裝CUDA Toolkit

sudo bash cuda_8.0.61_375.26_linux.run

開始時會出現一長段說明文件，直接按住Ctrl+C跳過這一段，直接進入安裝選項。

Linux platform:
Do you accept the previously read EULA?
accept/decline/quit: accept
​
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?
(y)es/(n)o/(q)uit: n

注意，上面的第二個選項問是否安裝顯示卡驅動，一定要寫n，因為之前已經安裝過顯示卡驅動了。其他部分就全部是y或者直接enter。
安裝過程可能會遇到以下錯誤：

Installing the CUDA Toolkit in /usr/local/cuda-8.0 ...
Missing recommended library: libGLU.so 
Missing recommended library: libXmu.so

網上搜索，說是缺少了幾個依賴項，用以下命令安裝：

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev 

安裝好後再重新執行：

sudo bash cuda_8.0.61_375.26_linux.run

總之，如果不算顯示卡驅動，cuda就安裝了兩個工具：CUDA 8.0 Toolkit和CUDA 8.0 Samples。

無論其中哪一塊安裝出錯，都可以使用以下命令將其解除安裝：

sudo /usr/local/cuda-8.0/bin/uninstall_cuda_8.0.pl   #解除安裝CUDA 8.0 Toolkit
​
sudo /home/ys/NVIDIA_CUDA-8.0_Samples/uninstall_cuda_samples_8.0.pl  #解除安裝CUDA 8.0 Samples

2.3 總結

以上兩種安裝方式都測試過(.run和.deb)，其中使用.deb安裝沒什麼講究，可能需要先執行禁止Nouveau驅動那段，基本沒遇到過問題。但是使用.run檔案進行安裝時，為了少折騰，最好先在系統設定-》軟體與更新-》附加驅動(如果裡面沒有該選項，執行一下：sudo apt updatre)中安裝顯示卡驅動，然後執行禁止Nouveau驅動那段，再執行.run檔案安裝，這樣基本也不會出現什麼問題。

3 後處理/Post-installation Actions

安裝完後，需要進行環境變數的設定。使用gedit開啟~/.bashrc檔案：

sudo gedit ~/.bashrc

在檔案最後加入：

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

即新增一個PATH變數和一個LD_LIBRARY_PATH變數。使用source命令令配置更改生效：

source ~/.bashrc

最後依次執行以下命令，執行一個sample來驗證cuda工具是否安裝成功
若是安裝的.run檔案執行：

 cd ~/NVIDIA_CUDA-8.0_Samples/5_Simulations/nbody
 make
 ./nbody

若是安裝的.deb檔案執行：

cd /usr/local/cuda/samples/5_Simulations/nbody
sudo make
 ./nbody

反正就是找到sample下的/5_Simulations/nbody/資料夾，編譯並執行它。具體安裝位置根據自己的情況而定。
執行完會出現以下視窗：

2018-01-17 16-12-50螢幕截圖.png

4 安裝cuDNN

cuDNN是英偉達開發的專門用於深度神經網路計算的GPU加速庫。在CUDA工具基礎上加上cuDNN能進一步加快那些基於英偉達GPU的深度模型的執行速度。也可以不用cuDNN庫加速，就安裝CUDA。

下面記錄如何在CUDA裡面加入cuDNN。

第一步肯定是下載cuDNN檔案，網址在這裡。

下載得到此檔案：cudnn-8.0-linux-x64-v5.1.tgz。

然後依次使用以下命令完成cuDNN的安裝：

tar -xvf cudnn-8.0-linux-x64-v5.1.tgz       #解壓cuDNN壓縮包，得到cuda資料夾
cd cuda/include/                             
sudo cp cudnn.h /usr/local/cuda/include/    #複製cudnn.h檔案到cuda對應的include資料夾
cd ../lib64/                                #cd到另一個目錄
sudo cp lib* /usr/local/cuda/lib64/         #複製其下所有lib檔案到cuda對應的lib64資料夾
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.so libcudnn.so.5       #刪除這兩個檔案，-r是遞迴,-f表示強制
sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5 #將libcudnn.so.5連結到libcudnn.so.5.1.10
sudo ln -s libcudnn.so.5 libcudnn.so        #將libcudnn.so連結到libcudnn.so.5

解釋以下上面的命令，cuDNN的安裝其實就是將其下include/資料夾下的cudnn.h檔案和lib64/資料夾下的所有檔案複製安裝的CUDA下對應的資料夾。

原來的lib64/資料夾下有三個so檔案：libcudnn.so、libcudnn.so.5和libcudnn.so.5.1.10，並且這3個點so檔案大小都一樣。其實都是軟連線！libcudnn.so連結到libcudnn.so.5，而libcudnn.so.5.又連結到libcudnn.so.5.1.10。 真正的檔案只有libcudnn.so.5.1.10，因此我們要將/usr/local/cuda/lib64下的以前的這樣的連結替換掉。

使用rm -rf命令先刪除原來兩個連結檔案；再使用ln -s命令重新建立軟連結。

使用由於裝cuda時，比如我裝的是cuda8.0，那麼在/usr/local/下會生成cuda-8.0/資料夾，以及一個cuda/資料夾，cuda/是軟連結到cuda-8.0/的，所以這兩個資料夾可以看成一個。往任意一個資料夾中新增東西，另一個資料夾都會有相同的東西。

使用ll命令(ll是ls -l的縮寫，功能是顯示當前目錄下檔案詳細資訊)可以檢視檔案的軟連結關係：

[email protected]:~$ cd /usr/local
[email protected]:/usr/local$ ll
總用量 44
drwxr-xr-x 11 root root 4096 1月  17 15:58 ./
drwxr-xr-x 12 root root 4096 1月  14 19:58 ../
drwxr-xr-x  2 root root 4096 2月  16  2017 bin/
lrwxrwxrwx  1 root root   19 1月  17 15:58 cuda -> /usr/local/cuda-8.0/ # ->就代表了軟連結
drwxr-xr-x 17 root root 4096 1月  17 15:58 cuda-8.0/
...

至此，CUDA和cuDNN安裝完畢。