1. 程式人生 > >Ubuntu16.04安裝caffe非常細緻教程(歷經兩週的血淚史)

Ubuntu16.04安裝caffe非常細緻教程(歷經兩週的血淚史)

我這兩週安裝了很多次caffe,一直都是按照網上的教程,資料很多,但是說的感覺都不太全面,對於我這一個首次接觸Ubuntu系統的小白而言,每一步操作都是感覺如臨深淵。所以想寫一篇教程,避免大家重蹈我的覆轍。以下,就開始進入正題:

想要安裝caffe跑深度學習的人注意了,這裡麵包括好幾步,請一步一步來,個人感覺一蹴而就容易出問題,首先就是安裝nvidia驅動,我看網上很多例程說是可以和cuda一起安裝,但是一旦出了問題就不知道在哪裡了,而且很容易出錯!!!血和淚的教訓啊!!!所以還是一步步來。

網上有很多安裝NVIDIA驅動的教程,90%都說用下載.run檔案,然後安裝,然而我安裝後使用nvidia-smi命令出現的卻沒有正在執行時的執行緒(這個問題我之前沒有足夠的重視,造成最後出現很多問題),而且ppa安裝方式確實簡單,還安全。建議大家使用這種方式。

1、PPA安裝NVIDIA驅動

(1)禁用nouveau

sudo gedit /etc/modprobe.d/blacklist.conf

在最後另起一行新增如下

blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist rivatv
blacklist nvidiafb

進行更新儲存

sudo update-initramfs -u

接下來關機重啟之後,在終端輸入

lsmod | grep nouveau

若沒有輸出,則證明關閉nouveau成功!

(2)PPA安裝NVIDIA驅動

新增Graphic Drivers PPA

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update

查詢合適的版本

ubuntu-drivers devices

其中一個driver後面加上了recommend字樣,記住該版本,這個版本就是你要安裝的NVIDIA驅動版本

確定版本之後,接下來就進入到正式安裝了!!!

在進入安裝之前,建議沒設定root密碼的設定一下,因為一會兒用得到,很簡單,在終端輸入

sudo passwd

接下來設定的root密碼

輸入新的UNIX密碼:
重新輸入新的UNIX密碼:
passwd:已成功更新密碼

設定完成後,按Ctrl+Alt+F1進入終端模式

輸入你的賬號密碼後,獲取你的root許可權,輸入su,之後輸入你設定的root密碼後,即獲得root許可權(若不獲取,之後可能會出現許可權問題)

接著,輸入以下命令關閉圖形介面

sudo service lightdm stop

安裝driver,後面的數字修改為相應的版本號。

sudo apt-get install nvidia-396

等待一段時間之後(需要一會兒),之後直接重啟

sudo reboot

驗證是否成功

sudo nvidia-smi

注意Processes一欄,若出現如圖所示的執行緒資訊,則成功,否則就有問題了!!!

(3)配置環境變數

使用 gedit 命令開啟配置檔案:

sudo gedit ~/.bashrc

開啟後在檔案最後加入以下兩行內容,然後儲存退出:

export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH 

2、安裝CUDA(最好是cuda8.0+cudnn5.1)
由於現在官網下載都是最新版的,而大多數用的都是cuda8.0版本,所以這裡分享給你們百度雲連結:

https://pan.baidu.com/s/1mkEPRYPWpwLS6sNtE1Gn8A 密碼:8fw8

(1)安裝cuda

下載完成後開始安裝cuda,在終端裡執行命令

sudo chmod 777 cuda_8.0.61_375.26_linux.run
sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs

注意,這裡的cuda後面的數字是我安裝的版本號,我的百度雲連結的cuda版本也是這個。還有要注意的就是,建議大家把軟體包都放在根目錄下,以便於安裝,若直接放在下載檔案下,終端輸入中文識別有問題。

下面安裝時要注意:執行後會有一系列提示讓你確認,但是注意,在accept之後,第二步就是問你是否安裝nvidia375驅動,這個時候輸入n。

剩下的選擇則都輸入“y”確認安裝或確認預設路徑安裝,開始安裝,安裝完成後最好還是重啟一下,輸入命令

reboot

重新登陸後,開啟終端,配置cuda環境變數,開啟~/.bashrc檔案

export  PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export  LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

(2)測試cuda是否安裝正確

在終端輸入命令:

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery 
sudo make 
sudo ./deviceQuery

若顯示這樣的內容,則證明你的cuda安裝成功了!!

./deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 1 CUDA Capable device(s)

Device 0: "GeForce GT 740M"
  CUDA Driver Version / Runtime Version          8.0 / 8.0
  CUDA Capability Major/Minor version number:    3.5
  Total amount of global memory:                 2004 MBytes (2100953088 bytes)
  ( 2) Multiprocessors, (192) CUDA Cores/MP:     384 CUDA Cores
  GPU Max Clock rate:                            1032 MHz (1.03 GHz)
  Memory Clock rate:                             800 Mhz
  Memory Bus Width:                              64-bit
  L2 Cache Size:                                 524288 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
  Maximum Layered 1D Texture Size, (num) layers  1D=(16384), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(16384, 16384), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 1 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 1 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GT 740M
Result = PASS

3、安裝cudnn

這就要求你事先對自己的電腦有所瞭解了,尤其是顯示卡,你可以通過https://developer.nvidia.com/cuda-gpus查詢自己電腦的計算能力,大於3的,裝cudnn才有意義。

cudnn需要去官網下載,而去官網下載還需要註冊,很麻煩,我就把我的百度雲連結發出來,供大家下載

連結:https://pan.baidu.com/s/1O7vvWEAvAHbHVCQOboav5A 密碼:f20o

下載cuDNN5.1之後進行解壓,XXX是你自己的註冊賬號。

sudo tar -zxvf /home/XXX/cudnn-8.0-linux-x64-v5.1.tgz -C /home/XXX

解壓之後,你會在跟目錄下看見cuda資料夾,在終端執行命令

cd cuda; sudo cp lib64/lib* /usr/local/cuda/lib64/; 
sudo cp include/cudnn.h /usr/local/cuda/include/  
更新軟連線: cd /usr/local/cuda/lib64/
sudo chmod +r libcudnn.so.5.1.10
sudo ln -sf libcudnn.so.5.1.10 libcudnn.so.5
sudo ln -sf libcudnn.so.5 libcudnn.so
sudo ldconfig

注意,請到自己解壓後的lib64資料夾看這個檔案libcudnn.so.5.0.5 ,電腦配置不同後面的數字型號不同,進行相應的修改,否則會報錯。

安裝完成後可用 nvcc -V 命令驗證是否安裝成功,若出現以下資訊則表示安裝成功:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2016 NVIDIA Corporation
Built on Tue_Jan_10_13:22:03_CST_2018
Cuda compilation tools, release 8.0, V8.0.61

4、安裝opencv3.1.0

首先是下載opencv3.1.0安裝包,進入官網: http://opencv.org/releases.html,選擇 3.1.0 版本的 source , 下載 opencv-3.1.0.zip

安裝opencv需要的一些庫,這個是都需要安裝的,能安裝的儘量都安裝上。

sudo apt-get install build-essential

sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev

sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev

sudo apt-get install --assume-yes libopencv-dev libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev libtbb-dev libqt4-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils unzip

sudo apt-get install ffmpeg libopencv-dev libgtk-3-dev python-numpy python3-numpy libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libv4l-dev libtbb-dev qtbase5-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev

將安裝包放在根目錄下,進行解壓

unzip opencv-3.1.0.zip

解壓後,由於opencv3與cuda的相容問題,所以需要修改一下,修改 /opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp 檔案內容,修改成如圖

再執行命令

cd opencv-3.1.0
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make -j4

編譯成功後進行安裝

sudo make install

安裝完成後通過檢視 opencv 版本驗證是否安裝成功:

pkg-config --modversion opencv

5、安裝caffe

終於可以安裝caffe了,使用Git直接下載Caffe非常簡單,或者去https://github.com/BVLC/caffe下載。由於我習慣去github上找程式碼,所以就直接去下載的原始碼。

將caffe-master放在根目錄下,解壓

unzip caffe-master.zip

將解壓後的資料夾的名字改為caffe,因為make指令只能make Makefile.config檔案,而Makefile.config.example是caffe給出的makefile例子,因此,首先將Makefile.config.example的內容複製到Makefile.config

cd caffe
sudo cp Makefile.config.example Makefile.config 

開啟Makefile.config檔案

sudo gedit Makefile.config

在開啟的檔案中修改如下

a.若使用cudnn,則 將

#USE_CUDNN := 1 

修改成: 

USE_CUDNN := 1 

b.若使用的opencv版本是3的,則 將

#OPENCV_VERSION := 3 

修改為: 

OPENCV_VERSION := 3 

c.若要使用python來編寫layer,則 將

#WITH_PYTHON_LAYER := 1 

修改為

WITH_PYTHON_LAYER := 1 

d.重要的一項 : 
將 # Whatever else you find you need goes here. 下面的

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 

修改為

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial     

若你用的是anaconda,則還需要修改

# NOTE: this is required only if you will compile the python interface.

# We need to be able to find Python.h and numpy/arrayobject.h.

#PYTHON_INCLUDE := /usr/include/python2.7 \
		
	 #/usr/lib/python2.7/dist-packages/numpy/core/include

# Anaconda Python distribution is quite popular. Include path:

# Verify anaconda location, sometimes it's in root.
 
ANACONDA_HOME := $(HOME)/anaconda
 
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
		
	 $(ANACONDA_HOME)/include/python2.7 \
		
	 $(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include

修改makefile檔案

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替換為:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改為:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

編輯/usr/local/cuda/include/host_config.h 將其中的第115行註釋掉:

也許你開啟後的檔案顯示只讀,這時你就在此資料夾開啟終端,執行命令將其改為可寫

chomd a+w host_config.h

#error– unsupported GNU version! gcc versions later than 4.9 are not supported! 

修改為

//#error– unsupported GNU version! gcc versions later than 4.9 are not supported!

接下來就是編譯測試了!!!

在caffe資料夾下,執行命令

sudo make all -j4

這是如果之前的配置或安裝出錯,那麼編譯就會出現各種各樣的問題,所以前面的步驟一定要細心。我之前子啊這裡出現很多錯誤,也遇到很多問題,有的看別人的教程能解決,有的解決不了的就只能系統重灌!

如果沒有問題,那麼執行

sudo make runtest -j8

這會經歷一段時間,測試很多項是否正確,如果都沒有問題,那麼就會出現如圖所示的畫面

大功告成!!!!!