Ubuntu16.04安裝caffe非常細緻教程(歷經兩週的血淚史)
我這兩週安裝了很多次caffe,一直都是按照網上的教程,資料很多,但是說的感覺都不太全面,對於我這一個首次接觸Ubuntu系統的小白而言,每一步操作都是感覺如臨深淵。所以想寫一篇教程,避免大家重蹈我的覆轍。以下,就開始進入正題:
想要安裝caffe跑深度學習的人注意了,這裡麵包括好幾步,請一步一步來,個人感覺一蹴而就容易出問題,首先就是安裝nvidia驅動,我看網上很多例程說是可以和cuda一起安裝,但是一旦出了問題就不知道在哪裡了,而且很容易出錯!!!血和淚的教訓啊!!!所以還是一步步來。
網上有很多安裝NVIDIA驅動的教程,90%都說用下載.run檔案,然後安裝,然而我安裝後使用nvidia-smi命令出現的卻沒有正在執行時的執行緒(這個問題我之前沒有足夠的重視,造成最後出現很多問題),而且ppa安裝方式確實簡單,還安全。建議大家使用這種方式。
1、PPA安裝NVIDIA驅動
(1)禁用nouveau
sudo gedit /etc/modprobe.d/blacklist.conf
在最後另起一行新增如下
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist rivatv
blacklist nvidiafb
進行更新儲存
sudo update-initramfs -u
接下來關機重啟之後,在終端輸入
lsmod | grep nouveau
若沒有輸出,則證明關閉nouveau成功!
(2)PPA安裝NVIDIA驅動
新增Graphic Drivers PPA
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
查詢合適的版本
ubuntu-drivers devices
其中一個driver後面加上了recommend字樣,記住該版本,這個版本就是你要安裝的NVIDIA驅動版本
確定版本之後,接下來就進入到正式安裝了!!!
在進入安裝之前,建議沒設定root密碼的設定一下,因為一會兒用得到,很簡單,在終端輸入
sudo passwd
接下來設定的root密碼
輸入新的UNIX密碼:
重新輸入新的UNIX密碼:
passwd:已成功更新密碼
設定完成後,按Ctrl+Alt+F1進入終端模式
輸入你的賬號密碼後,獲取你的root許可權,輸入su,之後輸入你設定的root密碼後,即獲得root許可權(若不獲取,之後可能會出現許可權問題)
接著,輸入以下命令關閉圖形介面
sudo service lightdm stop
安裝driver,後面的數字修改為相應的版本號。
sudo apt-get install nvidia-396
等待一段時間之後(需要一會兒),之後直接重啟
sudo reboot
驗證是否成功
sudo nvidia-smi
注意Processes一欄,若出現如圖所示的執行緒資訊,則成功,否則就有問題了!!!
(3)配置環境變數
使用 gedit 命令開啟配置檔案:
sudo gedit ~/.bashrc
開啟後在檔案最後加入以下兩行內容,然後儲存退出:
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
2、安裝CUDA(最好是cuda8.0+cudnn5.1)
由於現在官網下載都是最新版的,而大多數用的都是cuda8.0版本,所以這裡分享給你們百度雲連結:
https://pan.baidu.com/s/1mkEPRYPWpwLS6sNtE1Gn8A 密碼:8fw8
(1)安裝cuda
下載完成後開始安裝cuda,在終端裡執行命令
sudo chmod 777 cuda_8.0.61_375.26_linux.run
sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs
注意,這裡的cuda後面的數字是我安裝的版本號,我的百度雲連結的cuda版本也是這個。還有要注意的就是,建議大家把軟體包都放在根目錄下,以便於安裝,若直接放在下載檔案下,終端輸入中文識別有問題。
下面安裝時要注意:執行後會有一系列提示讓你確認,但是注意,在accept之後,第二步就是問你是否安裝nvidia375驅動,這個時候輸入n。
剩下的選擇則都輸入“y”確認安裝或確認預設路徑安裝,開始安裝,安裝完成後最好還是重啟一下,輸入命令
reboot
重新登陸後,開啟終端,配置cuda環境變數,開啟~/.bashrc檔案
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
(2)測試cuda是否安裝正確
在終端輸入命令:
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
sudo ./deviceQuery
若顯示這樣的內容,則證明你的cuda安裝成功了!!
./deviceQuery Starting...
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GT 740M"
CUDA Driver Version / Runtime Version 8.0 / 8.0
CUDA Capability Major/Minor version number: 3.5
Total amount of global memory: 2004 MBytes (2100953088 bytes)
( 2) Multiprocessors, (192) CUDA Cores/MP: 384 CUDA Cores
GPU Max Clock rate: 1032 MHz (1.03 GHz)
Memory Clock rate: 800 Mhz
Memory Bus Width: 64-bit
L2 Cache Size: 524288 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
Maximum Layered 1D Texture Size, (num) layers 1D=(16384), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(16384, 16384), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 1 copy engine(s)
Run time limit on kernels: No
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GT 740M
Result = PASS
3、安裝cudnn
這就要求你事先對自己的電腦有所瞭解了,尤其是顯示卡,你可以通過https://developer.nvidia.com/cuda-gpus查詢自己電腦的計算能力,大於3的,裝cudnn才有意義。
cudnn需要去官網下載,而去官網下載還需要註冊,很麻煩,我就把我的百度雲連結發出來,供大家下載
連結:https://pan.baidu.com/s/1O7vvWEAvAHbHVCQOboav5A 密碼:f20o
下載cuDNN5.1之後進行解壓,XXX是你自己的註冊賬號。
sudo tar -zxvf /home/XXX/cudnn-8.0-linux-x64-v5.1.tgz -C /home/XXX
解壓之後,你會在跟目錄下看見cuda資料夾,在終端執行命令
cd cuda; sudo cp lib64/lib* /usr/local/cuda/lib64/;
sudo cp include/cudnn.h /usr/local/cuda/include/
更新軟連線: cd /usr/local/cuda/lib64/
sudo chmod +r libcudnn.so.5.1.10
sudo ln -sf libcudnn.so.5.1.10 libcudnn.so.5
sudo ln -sf libcudnn.so.5 libcudnn.so
sudo ldconfig
注意,請到自己解壓後的lib64資料夾看這個檔案libcudnn.so.5.0.5 ,電腦配置不同後面的數字型號不同,進行相應的修改,否則會報錯。
安裝完成後可用 nvcc -V 命令驗證是否安裝成功,若出現以下資訊則表示安裝成功:
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2016 NVIDIA Corporation
Built on Tue_Jan_10_13:22:03_CST_2018
Cuda compilation tools, release 8.0, V8.0.61
4、安裝opencv3.1.0
首先是下載opencv3.1.0安裝包,進入官網: http://opencv.org/releases.html,選擇 3.1.0 版本的 source , 下載 opencv-3.1.0.zip
安裝opencv需要的一些庫,這個是都需要安裝的,能安裝的儘量都安裝上。
sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
sudo apt-get install --assume-yes libopencv-dev libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev libtbb-dev libqt4-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils unzip
sudo apt-get install ffmpeg libopencv-dev libgtk-3-dev python-numpy python3-numpy libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libv4l-dev libtbb-dev qtbase5-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev
將安裝包放在根目錄下,進行解壓
unzip opencv-3.1.0.zip
解壓後,由於opencv3與cuda的相容問題,所以需要修改一下,修改 /opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp 檔案內容,修改成如圖
再執行命令
cd opencv-3.1.0
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make -j4
編譯成功後進行安裝
sudo make install
安裝完成後通過檢視 opencv 版本驗證是否安裝成功:
pkg-config --modversion opencv
5、安裝caffe
終於可以安裝caffe了,使用Git直接下載Caffe非常簡單,或者去https://github.com/BVLC/caffe下載。由於我習慣去github上找程式碼,所以就直接去下載的原始碼。
將caffe-master放在根目錄下,解壓
unzip caffe-master.zip
將解壓後的資料夾的名字改為caffe,因為make指令只能make Makefile.config檔案,而Makefile.config.example是caffe給出的makefile例子,因此,首先將Makefile.config.example的內容複製到Makefile.config
cd caffe
sudo cp Makefile.config.example Makefile.config
開啟Makefile.config檔案
sudo gedit Makefile.config
在開啟的檔案中修改如下
a.若使用cudnn,則 將
#USE_CUDNN := 1
修改成:
USE_CUDNN := 1
b.若使用的opencv版本是3的,則 將
#OPENCV_VERSION := 3
修改為:
OPENCV_VERSION := 3
c.若要使用python來編寫layer,則 將
#WITH_PYTHON_LAYER := 1
修改為
WITH_PYTHON_LAYER := 1
d.重要的一項 :
將 # Whatever else you find you need goes here. 下面的
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改為
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
若你用的是anaconda,則還需要修改
# NOTE: this is required only if you will compile the python interface.
# We need to be able to find Python.h and numpy/arrayobject.h.
#PYTHON_INCLUDE := /usr/include/python2.7 \
#/usr/lib/python2.7/dist-packages/numpy/core/include
# Anaconda Python distribution is quite popular. Include path:
# Verify anaconda location, sometimes it's in root.
ANACONDA_HOME := $(HOME)/anaconda
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
$(ANACONDA_HOME)/include/python2.7 \
$(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include
修改makefile檔案
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替換為:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改為:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
編輯/usr/local/cuda/include/host_config.h 將其中的第115行註釋掉:
也許你開啟後的檔案顯示只讀,這時你就在此資料夾開啟終端,執行命令將其改為可寫
chomd a+w host_config.h
將
#error– unsupported GNU version! gcc versions later than 4.9 are not supported!
修改為
//#error– unsupported GNU version! gcc versions later than 4.9 are not supported!
接下來就是編譯測試了!!!
在caffe資料夾下,執行命令
sudo make all -j4
這是如果之前的配置或安裝出錯,那麼編譯就會出現各種各樣的問題,所以前面的步驟一定要細心。我之前子啊這裡出現很多錯誤,也遇到很多問題,有的看別人的教程能解決,有的解決不了的就只能系統重灌!
如果沒有問題,那麼執行
sudo make runtest -j8
這會經歷一段時間,測試很多項是否正確,如果都沒有問題,那麼就會出現如圖所示的畫面
大功告成!!!!!