深度學習筆記15:ubuntu16.04 下深度學習開發環境搭建與配置
歡迎關注天善智慧,我們是專注於商業智慧BI,人工智慧AI,大資料分析與挖掘領域的垂直社群,學習,問答、求職一站式搞定!
對商業智慧BI、大資料分析挖掘、機器學習,python,R等資料領域感興趣的同學加微信:tstoutiao,並註明訊息來源,邀請你進入資料愛好者交流群,資料愛好者們都在這兒。
作者 :魯偉 ,熱愛資料,堅信資料技術和程式碼改變世界。R語言和Python的忠實擁躉,為成為一名未來的資料科學家而奮鬥終生。
個人公眾號:機器學習實驗室 (微信ID:louwill12)
深度學習大多用來處理圖片、語言、視訊和文字等大量非結構化資料,因而計算資源是進行深度學習開發的必要條件,想依靠windows單機玩深度學習恐怕不現實,基於linux和 gpu伺服器的深度學習開發環境配置就顯得尤為重要了。本節筆記就先學習下如何在 ubuntu16.04 系統下配置深度學習開發環境。

使用 xshell linux虛擬機器工具
使用 xshell 工具建立與linux伺服器的連線,設定好主機地址和埠號,輸入登入名和密碼連上伺服器。

下載和更新顯示卡驅動
先檢視本機當前顯示卡資訊:
ubuntu-drivers devices

依次執行下述命令:
sudo apt-get purge nvidia*
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-384 nvidia-settings
之後重啟伺服器使更新生效
sudo shutdown -r now
重新連線伺服器後檢視當前的生效的顯示卡驅動
nvidia-smi

安裝CUDA8
以CUDA8為例進行安裝,CUDA是NVIDIA推出的用於自家GPU的平行計算框架,也就是說CUDA只能在NVIDIA的GPU上執行,而且只有當要解決的計算問題是可以大量平行計算的時候才能發揮CUDA的作用。安裝CUDA的話首先必須去 Nvidia 官網下載對應的CUDA安裝包:
https://developer.nvidia.com/cuda-80-ga2-download-archive
選擇 cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb 進行下載:


然後執行下列命令進行安裝:
sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-cublas-performance-update_8.0.61-1_amd64.deb
sudo apt-get update
sudo apt-get upgrade cuda
安裝完成之後在 ~/.bashrc 中設定CUDA的環境變數:
export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda
完了之後執行 source ~/.bashrc 生效。再次執行 nvidia-smi 檢視驅動資訊如若報驅動不匹配的錯誤:
Failed to initialize NVML: Driver/library version mismatch
這個問題出現的原因是kernel mod 的 Nvidia driver 的版本沒有更新,一般情況下,重啟機器就能夠解決,如果因為某些原因不能夠重啟的話,也有辦法reload kernel mod。依次執行下述命令即可解決:
lsmod | grep nvidia

sudo rmmod nvidia_drm
sudo rmmod nvidia_modeset
sudo rmmod nvidia_uvm
sudo rmmod nvidia
sudo lsof /dev/nvidia*
lsmod | grep nvidia
最後再次輸入 nvidia-smi即可檢視到當前的驅動資訊。

安裝cuDNN6.0
cuDNN(CUDA Deep Neural Network library)是NVIDIA打造的針對深度神經網路的加速庫,是一個用於深層神經網路的GPU加速庫。如果你要用GPU訓練模型,cuDNN不是必須的,但是一般會採用這個加速庫。CUDA8.0的最佳匹配的cuDNN版本為6.0,所以我們到nvidia官網下載cuDNN6.0即可。但目前下載cuDNN需要註冊nvidia賬號才可下載,可能需要多費些周折。

下載完成後按照下列命令進行解壓縮和安裝:
tar -zxvf cudnn-8.0-linux-x64-v6.0.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ -d
安裝 anaconda 並建立虛擬環境
下載anaconda 的 linux版本:
wget https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh
執行bash命令進行安裝:
bash Anaconda3-5.1.0-Linux-x86_64.sh
安裝完成後建立 anaconda 虛擬環境:
conda install -n 虛擬環境名稱
啟動虛擬環境:
source activate 虛擬環境名稱
退出虛擬環境:
source deactivate 虛擬環境名稱
安裝深度學習主要計算框架
安裝 tensorflow:
pip install tensorflow-gpu==版本號
安裝keras:
pip install keras==版本號
安裝pytorch:
conda install pytorch==版本號
再安裝一些其他的常用庫即可搭建好深度學習開發環境。
注: 本深度學習筆記系作者學習 Andrew NG 的 deeplearningai 五門課程所記筆記,其中程式碼為每門課的課後assignments作業整理而成。
參考資料:
http://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%BB%E6%9C%BA%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE-ubuntu-16-04-nvidia-gtx-1080-cuda-8

課程推薦




課程特色

機器學習一線工程人員講師 ,以切身的學習和工作經歷直擊機器學習進階過程中的痛點;
案例實戰導向 。從需求分析開始,對機器學習專案實戰的全流程進行講解,直擊各流程的難點。
一站式服務 。涵蓋需求分析->資料採集->資料清洗與預處理->資料分析與視覺化->特徵工程->機器學習建模->模型調優->報告輸出。
自身經驗傳授 。以Python為工具實現機器學習全流程,是難得一見的從過來人的角度分享機器學習實戰的課程。
精品質量 。 精美的課程PPT設計、誠懇有趣的講解,為的是讓每位在機器學習學習道路上的朋友少踩坑、懂方法和高效率。

上課方式

錄播課程,開課即學
線上反覆觀看,有效期2年
上課方式:錄播學習+VIP會員群+獨享問答中心+線上答疑 +2年反覆觀看

講師介紹

louwill – 某上市軟體公司人工智慧部門資料分析師。
公眾號 機器學習實驗室 的運營者,致力於資料科學、機器學習和深度學習的應用與研究,有著多年的R語言和Python程式設計經驗。
購買方式

掃描下圖二維碼即可購買
點選閱讀原文加入SVIP可免費學習
現在購買只要399!
