第一節,windows和ubuntu下深度學習環境搭建
先講解windows下深度學習環境的搭建
步驟一 安裝Anaconda
Anaconda是一個用於科學計算的python發行版,支援linux,mac,windows系統,提供了包管理和環境管理的功能,Anaconda是一個打包的集合,裡面裝好了conda,某個版本的python,眾多的packages等,科學計算工具等
從archive路徑下載Anaconda3-5.0.0-Windows-x86_64.exe
我的安裝路徑為 D:\Program Files (x86)\Anaconda,注意這裡我選擇的是3-5.0.0版本。
步驟二 安裝minGw,libpython
進入Anaconda Prompt命令視窗,輸入命令
conda install mingw libpython
中間會要你選擇Proceed([y]/n)? 輸入y
配置環境變數 計算機->屬性->高階系統設定->環境變數
編輯系統變數‘path’,追加D:\Program Files (x86)\Anaconda\MinGW\x86_64-w64-mingw32\lib;D:\Program Files (x86)\Anaconda\MinGW\bin;
步驟三 安裝theano
進入Anaconda Prompt命令視窗,輸入命令(注意這時候我們安裝的是CPU版本的theano,由於我們還沒有安裝CUDA):
conda installtheano
如果安裝失敗,我們先解除安裝,然後在嘗試重新安裝
conda uninstall theano
conda install theano
新建環境變數‘PYTHONPATH’:新增值D:\Program Files (x86)\Anaconda\Lib\site-packages\theano;(這個路徑添加了執行可能出錯,親測)
步驟四 PTVS安裝以及VS環境變數設定
安裝完成之後,我們需要為VS安裝PTVS。適用於Visual Studio的Python工具(PTVS)是Visual Studio的開源外掛,支援使用Python語言進行程式設計。
由於我在之前安裝了Anconda,自帶的是python3.6.2,而且我安裝的visual studio2013,這裡就有個問題
由於vs2013不支援python3.6因此,我需要重新安裝python版本,這裡我選擇安裝python3.4。如果你是vs2015之後的版本,你可以跳過這裡。
這裡到這裡我們可以重新解除安裝Anaconda重新安裝一個帶有python3.5的版本(比如Anaconda3-4.0.0,我建議重灌)。或者使用conda命令線上更新。重新安裝比較簡單,我就介紹一下使用conda命令更新。
開啟Anaconda Prompt,然後用conda命令更新到python3.4.
conda update conda ——等待更新完,然後輸入以下命令,這個較快#建立一個名為python34的環境,指定Python版本是3.4(不用管是3.4.x,conda會為我們自動尋找3.4.x中的最新版本)
conda create --name python34 python=3.4
activate python34 --啟用3.4版本,使用這個
#此時次輸入
python --version
#可以得到`Python 3.4.5 即系統已經切換到了3.4的環境
#如果想返回預設的python 3.6.2環境,執行
deactivate python34
#刪除一個已有的環境
conda remove --name python34 --all
等待python3.4安裝成功。這裡我需要重新執行步驟2 安裝minGw,libpython,和步驟三安裝theano。
然後需要手標識現有環境,開啟vs2013.新建一個python專案,並對該專案如下操作:
然後選擇python 3.5.
步驟五 配置路徑檔案
找到路徑C:\Users\你的使用者名稱,在下面建立檔案.theanorc.txt
此處我在C:\Users\Administrator路徑下建立了.theanorc.txt檔案
編輯檔案輸入內容
[global] openmp=False [blas] Idflags= [nvcc] fastmath=True flags =-LD:\Program Files (x86)\Anaconda\libs compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin [gcc] cxxflags=-ID:\Program Files (x86)\Anaconda\MinGW
注意標紅的路徑是根據你自己的MinGW來設定的,不需要和我的一樣,上面的:
compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin
如果你的電腦是裝vs2012,那麼就把10.0改為11.0。這個也就是你安裝的vs所在的目錄。
步驟六 測試配置檔案是否有誤進入python的shell指令碼,輸入內容:>>> import theano>>> theano.test()
出現這種錯誤 ,或者我們在命令視窗執行spyder也出現如下問題:
我們可以看到這個問題,就是在我們import theano那個問題,我們可以參考文章:
我們清除安裝theano時的路徑配置,即:新建環境變數‘PYTHONPATH’:新增值D:\Program Files (x86)\Anaconda\Lib\site-packages\theano;然後重新嘗試執行
如果import theano出現pygpu相關的錯誤,可以嘗試執行(如果你已經安裝了CUDU可能會出現這種問題):
conda install pygpu
開啟spyder進行測試,如果還有spyder閃退的問題,可以嘗試重新安裝:
conda uninstall spyder #先解除安裝
conda install spyder #在安裝
如果還是不行,你可以到網上搜索其他解決方案,或者重新換個版本的Anaconda安裝。
我們也可以編輯如下程式碼測試import numpy as np import time import theano A = np.random.rand(1000,10000).astype(theano.config.floatX) B = np.random.rand(10000,1000).astype(theano.config.floatX) np_start = time.time() AB = A.dot(B) np_end = time.time() X,Y = theano.tensor.matrices('XY') mf = theano.function([X,Y],X.dot(Y)) t_start = time.time() tAB = mf(A,B) t_end = time.time() print("NP time: %f[s], theano time: %f[s] (times should be close when run on CPU!)" %( np_end-np_start, t_end-t_start)) print ("Result difference: %f" % (np.abs(AB-tAB).max(), ))
測試結果如下:
如果上面的np time 和theano time 差不多,那就代表你上面的配置沒有問題了,這個有的時候電腦還有其他的任務,也有可能導致執行的時間不一致。
步驟七 安裝cuda
先檢查自己的顯示卡支援什麼版本的CUDA
(1)首先開啟控制面板,在控制面板進行搜尋。
(2)然後,雙擊NVIDIA控制面板,開啟如下的控制面板,點選幫助
點選系統資訊,我們會看到
(3)選擇元件,然後會看到紅色框的內容,箭頭所指的CUDA版本,就是你電腦支援的CUDA版本。
然後我們去官網下載我們顯示卡支援的CUDA版本
程式下載完後後,雙擊安裝:
到這一步,問題出現了,告訴我說圖形驅動與顯示卡不相容,如果繼續安裝,即使安裝成功了,也不能使用cuda。因此我去下載一個比較新的CUDA,我下載了CUDA9.0
選擇自定義安裝,然後把所有包的都勾選上,省的後面出現什麼錯誤。這一步有可能會遇到驅動衝突,導致某些包安裝失敗
如果某些包安裝失敗,後面使用theano的時候,會跳出錯誤。如果圖形驅動安裝失敗,執行theano的時候就出現錯誤,提示為cuda版本與驅動版本不一致。因此如果你安裝cuda的過程中,有出現安裝失敗的,那麼請你接著往下看。安裝失敗一般是驅動衝突的問題,這個時候我的方法是用驅動精靈解除安裝掉顯示卡驅動,然後在進行安裝。
安裝完後測試一下是否安裝正確。在命令視窗輸入:
nvcc -V
回車檢視是否有版本資訊。若出現版本資訊,則證明nvcc安裝成功,如下圖所示:
接著我們執行一個cuda自帶的測試例子。
由於我的電腦安裝了VS2013(這個自己下載安裝),所以在這裡開啟Samples_vs2013.sln專案,這個例子目錄為:C:\ProgramData\NVIDIA Corporation\CUDA Samples\v9.0(在安裝完我們勾選launch samples會自動開啟這個資料夾) 。編譯執行得到如下結果,表示安裝成功:
然後我們需要重新配置.theanorc.txt檔案
[blas] ldflags= [global] device = gpu floatX = float32
[cuda]
root = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0 [nvcc] fastmath=True flags =-LD:\Program Files (x86)\Anaconda\libs compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin [gcc] cxxflags = -ID:\Program Files (x86)\Anaconda\MinGW
這樣就完成了theano的GPU配置了。
步驟八 完整測試
from theano import function, config, shared, tensor import numpy import time vlen = 10 * 30 * 768 # 10 x #cores x # threads per core iters = 1000 rng = numpy.random.RandomState(22) x = shared(numpy.asarray(rng.rand(vlen), config.floatX)) f = function([], tensor.exp(x)) print(f.maker.fgraph.toposort()) t0 = time.time() for i in range(iters): r = f() t1 = time.time() print("Looping %d times took %f seconds" % (iters, t1 - t0)) print("Result is %s" % (r,)) if numpy.any([isinstance(x.op, tensor.Elemwise) and ('Gpu' not in type(x.op).__name__) for x in f.maker.fgraph.toposort()]): print('Used the cpu') else: print('Used the gpu')
(1)如果執行import theano出現
'You are tring to use the old GPU back-end. '
ValueError: You are tring to use the old GPU back-end. It was removed from Theano. Use device=cuda* now. See Theano/Theano for more information.
我們可以通過修改.theanorc.txt檔案 把device=gpu更改為device=cuda
[global] device = cuda floatX = float32 optimizer = None
(2)如果執行出現下面錯誤:
我們可以配置.thranorc.txt檔案,忽略cuDNN
[dnn]
enabled = False
(3)如果出現CVM未定義的錯誤,按照下面方法移除該資料夾是可以起作用的(親測)。
如果這些方法都不能解決這些錯誤,我只能推薦你看一下這篇文章,希望能夠對你有幫助
執行結果如下:
(1)GPU測試
下面是用GPU加速的執行結果:
如上執行結果可知,用gpu進行計算時間差不多是0.68秒左右。如果想切換成只用gpu的測試的話,我是通過更改檔案:.theanorc.txt的內容。那麼.theanorc.txt的內容為:
[blas] ldflags=
[global]
device = cuda
floatX = float32
optimizer = None
[dnn]
enabled = False
[cuda]
root = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0
[nvcc] fastmath=True flags =-LD:\Program Files (x86)\Anaconda\libs compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin [gcc] cxxflags = -ID:\Program Files (x86)\Anaconda\MinGW
(2)CPU測試。
如果想關閉gpu,進行cpu測試那麼就把.theanorc.txt內容改為:
[blas] ldflags= [gcc] cxxflags = -ID:\Program Files (x86)\Anaconda\MinGW
重啟電腦或者重啟spyder核心。下面是測試結果圖:
測試了結果,只用cpu花了14秒的時間,也就是說對於我的電腦,使用gpu進行加速,這速度提高了近20倍。
步驟九 安裝tensorflow
在命令視窗下執行
conda install tensorflow
在linux環境下安裝如下
步驟一 安裝Anaconda
Anaconda是一個用於科學計算的python發行版,支援linux,mac,windows系統,提供了包管理和環境管理的功能,Anaconda是一個打包的集合,裡面裝好了conda,某個版本的python,眾多的packages等,科學計算工具等
從archive路徑下載Anaconda3-5.0.1-linux-86_64.sh
在home資料夾下建立一個資料夾,命名為Anaconda,把下載好的程式複製到這裡,然後右鍵在終端開啟,輸入:
bash Anaconda3-5.0.1-Linux-x86_64.sh
然後按下enter鍵繼續安裝,一直按enter鍵,直至:
相關推薦
第一節,windows和ubuntu下深度學習環境搭建
先講解windows下深度學習環境的搭建步驟一 安裝AnacondaAnaconda是一個用於科學計算的python發行版,支援linux,mac,windows系統,提供了包管理和環境管理的功能,Anaconda是一個打包的集合,裡面裝好了conda,某個版本的pytho
保姆級教程——Ubuntu16.04 Server下深度學習環境搭建:安裝CUDA8.0,cuDNN6.0,Bazel0.5.4,原始碼編譯安裝TensorFlow1.4.0(GPU版)
寫在前面 本文敘述了在Ubuntu16.04 Server下安裝CUDA8.0,cuDNN6.0以及原始碼編譯安裝TensorFlow1.4.0(GPU版)的親身經歷,包括遇到的問題及解決辦法,也有一些自己的經驗,希望能對讀者有所幫助。期間參考了許多前人的文章,後文會一一附上鍊接,在此先行謝過。在下能力有限,
Ubuntu k80深度學習環境搭建
## 英偉達驅動安裝 1. 英偉達驅動下載: 2. 由於是驅動的衝突,那麼自然是要殺掉和顯示卡結合不是那麼緊密的草根板驅動nouveau了,加入黑名單是我們要做的第一件事,這樣啟動以後就不會預設使用草根驅動; ```bash cd /etc/modprobe.d/ # 資料夾下建立 touch black
windows和Ubuntu下的對拍和測試多組樣例
文章目錄 shell語言 Bat shell語言 【Shell指令碼攻略】-shell中各種括號()、(())、[]、[[]]、{}的作用 Shell 輸入/輸出重定向 Shell $0, $#, $*, [email pr
windows和Ubuntu下安裝mongodb
windows 下載 mongodb官網下載壓縮版安裝包:下載地址:https://www.mongodb.com/download-center/community 注意選擇版本(目前windows只有一個版本,同時適用於32位和64位系統) 安裝 1、解壓: mongodb-win32-x8
ubuntu下tensorflow-gpu環境搭建(通過anaconda,不需要手動安裝cuda和cudnn)
本篇文章主要講解在Ubuntu16.04環境下,搭建TensorFlow框架,主要是GPU版本的。下面我採用conda安裝tensorflow-gpu。 第一步:安裝navidia driver 第二步:安裝anaconda 參考我的另一篇
ubuntu下tensorflow-gpu環境搭建(通過anaconda,需預先手動安裝(或環境含有)cuda和cudnn)
第一步 創造一份conda環境 conda create -n tensorflow python=3.6 第二步 啟用tensorflow環境 source activa
MySql的一些常見問題(Windows 和 Ubuntu 下)
MySQL的基本使用 安裝命令 mysqld -install 基本使用 啟用mysql服務: net start mysql 登陸: mysql -u root -p 輸入密碼即可登陸 設定密碼: mysqladmin -u root -p password 輸入原始密碼之後,輸入新密碼 停止
Windows和Ubuntu下Firefox賬號不能同步的解決辦法
最近開始用Ubuntu系統發現一個問題,我在Ubuntu系統自帶的或者軟體中心下的Firefox版本下建立一個賬號,再在Windows的Firefox下登入發現此賬號不存在,原因是Firefox有個全球服務和本地服務,Ubuntu下的Firefox是國際版,屬於全
【深度學習】Ubuntu下CUDA+ cuDNN + TensorFlow/TensorLayer 深度學習環境搭建
文章目錄 概述 安裝Anaconda並建立環境 安裝CUDA和cuDNN 下載安裝CUDA 下載安裝cuDNN 安裝TensorFlow和TensorLayer 檢查安裝結果
【深度學習】windows 10下CUDA+ cuDNN + MXNet/TensorFlow/TensorLayer 深度學習環境搭建
文章目錄 關於版本 環境 版本相容關係 搭建過程 安裝Anocanda 安裝CUDA和cuDNN 建立虛擬環境並安裝NXNet 安裝TensorFlow和Te
《Swift入門》如何在Windows或者ubuntu下安裝XCode6環境來開發Swift?
最近也想試水一下iOS應用開發,但又沒有Apple Air/Pro之類的裝置,也不想裝OS X系統,就想到能不能在Windows或者ubuntu下安裝XCode6環境來開發Swift?但經過一翻搜尋,得到的答案是:XCode只能裝在OS X系統上。據我瞭解目前Windows下
深度學習環境搭建第一步----Ubuntu 安裝(win7 + win10)
一、Win7 裝 Ubuntu 1. 下載,四個版本,區分32和64位,優麒麟 16.04 LTS(長期支援)版本 2. UltraISO軟體 燒錄U盤啟動 3. 壓縮磁碟,2中包含-----壓縮映象的時候包含設定引導用來開機選擇進入系統-------沒用到easybcd 其中選擇zip+,
Ubuntu深度學習環境搭建 tensorflow+pytorch
源安裝 class x86 port ORC 鏈接庫 mon latest news 目前電腦配置:Ubuntu 16.04 + GTX1080顯卡 配置深度學習環境,利用清華源安裝一個miniconda環境是非常好的選擇。尤其是今天發現conda install -c m
ubuntu下zephyr開發環境搭建以及移植到iMX.7S的M4核心的過程
zephyr開發環境搭建 首先介紹如何在ubuntu16.04 Desktop環境下搭建Zephyr開發環境。構建Zephyr開發環境除了需要正確獲取Zephyr原始碼和Zephyr SDK,還需要正確安裝python3、cmake和git等工具。 更新軟體源 sudo apt-get
ubuntu下tensorflow的環境搭建
ubuntu下tensorflow的環境搭建 官網參考文件地址:https://www.tensorflow.org/install/,由於博主用的是ubuntu 14.04,因此以Ubuntu為例,進行說明,其他OS請參考上面給出的連結。 提示:最好別用window
win7和ubuntu16.04雙系統安裝和ubuntu的機器學習環境配置
背景 換了一個大容量的固態盤,所以需要重灌系統。安裝了windows7和ubuntu16.04雙系統。中間遇到坑,特此分享,為後人之指路明燈。 大綱 01,硬碟安裝windows7(同時破解win7,安裝office2010,破解2010之後在安裝ubuntu16.04
Ubuntu 下 Virtual Judge 環境搭建與配置
由於學校機房每臺機器都需要賬號才能訪問外網,然而賬號只有老師才有,這就導致機房上網賬號不夠。 所以打算在機房的一臺伺服器上搭建一個Virtual Judge,它用一個賬號連線外網其他同學就都能交題了。。 由於本人不懂JSP。配置環境異常坎坷。配置的過程中還向Isun請教了幾
PX4開發(1):ubuntu下pixhawk開發環境搭建
1. 介紹 之前買了個330的四軸,最近想利用起來,所以買了個pixhawk來玩。pixhawk是開源的,所以想看看能不能在其基礎上開發出什麼。 要做開發首先要配置環境,由於官方推薦在linux環境下開發,所以這裡介紹ubuntu下pixhawk的開發環境配
Ubuntu下Java開發環境搭建
1、安裝JDK (2)解壓檔案,開啟終端輸入: sudo tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/jdk/ (我安裝到/usr/loc