1. 程式人生 > >第一節,windows和ubuntu下深度學習環境搭建

第一節,windows和ubuntu下深度學習環境搭建

先講解windows下深度學習環境的搭建

步驟一  安裝Anaconda

Anaconda是一個用於科學計算的python發行版,支援linux,mac,windows系統,提供了包管理和環境管理的功能,Anaconda是一個打包的集合,裡面裝好了conda,某個版本的python,眾多的packages等,科學計算工具等

 從archive路徑下載Anaconda3-5.0.0-Windows-x86_64.exe

我的安裝路徑為 D:\Program Files (x86)\Anaconda,注意這裡我選擇的是3-5.0.0版本。

步驟二  安裝minGw,libpython

進入Anaconda Prompt命令視窗,輸入命令

conda install mingw libpython

中間會要你選擇Proceed([y]/n)? 輸入y

配置環境變數  計算機->屬性->高階系統設定->環境變數

編輯系統變數‘path’,追加D:\Program Files (x86)\Anaconda\MinGW\x86_64-w64-mingw32\lib;D:\Program Files (x86)\Anaconda\MinGW\bin;

 

步驟三 安裝theano

進入Anaconda Prompt命令視窗,輸入命令(注意這時候我們安裝的是CPU版本的theano,由於我們還沒有安裝CUDA):

conda  install
theano

如果安裝失敗,我們先解除安裝,然後在嘗試重新安裝

conda uninstall theano
conda  install theano

 新建環境變數‘PYTHONPATH’:新增值D:\Program Files (x86)\Anaconda\Lib\site-packages\theano;(這個路徑添加了執行可能出錯,親測)

步驟四 PTVS安裝以及VS環境變數設定

安裝完成之後,我們需要為VS安裝PTVS。適用於Visual Studio的Python工具(PTVS)是Visual Studio的開源外掛,支援使用Python語言進行程式設計。

由於我在之前安裝了Anconda,自帶的是python3.6.2,而且我安裝的visual studio2013,這裡就有個問題

由於vs2013不支援python3.6因此,我需要重新安裝python版本,這裡我選擇安裝python3.4。如果你是vs2015之後的版本,你可以跳過這裡。

這裡到這裡我們可以重新解除安裝Anaconda重新安裝一個帶有python3.5的版本(比如Anaconda3-4.0.0,我建議重灌)。或者使用conda命令線上更新。重新安裝比較簡單,我就介紹一下使用conda命令更新。

開啟Anaconda Prompt,然後用conda命令更新到python3.4.

複製程式碼conda update conda ——等待更新完,然後輸入以下命令,這個較快

#建立一個名為python34的環境,指定Python版本是3.4(不用管是3.4.x,conda會為我們自動尋找3.4.x中的最新版本)

conda create --name python34 python=3.4

activate python34 --啟用3.4版本,使用這個

#此時次輸入

python --version

#可以得到`Python 3.4.5 即系統已經切換到了3.4的環境

#如果想返回預設的python 3.6.2環境,執行

deactivate python34

#刪除一個已有的環境

conda remove --name python34 --all

複製程式碼

等待python3.4安裝成功。這裡我需要重新執行步驟2 安裝minGw,libpython,和步驟三安裝theano。

然後需要手標識現有環境,開啟vs2013.新建一個python專案,並對該專案如下操作:

 

然後選擇python 3.5.

 

步驟五 配置路徑檔案

找到路徑C:\Users\你的使用者名稱,在下面建立檔案.theanorc.txt

此處我在C:\Users\Administrator路徑下建立了.theanorc.txt檔案

編輯檔案輸入內容

複製程式碼
[global]

openmp=False

[blas]
Idflags=

[nvcc]  
fastmath=True  
flags =-LD:\Program Files (x86)\Anaconda\libs  
compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin  

[gcc]
cxxflags=-ID:\Program Files (x86)\Anaconda\MinGW
複製程式碼

注意標紅的路徑是根據你自己的MinGW來設定的,不需要和我的一樣,上面的:

compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin  

如果你的電腦是裝vs2012,那麼就把10.0改為11.0。這個也就是你安裝的vs所在的目錄。

步驟六 測試配置檔案是否有誤
進入python的shell指令碼,輸入內容:>>> import theano>>> theano.test()

出現這種錯誤 ,或者我們在命令視窗執行spyder也出現如下問題:

我們可以看到這個問題,就是在我們import theano那個問題,我們可以參考文章:

我們清除安裝theano時的路徑配置,即:新建環境變數‘PYTHONPATH’:新增值D:\Program Files (x86)\Anaconda\Lib\site-packages\theano;然後重新嘗試執行

如果import theano出現pygpu相關的錯誤,可以嘗試執行(如果你已經安裝了CUDU可能會出現這種問題):

conda install pygpu

開啟spyder進行測試,如果還有spyder閃退的問題,可以嘗試重新安裝:

conda uninstall spyder        #先解除安裝
conda install spyder #在安裝

如果還是不行,你可以到網上搜索其他解決方案,或者重新換個版本的Anaconda安裝。

我們也可以編輯如下程式碼測試複製程式碼
import numpy as np
import time
import theano
A = np.random.rand(1000,10000).astype(theano.config.floatX)
B = np.random.rand(10000,1000).astype(theano.config.floatX)
np_start = time.time()
AB = A.dot(B)
np_end = time.time()
X,Y = theano.tensor.matrices('XY')
mf = theano.function([X,Y],X.dot(Y))
t_start = time.time()
tAB = mf(A,B)
t_end = time.time()
print("NP time: %f[s], theano time: %f[s] (times should be close when run on CPU!)" %(
                                            np_end-np_start, t_end-t_start))
print ("Result difference: %f" % (np.abs(AB-tAB).max(), ))
複製程式碼

測試結果如下:

如果上面的np time 和theano time 差不多,那就代表你上面的配置沒有問題了,這個有的時候電腦還有其他的任務,也有可能導致執行的時間不一致。

步驟七 安裝cuda

先檢查自己的顯示卡支援什麼版本的CUDA

(1)首先開啟控制面板,在控制面板進行搜尋。

(2)然後,雙擊NVIDIA控制面板,開啟如下的控制面板,點選幫助

點選系統資訊,我們會看到

(3)選擇元件,然後會看到紅色框的內容,箭頭所指的CUDA版本,就是你電腦支援的CUDA版本。

然後我們去官網下載我們顯示卡支援的CUDA版本

 

 程式下載完後後,雙擊安裝:

到這一步,問題出現了,告訴我說圖形驅動與顯示卡不相容,如果繼續安裝,即使安裝成功了,也不能使用cuda。因此我去下載一個比較新的CUDA,我下載了CUDA9.0

 

選擇自定義安裝,然後把所有包的都勾選上,省的後面出現什麼錯誤。這一步有可能會遇到驅動衝突,導致某些包安裝失敗

如果某些包安裝失敗,後面使用theano的時候,會跳出錯誤。如果圖形驅動安裝失敗,執行theano的時候就出現錯誤,提示為cuda版本與驅動版本不一致。因此如果你安裝cuda的過程中,有出現安裝失敗的,那麼請你接著往下看。安裝失敗一般是驅動衝突的問題,這個時候我的方法是用驅動精靈解除安裝掉顯示卡驅動,然後在進行安裝。

 安裝完後測試一下是否安裝正確。在命令視窗輸入:

nvcc -V

回車檢視是否有版本資訊。若出現版本資訊,則證明nvcc安裝成功,如下圖所示:

 

接著我們執行一個cuda自帶的測試例子。

 

由於我的電腦安裝了VS2013(這個自己下載安裝),所以在這裡開啟Samples_vs2013.sln專案,這個例子目錄為:C:\ProgramData\NVIDIA Corporation\CUDA Samples\v9.0(在安裝完我們勾選launch samples會自動開啟這個資料夾) 。編譯執行得到如下結果,表示安裝成功:

然後我們需要重新配置.theanorc.txt檔案

複製程式碼
[blas]   
ldflags=  
      
[global]  
device = gpu  
floatX = float32  
   
[cuda]
root = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0 [nvcc] fastmath
=True flags =-LD:\Program Files (x86)\Anaconda\libs compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin [gcc] cxxflags = -ID:\Program Files (x86)\Anaconda\MinGW
複製程式碼

這樣就完成了theano的GPU配置了。

步驟八 完整測試

複製程式碼
from theano import function, config, shared, tensor
import numpy
import time

vlen = 10 * 30 * 768  # 10 x #cores x # threads per core
iters = 1000

rng = numpy.random.RandomState(22)
x = shared(numpy.asarray(rng.rand(vlen), config.floatX))
f = function([], tensor.exp(x))
print(f.maker.fgraph.toposort())
t0 = time.time()
for i in range(iters):
    r = f()
t1 = time.time()
print("Looping %d times took %f seconds" % (iters, t1 - t0))
print("Result is %s" % (r,))
if numpy.any([isinstance(x.op, tensor.Elemwise) and
              ('Gpu' not in type(x.op).__name__)
              for x in f.maker.fgraph.toposort()]):
    print('Used the cpu')
else:
    print('Used the gpu')
複製程式碼

(1)如果執行import theano出現

'You are tring to use the old GPU back-end. '

ValueError: You are tring to use the old GPU back-end. It was removed from Theano. Use device=cuda* now. See Theano/Theano for more information.

我們可以通過修改.theanorc.txt檔案  把device=gpu更改為device=cuda

[global]
device = cuda
floatX = float32
optimizer = None 

(2)如果執行出現下面錯誤:

我們可以配置.thranorc.txt檔案,忽略cuDNN

[dnn]
enabled = False

(3)如果出現CVM未定義的錯誤,按照下面方法移除該資料夾是可以起作用的(親測)。

如果這些方法都不能解決這些錯誤,我只能推薦你看一下這篇文章,希望能夠對你有幫助

執行結果如下:

(1)GPU測試

下面是用GPU加速的執行結果:

 

 如上執行結果可知,用gpu進行計算時間差不多是0.68秒左右。如果想切換成只用gpu的測試的話,我是通過更改檔案:.theanorc.txt的內容。那麼.theanorc.txt的內容為:

複製程式碼
[blas]   
ldflags=

[global]
device = cuda
floatX = float32
optimizer = None
[dnn]
enabled = False

[cuda]
root = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0

[nvcc] fastmath
=True flags =-LD:\Program Files (x86)\Anaconda\libs compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin [gcc] cxxflags = -ID:\Program Files (x86)\Anaconda\MinGW
複製程式碼

(2)CPU測試。

如果想關閉gpu,進行cpu測試那麼就把.theanorc.txt內容改為:

[blas]   
ldflags=  
      
      
[gcc]   
cxxflags = -ID:\Program Files (x86)\Anaconda\MinGW

重啟電腦或者重啟spyder核心。下面是測試結果圖:

 

測試了結果,只用cpu花了14秒的時間,也就是說對於我的電腦,使用gpu進行加速,這速度提高了近20倍。

步驟九 安裝tensorflow

在命令視窗下執行

conda install tensorflow

在linux環境下安裝如下

步驟一  安裝Anaconda

Anaconda是一個用於科學計算的python發行版,支援linux,mac,windows系統,提供了包管理和環境管理的功能,Anaconda是一個打包的集合,裡面裝好了conda,某個版本的python,眾多的packages等,科學計算工具等

 從archive路徑下載Anaconda3-5.0.1-linux-86_64.sh

在home資料夾下建立一個資料夾,命名為Anaconda,把下載好的程式複製到這裡,然後右鍵在終端開啟,輸入:

bash Anaconda3-5.0.1-Linux-x86_64.sh

然後按下enter鍵繼續安裝,一直按enter鍵,直至:

相關推薦

第一windowsubuntu深度學習環境搭建

先講解windows下深度學習環境的搭建步驟一  安裝AnacondaAnaconda是一個用於科學計算的python發行版,支援linux,mac,windows系統,提供了包管理和環境管理的功能,Anaconda是一個打包的集合,裡面裝好了conda,某個版本的pytho

保姆級教程——Ubuntu16.04 Server深度學習環境搭建:安裝CUDA8.0cuDNN6.0Bazel0.5.4原始碼編譯安裝TensorFlow1.4.0(GPU版)

寫在前面 本文敘述了在Ubuntu16.04 Server下安裝CUDA8.0,cuDNN6.0以及原始碼編譯安裝TensorFlow1.4.0(GPU版)的親身經歷,包括遇到的問題及解決辦法,也有一些自己的經驗,希望能對讀者有所幫助。期間參考了許多前人的文章,後文會一一附上鍊接,在此先行謝過。在下能力有限,

Ubuntu k80深度學習環境搭建

## 英偉達驅動安裝 1. 英偉達驅動下載: 2. 由於是驅動的衝突,那麼自然是要殺掉和顯示卡結合不是那麼緊密的草根板驅動nouveau了,加入黑名單是我們要做的第一件事,這樣啟動以後就不會預設使用草根驅動; ```bash cd /etc/modprobe.d/ # 資料夾下建立 touch black

windowsUbuntu的對拍測試多組樣例

文章目錄 shell語言 Bat shell語言 【Shell指令碼攻略】-shell中各種括號()、(())、[]、[[]]、{}的作用 Shell 輸入/輸出重定向 Shell $0, $#, $*, [email pr

windowsUbuntu安裝mongodb

windows 下載 mongodb官網下載壓縮版安裝包:下載地址:https://www.mongodb.com/download-center/community 注意選擇版本(目前windows只有一個版本,同時適用於32位和64位系統) 安裝 1、解壓: mongodb-win32-x8

ubuntutensorflow-gpu環境搭建(通過anaconda不需要手動安裝cudacudnn)

本篇文章主要講解在Ubuntu16.04環境下,搭建TensorFlow框架,主要是GPU版本的。下面我採用conda安裝tensorflow-gpu。 第一步:安裝navidia driver 第二步:安裝anaconda 參考我的另一篇

ubuntutensorflow-gpu環境搭建(通過anaconda需預先手動安裝(或環境含有)cudacudnn)

第一步 創造一份conda環境 conda create -n tensorflow python=3.6 第二步 啟用tensorflow環境 source activa

MySql的一些常見問題(Windows Ubuntu

MySQL的基本使用 安裝命令 mysqld -install 基本使用 啟用mysql服務: net start mysql 登陸: mysql -u root -p 輸入密碼即可登陸 設定密碼: mysqladmin -u root -p password 輸入原始密碼之後,輸入新密碼 停止

WindowsUbuntuFirefox賬號不能同步的解決辦法

      最近開始用Ubuntu系統發現一個問題,我在Ubuntu系統自帶的或者軟體中心下的Firefox版本下建立一個賬號,再在Windows的Firefox下登入發現此賬號不存在,原因是Firefox有個全球服務和本地服務,Ubuntu下的Firefox是國際版,屬於全

深度學習UbuntuCUDA+ cuDNN + TensorFlow/TensorLayer 深度學習環境搭建

文章目錄 概述 安裝Anaconda並建立環境 安裝CUDA和cuDNN 下載安裝CUDA 下載安裝cuDNN 安裝TensorFlow和TensorLayer 檢查安裝結果

深度學習windows 10CUDA+ cuDNN + MXNet/TensorFlow/TensorLayer 深度學習環境搭建

文章目錄 關於版本 環境 版本相容關係 搭建過程 安裝Anocanda 安裝CUDA和cuDNN 建立虛擬環境並安裝NXNet 安裝TensorFlow和Te

《Swift入門》如何在Windows或者ubuntu安裝XCode6環境來開發Swift?

最近也想試水一下iOS應用開發,但又沒有Apple Air/Pro之類的裝置,也不想裝OS X系統,就想到能不能在Windows或者ubuntu下安裝XCode6環境來開發Swift?但經過一翻搜尋,得到的答案是:XCode只能裝在OS X系統上。據我瞭解目前Windows下

深度學習環境搭建第一步----Ubuntu 安裝(win7 + win10)

一、Win7 裝  Ubuntu 1. 下載,四個版本,區分32和64位,優麒麟 16.04 LTS(長期支援)版本 2. UltraISO軟體 燒錄U盤啟動 3. 壓縮磁碟,2中包含-----壓縮映象的時候包含設定引導用來開機選擇進入系統-------沒用到easybcd 其中選擇zip+,

Ubuntu深度學習環境搭建 tensorflow+pytorch

源安裝 class x86 port ORC 鏈接庫 mon latest news 目前電腦配置:Ubuntu 16.04 + GTX1080顯卡 配置深度學習環境,利用清華源安裝一個miniconda環境是非常好的選擇。尤其是今天發現conda install -c m

ubuntuzephyr開發環境搭建以及移植到iMX.7S的M4核心的過程

zephyr開發環境搭建 首先介紹如何在ubuntu16.04 Desktop環境下搭建Zephyr開發環境。構建Zephyr開發環境除了需要正確獲取Zephyr原始碼和Zephyr SDK,還需要正確安裝python3、cmake和git等工具。 更新軟體源 sudo apt-get

ubuntutensorflow的環境搭建

ubuntu下tensorflow的環境搭建 官網參考文件地址:https://www.tensorflow.org/install/,由於博主用的是ubuntu 14.04,因此以Ubuntu為例,進行說明,其他OS請參考上面給出的連結。 提示:最好別用window

win7ubuntu16.04雙系統安裝ubuntu的機器學習環境配置

背景 換了一個大容量的固態盤,所以需要重灌系統。安裝了windows7和ubuntu16.04雙系統。中間遇到坑,特此分享,為後人之指路明燈。 大綱 01,硬碟安裝windows7(同時破解win7,安裝office2010,破解2010之後在安裝ubuntu16.04

Ubuntu Virtual Judge 環境搭建與配置

由於學校機房每臺機器都需要賬號才能訪問外網,然而賬號只有老師才有,這就導致機房上網賬號不夠。 所以打算在機房的一臺伺服器上搭建一個Virtual Judge,它用一個賬號連線外網其他同學就都能交題了。。 由於本人不懂JSP。配置環境異常坎坷。配置的過程中還向Isun請教了幾

PX4開發(1):ubuntupixhawk開發環境搭建

1. 介紹 之前買了個330的四軸,最近想利用起來,所以買了個pixhawk來玩。pixhawk是開源的,所以想看看能不能在其基礎上開發出什麼。 要做開發首先要配置環境,由於官方推薦在linux環境下開發,所以這裡介紹ubuntu下pixhawk的開發環境配

UbuntuJava開發環境搭建

1、安裝JDK (2)解壓檔案,開啟終端輸入:  sudo tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/jdk/ (我安裝到/usr/loc