基於torch學汪峰寫歌詞、聊天機器人、影象著色/生成、看圖說話、字幕生成

阿新 • • 發佈：2019-01-22

手把手教你基於torch玩轉

學汪峰寫詞、自動聊天機器人、影象著色、影象生成、看圖說話、生成字幕

作者：驍哲、李偉、小蔡、July。
說明：本教程出自七月線上助教團隊、及七月線上深度學習線上班學員之手，有何問題歡迎加Q群交流：472899334。且探究實驗背後原理，請參看：深度學習線上班。
時間：二零一六年十月十二日。

前言

我們教梵高作畫的教程釋出之後，國慶7天，上百位朋友一一陸續動手嘗試，大有全民DL、全民實驗之感。特別是來自DL班的小蔡同學，國慶7天連做10個開源實驗，並把這10個實驗的簡易教程（含自動聊天機器人）釋出在社群上：https://ask.julyedu.com/explore/category-13

。盛讚。

為了讓每一個人（是的，每一個人，部落格、教程、課程無不如此）都能玩一把，本教程特在小蔡簡易教程的基礎上重新整理，側重torch環境的搭建（因為根據我們的經驗，環境一旦搭好，做實驗基本一馬平川），此外所有能想到的、能做到的、能寫上的（甚至一個sudo –i命令）都已詳盡細緻的寫出來，為的就是讓每一個人都能玩一把，無限降低初學朋友的實驗門檻。

還是那句話，歡迎更多朋友跟我們一起做實驗，一起玩。包括學梵高作畫的7個實驗：梵高作畫、文字生成、自動聊天機器人、影象著色、影象生成、看圖說話、字幕生成，今2016年內，只要你做出這7個實驗中的任意一個並在微博上[email protected]

研究者July，便送100上課券，把實驗心得發社群 ask.julyed.com 後，再送100上課券。

另，我們更會在深度學習線上班上詳解實驗背後的原理，讓君知其然更知其所以然。

一、準備工作

1、 Torch介紹

Torch是一個有大量機器學習演算法支援的科學計算框架，其誕生已經有十年之久，但是真正起勢得益於Facebook開源了大量Torch的深度學習模組和擴充套件。Torch另外一個特殊之處是採用了程式語言Lua(該語言曾被用來開發視訊遊戲)。

Torch的優勢：

構建模型簡單
高度模組化
快速高效的GPU支援
通過LuaJIT接入C
數值優化程式等
可嵌入到iOS、Android和FPGA

後端的介面

*資訊來源--http://www.leiphone.com/news/201608/5kCJ4Vim3wMjpBPU.html?_t_t_t=0.9860681521240622

2、系統說明

本次搭建是在Ubuntu14.04基礎上搭建，Ubuntu14.04系統安裝教程已在Tensorflow

3、實驗目錄

（1）文字生成

（2）自動聊天

（3）影象著色

（4）影象生成

（5）看圖說話

（6）字幕生成

二、搭建Torch

步驟：

2、 ubuntu終端視窗輸入：

以下所有命令均在root使用者下執行

apt-get update （更新源）

3、開啟搭建torch7網址

git clone https://github.com/torch/distro.git ~/torch --recursive （克隆torch到~/torch檔案下）

cd ~/torch; bash install-deps; （執行install-deps）

./install.sh （執行程式）

source ~/.bashrc （Ubuntu14.04一般情況執行這個，更新.bashrc檔案）

source ~/.zshrc （讀者不放心了把這個也執行了）

*******如果讀者用Lua5.2就執行如下，沒有就跳過*******

第一個git忽略，開始搭建時候已經下載過了

cd ~/torch（進入torch檔案）

./clean.sh（執行clean.sh）

TORCH_LUA_VERSION=LUA52 ./install.sh（執行命令）

*****************結束*************************

luarocks install image （安裝image）

luarocks list （列出luarocks安裝的包、檢查是否安裝成功）

th （測試能否用torch7，出現如上圖標誌，表示能用）

4、筆者在安裝過程中出現torch7的環境變數未能新增到PATH內。解決辦法如下：

在終端輸入：vi /etc/profile

進入檔案後，在最後新增如下命令:

PATH=~/torch/install/bin:$PATH

按Esc 接著輸入： q 退出

執行 source /etc/profile（更新一下）

三、7個實驗

1. 文字生成

l 下載包

luarocks install nngraph

luarocks install optim

luarocks install nn

l 如果用GPU，安裝如下包

luarocks install cutorch

luarocks install cunn

l 下載char-rnn包

cd char-rnn;

l 自行下載你想要生成型別的模板（.txt檔案），例如唐詩三百首、汪峰歌詞、韓寒小說……

l 利用cp命令和mv命令，把下載好的.txt檔案覆蓋data/tinyshakespeare下的input.txt

l 訓練

th train.lua --dataset 20000 --hiddenSize 100 -data_dir data/tinyshakespeare -rnn_size 512 -num_layers 2 -dropout 0.5

l 生成

th sample.lua cv/lm_lstm_epoch（按住Tab自動補全） -gpuid -1（-gpuid -1這個是僅適用CPU的命令，GPU的同學自行忽略）

2. 自動聊天機器人

l 環境包下載

sudo ~/torch/install/bin/luarocks install nn
sudo ~/torch/install/bin/luarocks install rnn
sudo ~/torch/install/bin/luarocks install async

l 下載程式碼與語料

l 語料選擇

語料除了上述提供的語料，可自行生成自己的語料
cd dgk_lost_conv #參考cvgen.py
如需檢視語料內容
python toraw.py a.cov b.txt
cd chatbot-zh-torch7
筆者原先直接使用xiaohuangji50w_fenciA.conv(估計是小黃雞聊天機器人語料,50w條資料),後來訓練時間覺得太長，換了作者提供的小樣本。
更改樣本的修改cornell_movie_dialogs.lua 第18行程式碼，建議先不修改，因為筆者在作者提供的小樣本下效果不是很好，資料應該沒有經過處理。~~自行下載你想要生成型別的模板（.txt檔案），例如唐詩三百首、汪峰歌詞、韓寒小說……~~

l 訓練

th train.lua （筆者實驗時提示記憶體不夠，因此輸入命令為th train.lua --dataset 20000 --hiddenSize 100 ）#可加引數--cuda、--opencl、--hiddenSize等等
在 data 資料夾生成有examples.t7,model.t7、vocab.t7

l 開始

修改eval.lua
在原始碼後邊新增

print("\nType a sentence and hit enter to submit.")

print("CTRL+C then enter to quit.\n")

while true do

io.write("you> ")

io.flush()

io.write(say(io.read()))

end

th eval.lua #直接命令列

一開始用64G記憶體的伺服器跑50w語料，跑完後，發現效果還湊合

但如果換成普通桌上型電腦跑50w語料的話，可能麻煩就來了。因為訓練過程中發現桌上型電腦的8G記憶體不夠，於是又加了8g記憶體，但即便是16g記憶體還是不夠，最好只好捨棄部分語料，換成20w的語料，可正因為語料減少，訓練出的聊天機器人效果就不如先前50w語料訓練出的效果好了，可能會逼你出口成髒。

3. 影象著色

參考教程地址：https://ask.julyedu.com/question/7412

l 環境包下載

sudo ~/torch/install/bin/luarocks install nn
sudo ~/torch/install/bin/luarocks installimage
sudo ~/torch/install/bin/luarocks install nngraph

l 下載模型

./download_model.sh

l 執行

th colorize.lua ***（黑白圖片地址） ***（生成圖片存放地址）

示例：th colorize.lua ansel_colorado_1941.png ansel_colorado_1941_out.png

4. 影象生成

參考教程地址：https://ask.julyedu.com/question/7414

l 環境包下載

sudo ~/torch/install/bin/luarocks install optnet
sudo ~/torch/install/bin/luarocks install display
sudo ~/torch/install/bin/luarocks install cudnn（GPU執行）
sudo ~/torch/install/bin/luarocks install https://raw.githubusercontent.com/szym/display/master/display-scm-0.rockspec#

l 下載模型

l 執行

cd dcgan.torch
gpu=0 batchSize=64 net=celebA_25_net_G.t7 th generate.lua #cpu執行 batchSize影象數量
gpu=1 batchSize=64 net=celebA_25_net_G.t7 th generate.lua #cpu執行

5. 看圖說話

環境包下載

sudo ~/torch/install/bin/luarocks install nn
sudo ~/torch/install/bin/luarocks install nngraph
sudo ~/torch/install/bin/luarocks install image
sudo ~/torch/install/bin/luarocks install hdf5 #這個也是必須的
sudo ~/torch/install/bin/luarocks install loadcaffe 下載模型

沒有gpu的同學可忽略以下的安裝命令
sudo ~/torch/install/bin/luarocks install cutorch
sudo ~/torch/install/bin/luarocks install cunn

l 模型下載

l 準備圖片

cd neuraltalk2
mkdir images #將圖片放到此目錄下

l 生成圖片描述

th eval.lua -model model_id1-501-1448236541.t7_cpu.t7 -image_folder ./images/ #可加引數-num_images 等
th eval.lua -model model_id1-501-1448236541.t7_cpu.t7 -image_folder ./images/ -gpuid -1 #沒有gpu的讀者執行此命令
cd vis
python -m SimpleHTTPServer #啟動後訪問http://localhost:8000

6. 字幕生成

l 環境包下載

.環境依賴
讀者自行安裝torch環境
luarocks install nn
luarocks install image
luarocks install lua-cjson
luarocks install https://raw.githubusercontent. ... kspec
luarocks install https://raw.githubusercontent. ... kspec
luarocks install sys #需要多加一項

沒有gpu 忽略
luarocks install cutorch
luarocks install cunn
luarocks install cudnn
luarocks install cudnn

l 模型下載

sh scripts/download_pretrained_model.sh

l 修改程式碼

run_model.lua 程式碼29行自行修改Model位置

l 執行

cpu 執行
th run_model.lua -input_image imgs/elephant.jpg -gpu -1
gpu 執行
th run_model.lua -input_image imgs/elephant.jpg

l 檢視效果

例如，給定系統一張圖片，系統自動生成字幕：一男的騎單車，穿白色T恤..

後記

後續繼續一起玩。

七月線上出品，二零一六年十月十二日。

基於torch學汪峰寫歌詞、聊天機器人、影象著色/生成、看圖說話、字幕生成

手把手教你基於torch玩轉

學汪峰寫詞、自動聊天機器人、影象著色、影象生成、看圖說話、生成字幕

前言