mxnet多機分散式配置

將一臺機器上的mxnet拷到另外兩臺機器上

scp -r /home/hzz/mxnet [email protected]:/home/hzz/mxnet

如果已經在自己的環境安裝好mxnet或者不想新建一個Python環境，可以忽略下面這幾步。

建立新的Python環境

對每臺機器，用anacodna的conda建立新的Python環境，在這個環境安裝mxnet，

conda create -n mxnet-1.1-modify python=2.7

啟用這個環境

source activate mxnet-1.1-modify

如果要解除這個環境，只需

source deactivate

之後檢視當前的Python是不是在新的環境下

which python

安裝mxnet，搭建分散式

進入mxnet/python，安裝mxnet

python setup.py install

設定hosts為三臺機器的ip，這裡命名為Host，如

9.91.21.46
9.91.21.37
9.91.21.34

在每臺機器執行自己的local分散式程式, launch檔案在 mxnet/tools/

python launch.py -n 1 --launcher local `which python` /home/hzz/tcd-workspace/imagenet_gai.py --data_url /data/ --train_file ILSVRC2012_img_train.rec --batch_size 256 --num_classes 1000 --val_file ILSVRC2012_img_val.rec --num_layers=50 --network=resnet
 

每臺都成功後，再用分散式

python launch.py -n 3 -H /home/hzz/tcd-workspace/Host --launcher ssh `which python` /home/hzz/tcd-workspace/imagenet_gai.py --data_url /data/ --train_file ILSVRC2012_img_train.rec --batch_size 256 --num_classes 1000 --val_file ILSVRC2012_img_val.rec --num_layers=50 --network=resnet

踩坑

• 在conda create建立環境時，報錯post-link，更新conda為最新版即可

  conda upgrade conda
  

• 從一臺機器拷貝資料到其他機器上，報許可權問題，目標機器拷貝的資料夾也需要許可權

  sudo chmod 777 /data
  

• OSError: libmxnet.so: cannot open shared object file: No such file or direct
  把.so檔案放到LD_LIBRARY_PATH環境下，如：

  vi ~/.bashrc
  

    export CUDA_HOME=/usr/local/cuda
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CUDA_HOME:$CUDA_HOME/lib64

最後

    source ~/.bashrc