因為偶然的機會，我接觸到從事嵌入式開發的團隊的英特爾神經計算棒專案，得以熟悉英特爾神經計算棒的使用過程。本篇部落格主要是記錄我5天來的除錯工作，為將來從事嵌入式開發，有可能應用到神經計算棒做影象處理的同志留一些經驗。

      首先來介紹英特爾這款神經計算棒。英特爾這款計算棒，利用自己開發的Movidius視覺處理單元（VPU）來加速計算，使得處理影象分類任務的深度學習網路可以方便快速的移植到嵌入式開發板上，它之於嵌入式開發板類似於GPU於電腦主機，但是本身這個計算棒還是和GPU有很大差距的。目前這款計算棒只支援Ubuntu16.04等以上的系統，支援c語言、c++和python開發。團隊開發的環境正好是搭載Ubuntu16.04 的嵌入式板，因此我完全是在Ubuntu16.04的電腦上使用python3.5完成了神經計算棒的整個開發，移植到嵌入式板上毫無差別。而英特爾神經計算棒的開發，主要就是將深度學習網路固化成計算棒可識別的graph格式，需要明確網路的輸入節點和輸出節點以便編譯器識別。

1.  開始開發工作，首先要安裝計算棒本身的軟體工具下載。有兩個版本，因為版本2功能更多，支援的網路更多，所以這裡我安裝的是2.0.5的版本。
2. 確定深度學習網路使用的深度學習框架。計算棒支援TensorFlow、caffe兩大網路框架，在這裡我使用的是TensorFlow。TensorFlow開發指南
3. 確定要使用的網路結構和編譯方法。這一步是很容易出現bug的，一般剛上手計算棒的人很難通過編譯，這也和計算棒本身編譯資料少，使用者少，相關排錯帖子少有關，我在開發的時候，也花了大量的時間在編譯上。首先，在TensorFlow的網路開發指南上，將TensorFlow編寫的網路分為3種編譯方法：

• 基於TensorFlow的幾個典型網路，有收入計算棒的示例網路中的網路比如mobilenet等，可以直接下載TensorFlow的原始碼和weight儲存檔案，將其固化成graph使用。具體的操作方法在指南中有附。可以在GitHub上查詢支援的網路
  支援網路。
• 基於TensorFlow-slim搭建的網路，slim是TensorFlow的一個API，基於這個API搭建的網路的編譯方法，但是因為我不熟悉Slim這個API，所以我也沒有用
• 基於TensorFlow自行搭建的網路，多數開發者用的可能是這種網路。自行訓練的網路需要將網路結構和引數儲存成xxx.ckpt 檔案，這個檔案將被轉換成擁有輸入節點和輸出節點的新的網路結構xxx_inference.ckpt,最後再由xxx_inference.meta檔案編譯成graph檔案。在TensorFlow開發指南上有說明網路的修改方法，主要是：

（1）新增輸入節點，並命名（命名這點很重要，因為編譯器是靠名字找到輸入節點和輸出節點的）

（2）修改網路結構，去掉dropout層 

（3）新增輸出節點並命名（輸出節點一定要命名，並且不能將網路的最後一個節點直接作為輸出節點，這個我也不知道為什麼，但是直接將網路的最後一個節點作為輸出節點報錯了） 

（4）重新載入之前網路的.ckpt檔案，生成一個新的有輸入節點和輸出節點的網路的ckpt檔案   

（5）最後編譯(如果你所有的操作都做了，但是不一定能編譯通過，因為計算棒的編譯器並不是支援TensorFlow所有的函式，如果你用了它不支援的函式。。。。。就會報錯找不到此函式-錯誤號5，但是如果通過了，基本上就可以用了)

mvNCCompile mnist_inference.meta -s 12 -in 輸入節點名 -on 輸出節點名 -o xxx.graph

 （6）呼叫自己生成的graph來測試graph，在這裡我們發現了graph檔案只能輸出一維陣列。。。。。所以設計網路時要確定自己的輸出是有效的 

       在這次開發中，我使用的是YOLO_small網路，網路工作是圈出影象中人的位置。這是一個簡單模型，使用TensorFlow自行編寫，選擇第三種編譯方式。本身模型更改並不難，但是在編譯過程中遇到了很多的問題，比如TensorFlow的函式計算棒不支援、找不到輸出節點、輸出的資料格式不支援等等。

        好在使用的編譯器ncsdk2.0.5支援了Tiny_YOLO_V2網路，因此我在Tiny_YOYLO_v2網路上進行了修改編譯，最終生成了可用的grapy。之後會儲存提交整個文件，包含Tiny_YOLO_V2網路的編譯、呼叫檔案，以及自己修改的mnist的示例程式碼以供參考。

最後說一下計算棒的使用體驗。目前來講，我覺得英特爾計算棒的開發工作還在一個起步階段，它的編譯、糾錯等方面還沒有形成系統，使用者遇到問題需要花很大的力氣查錯，而網路上計算棒的使用帖少之又少。而且計算棒支援的網路比較少，應用還比較窄，因此目前還有很多侷限，建議開發者使用計算棒支援的網路進行開發，這樣可以規避很多漏洞。鳴謝和我一起開發的師兄，給了我很多指導。