caffe多工、多標籤
解決的目標問題：多分類問題，比如車輛的外形和顏色，蘋果的大小和顏色；多工：車牌角點的定位和車牌的顏色。定位在技術上屬於迴歸，車牌顏色判斷則屬於分類。
技術點
caffe預設是單輸入任務單標籤的，也就是一個樣本，其任務只有一個，標籤只有一個，比如圖片是什麼顏色，圖片是什麼物體。
# ${caffe_src_root}/tools/convert_imageset.cpp 第121行 status = ReadImageToDatum(root_folder + lines[line_id].first, lines[line_id].second, resize_height, resize_width, is_color, enc, &datum); ## 其中 ReadImageToDatum的定義如下 ${caffe_src_root}/include/caffe/util/io.hpp bool ReadImageToDatum(const string& filename, const int label, const int height, const int width, const bool is_color, const std::string & encoding, Datum* datum); ## ${caffe_src_root}/src/caffe/util/io.cpp 中的該函式實現，涉及到Datum的定義，需要把Datum定義修改成也要支援多標籤 bool ReadImageToDatum(const string& filename, const int label, const int height, const int width, const bool is_color, const std::string & encoding, Datum* datum) { cv::Mat cv_img = ReadImageToCVMat(filename, height, width, is_color); if (cv_img.data) { if (encoding.size()) { if ( (cv_img.channels() == 3) == is_color && !height && !width && matchExt(filename, encoding) ) return ReadFileToDatum(filename, label, datum); std::vector<uchar> buf; cv::imencode("."+encoding, cv_img, buf); datum->set_data(std::string(reinterpret_cast<char*>(&buf[0]), buf.size())); datum->set_label(label); datum->set_encoded(true); return true; } CVMatToDatum(cv_img, datum); datum->set_label(label); return true; } else { return false; } }為了支援多工，多標籤，首先要解決輸入問題。比如一個樣本 定義如下：
vehicle/1.jpg 0 1
修改原始碼支援多標籤
其中第一個屬性是車輛外形，0代表sedian，第二個屬性是車身顏色，1代表白色。假如圖片是60x60的RGB影象， 如果是單任務多屬性輸入，一個簡單的更改方案是把ReadImageToDatum函式修改成如下定義，並修改相關的實現函式和convert_imageset.cpp
bool ReadImageToDatum(const string& filename, const vector<int> & labels, const int height, const int width, const bool is_color, const std::string & encoding, Datum* datum);
faster rcnn採用自定義的python輸入層作用訓練輸入，輸入有多個labels，檢測目標的roi，其中bbox_targets, bbox_inside_weights, bbox_outside_weights是作為SmoothL1Loss損失函式的輸入。自定義python輸入層的原始碼參考 py-faster-rcnn/lib/roi_data_layer/
name: "VGG_ILSVRC_16_layers" layer { name: 'data' type: 'Python' top: 'data' top: 'rois' top: 'labels' top: 'bbox_targets' top: 'bbox_inside_weights' top: 'bbox_outside_weights' python_param { module: 'roi_data_layer.layer' layer: 'RoIDataLayer' param_str: "'num_classes': 21" } }
從https://github.com/HolidayXue/CodeSnap/blob/master/convert_multilabel.cpp原始碼修改，儲存到${caffe_root}/tools/convert_multi_label_imageset.cpp，重新編譯caffe工程，在${caffe_root}目錄下執行該工具，
.build_release/tools/convert_multi_label_imageset.bin -resize_width=256 -resize_height=256 ~/my\ workspace/bounding-box-tool/mlds/train.list /train-data/vehicle-type-color-dataset/
多資料來源輸入支援多標籤
假設對於HxW的RGB影象，轉換成caffe的blob定義上1x3xHxW，對於一個任務的有n個標籤，則其blob定義是1xnx1x1，每個任務對應一個blob，？？？那麼可以在在第二維度對兩個blob進行拼接？？？
拼接之後再從第二維度對blob進行切分操作，切分出多個blob，作為每個屬性訓練任務的輸入
拼接之後進行常規的卷積操作，只是在最後的每個任務的損失函式之前的fc層再切分，如下圖
訓練
參考faster-rcnn的模型，可以看到損失函式是相互獨立的，但多了一個weight引數，猜測是caffe在訓練時，按下面的公式計算總的損失
Lt = w1*L1 + w2 * L2
faster-rcnn中經過一系列卷積層後，連線了一個ROIPooling層，再接上FC6、FC7層，從最後一個FC7層一分為2，分別接一個cls_score的FC層和名為loss_cls的SoftMaxWithLoss，接bbox_pred的FC層和名為loss_bbox的SmoothL1Loss的迴歸層
參考：
https://arxiv.org/abs/1604.02878v1
https://kpzhang93.github.io/MTCNN_face_detection_alignment/index.html?from=timeline&isappinstalled=1
https://kpzhang93.github.io/MTCNN_face_detection_alignment/paper/spl.pdf
https://github.com/happynear/MTCNN_face_detection_alignment
https://github.com/naritapandhe/Gender-Age-Classification-CNN
https://github.com/cunjian/multitask_CNN
https://zhuanlan.zhihu.com/p/22190532
https://github.com/rbgirshick/py-faster-rcnn/blob/master/models/pascal_voc/VGG16/fast_rcnn/train.prototxt
${caffe_source_root}/examples/pascal-multilabel-with-datalayer.ipynb
http://www.cnblogs.com/yymn/articles/7741741.html
https://yq.aliyun.com/ziliao/572047
https://blog.csdn.net/u013010889/article/details/53098346
caffe網路線上視覺化工具: http://ethereon.github.io/netscope/#/editor