openpose訓練程式碼（一）
阿新 • • 發佈：2019-01-01
openspoe本身是很繁雜的，包含了人體姿態估計、手勢估計、臉部關鍵點提取，還有3Dpose，是在caffe上再做的一層封裝，但是如果我們實際要去用的話，很多其實都是不需要的，比如openpose裡面的多執行緒，GUI等等，我們只需要關注一些核心的東西就好了。
在這裡，我們只關心openpose中的人體關鍵點估計，其實在上一篇部落格中，我們可以大致瞭解到，Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields就是CVPR6016的CPM加上PAF，inference是很直觀的，就是提取關鍵點，算PAF積分，再把關鍵點放到每個group（就是確定是不是同一個人）完成多人的姿態估計。
訓練程式碼，其實主要就是看資料準備和資料讀取，主要包括幾個檔案：
資料讀取檔案：
cpm_data_layer.cpp
cpm_data_transformer.cpp資料準備檔案：
genCOCOMask.m
genJSON.m
genLMDB.py
getANNO.mcpm_data_layer和cpm_data_transformer都是在caffe中實現的，要理清楚這兩個檔案，我們需要先看一下資料準備是怎麼做的，這裡，也只是關注LMDB檔案是怎麼生成的，因為其他的都比較簡單（其實生成LMDB也蠻簡單的，但是作者這部分寫的有點亂，需要靜心好好梳理）可以自行查閱。
在genLMDB.py中，把事先處理好的資料都寫入LMDB中，其中有一個函式writeLMDB,這個函式就是逐行，逐頁面（這裡的頁面可以理解長channel，因為在讀取的時候都是利用指標移動）來寫入的：
def writeLMDB(datasets, lmdb_path, validation):
env = lmdb.open(lmdb_path, map_size=int(1e12)) # 需要先建立一個空資料夾用來放LMDB檔案，大概需要140G
txn = env.begin(write=True)
data = []
numSample = 0
for d in range(len(datasets)):
if(datasets[d] == "MPI"):
print datasets[d]
with 在上述Python程式碼過後，就會生成訓練所需要的LMDB檔案，在實際的使用過程中，需要重新寫caffe的data_layer,關於caffe的data_layer ,可以參考我之前的一篇部落格： http://mp.blog.csdn.net/mdeditor/77987504
下面是cpm_data_layer和cpm_data_transformer，其實cpm_data_layer主要就是layer的建立，主要的資料轉化都是在cpm_data_transformer中完成的。
先看cpm_data_layer的setup函式（程式碼有些細微地方我可能改過）：
template <typename Dtype>
void CPMDataLayer<Dtype>::DataLayerSetUp(const vector<Blob<Dtype>*>& bottom,
const vector<Blob<Dtype>*>& top) {
cpm_data_transformer_.reset(
new CPMDataTransformer<Dtype>(cpm_transform_param_, this->phase_));
cpm_data_transformer_->InitRand();
// Read a data point, and use it to initialize the top blob.
Datum& datum = *(reader_.full().peek());
LOG(INFO) << datum.height() << " " << datum.width() << " " << datum.channels();
bool force_color = this->layer_param_.data_param().force_encoded_color();
if ((force_color && DecodeDatum(&datum, true)) ||
DecodeDatumNative(&datum)) {
LOG(INFO) << "Decoding Datum";
}
// image
const int crop_size = this->layer_param_.cpm_transform_param().crop_size();
const int batch_size = this->layer_param_.data_param().batch_size();
if (crop_size > 0) {
// top[0]->Reshape(batch_size, datum.channels(), crop_size, crop_size);
// for (int i = 0; i < this->PREFETCH_COUNT; ++i) {
// this->prefetch_[i].data_.Reshape(batch_size, datum.channels(), crop_size, crop_size);
// }
// //this->transformed_data_.Reshape(1, 4, crop_size, crop_size);
// this->transformed_data_.Reshape(1, 6, crop_size, crop_size);
}
else {
const int height = this->phase_ != TRAIN ? datum.height() :
this->layer_param_.cpm_transform_param().crop_size_y();
const int width = this->phase_ != TRAIN ? datum.width() :
this->layer_param_.cpm_transform_param().crop_size_x();
LOG(INFO) << "PREFETCH_COUNT is " << this->PREFETCH_COUNT; // asynchronously if to GPU memory
top[0]->Reshape(batch_size, datum.channels(), height, width);
for (int i = 0; i < this->PREFETCH_COUNT; ++i) {
this->prefetch_[i].data_.Reshape(batch_size, datum.channels(), height, width); // 10,6,368,368
}
//this->transformed_data_.Reshape(1, 4, height, width);
this->transformed_data_.Reshape(1, datum.channels(), height, width); // 1,6,368,368
}
LOG(INFO) << "output data size: " << top[0]->num() << ","
<< top[0]->channels() << "," << top[0]->height() << ","
<< top[0]->width(); // 10,6,368,368
// label
if (this->output_labels_) {
const int stride = this->layer_param_.cpm_transform_param().stride(); // 8,重要
const int height = this->phase_ != TRAIN ? datum.height() :
this->layer_param_.cpm_transform_param().crop_size_y();
const int width = this->phase_ != TRAIN ? datum.width() :
this->layer_param_.cpm_transform_param().crop_size_x();
int num_parts = this->layer_param_.cpm_transform_param().num_parts(); // 56
top[1]->Reshape(batch_size, 2*(num_parts+1), height/stride, width/stride);
for (int i = 0; i < this->PREFETCH_COUNT; ++i) {
this->prefetch_[i].label_.Reshape(batch_size, 2*(num_parts+1), height/stride, width/stride); // 10,114,46,46
}
this->transformed_label_.Reshape(1, 2*(num_parts+1), height/stride, width/stride); // 1,114,46,46
}
}在這個函式中，主要是就一些超引數的讀取，和資料輸出格式的規定。
關鍵的是load_batch 函式，我截取了一部分：
// Apply data transformations (mirror, scale, crop...)
timer.Start();
const int offset_data = batch->data_.offset(item_id);
const int offset_label = batch->label_.offset(item_id);
this->transformed_data_.set_cpu_data(top_data + offset_data);
this->transformed_label_.set_cpu_data(top_label + offset_label);
if (datum.encoded()) {
this->cpm_data_transformer_->Transform(cv_img, &(this->transformed_data_));
} else {
this->cpm_data_transformer_->Transform_nv(datum,
&(this->transformed_data_),
&(this->transformed_label_), cnt);
++cnt;
}
// if (this->output_labels_) {
// top_label[item_id] = datum.label();
// }
trans_time += timer.MicroSeconds();