在深度學習中，學習率對於我們是否可以快速找到區域性最小值小值非常重要，而caffe為我們提供瞭如下學習率:

• fixed:　　 保持base_lr不變.

• step: 　　 如果設定為step,則還需要設定一個stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示當前的迭代次數

• exp:   　　返回base_lr * gamma ^ iter， iter為當前迭代次數

• inv:　　    如果設定為inv,還需要設定一個power, 返回base_lr * (1 + gamma * iter) ^ (- power)

• multistep: 如果設定為multistep,則還需要設定一個stepvalue。這個引數和step很相似，step是均勻等間隔變化，而multistep則是根據                                 stepvalue值變化

• poly: 　　  學習率進行多項式誤差, 返回 base_lr (1 - iter/max_iter) ^ (power)

• sigmoid:　學習率進行sigmod衰減，返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))