使用Caffe 增加自定义 Layer 及其 ProtoBuffer 参数

在使用 Caffe 过程中经常会有这样的需求：已有 Layer 不符合我的应用场景；我需要这样这样的功能，原版代码没有实现；或者已经实现但效率太低，我有更好的实现。

方案一：简单粗暴的解法——偷天换日

如果你对 ConvolutionLayer 的实现不满意，那就直接改这两个文件：$CAFFE_ROOT/include/caffe/layers/conv_layer.hpp 和 $CAFFE_ROOT/src/caffe/layers/conv_layer.cpp 或 conv_layer.cu ，将 im2col + gemm 替换为你自己的实现（比如基于 winograd 算法的实现）。

优点：快速迭代，不需要对 Caffe 框架有过多了解，糙快狠准。

缺点：代码难维护，不能 merge 到 caffe master branch，容易给使用代码的人带来困惑（效果和 #define TRUE false 差不多）。

方案二：稍微温柔的解法——千人千面

和方案一类似，只是通过预编译宏来确定使用哪种实现。例如可以保留 ConvolutionLayer 默认实现，同时在代码中增加如下段：

[cpp]  view plain  copy    

1. #ifdef SWITCH_MY_IMPLEMENTATION  
2. // 你的实现代码  
3. #else  
4. // 默认代码  
5. #endif  

这样可以在需要使用该 Layer 的代码中，增加宏定义：

[cpp]  view plain  copy    

1. #define SWITCH_MY_IMPLEMENTATION  

就可以使用你的实现。而未定义该宏的代码，仍然使用原版实现。

优点：可以在新旧实现代码之间灵活切换；

缺点：每次切换需要重新编译；

方案三：优雅转身——山路十八弯

同一个功能的 Layer 有不同实现，希望能灵活切换又不需要重新编译代码，该如何实现？

这时不得不使用 ProtoBuffer 工具了。

首先，要把你的实现，要像正常的 Layer 类一样，分解为声明部分和实现部分，分别放在 .hpp 与 .cpp、.cu 中。Layer 名称要起一个能区别于原版实现的新名称。.hpp 文件置于 $CAFFE_ROOT/include/caffe/layers/，而 .cpp 和 .cu 置于 $CAFFE_ROOT/src/caffe/layers/，这样你在 $CAFFE_ROOT 下执行 make 编译时，会自动将这些文件加入构建过程，省去了手动设置编译选项的繁琐流程。

其次，在 $CAFFE_ROOT/src/caffe/proto/caffe.proto 中，增加新 LayerParameter 选项，这样你在编写 train.prototxt 或者 test.prototxt 或者 deploy.prototxt 时就能把新 Layer 的描述写进去，便于修改网络结构和替换其他相同功能的 Layer 了。

最后也是最容易忽视的一点，在 Layer 工厂注册新 Layer 加工函数，不然在你运行过程中可能会报如下错误：

[plain]  view plain  copy    

1. F1002 01:51:22.656038 1954701312 layer_factory.hpp:81] Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: AllPass (known types: AbsVal, Accuracy, ArgMax, BNLL, BatchNorm, BatchReindex, Bias, Concat, ContrastiveLoss, Convolution, Crop, Data, Deconvolution, Dropout, DummyData, ELU, Eltwise, Embed, EuclideanLoss, Exp, Filter, Flatten, HDF5Data, HDF5Output, HingeLoss, Im2col, ImageData, InfogainLoss, InnerProduct, Input, LRN, Log, MVN, MemoryData, MultinomialLogisticLoss, PReLU, Pooling, Power, ReLU, Reduction, Reshape, SPP, Scale, Sigmoid, SigmoidCrossEntropyLoss, Silence, Slice, Softmax, SoftmaxWithLoss, Split, TanH, Threshold, Tile, WindowData)  
2. *** Check failure stack trace: ***  
3.     @        0x10243154e  google::LogMessage::Fail()  
4.     @        0x102430c53  google::LogMessage::SendToLog()  
5.     @        0x1024311a9  google::LogMessage::Flush()  
6.     @        0x1024344d7  google::LogMessageFatal::~LogMessageFatal()  
7.     @        0x10243183b  google::LogMessageFatal::~LogMessageFatal()  
8.     @        0x102215356  caffe::LayerRegistry<>::CreateLayer()  
9.     @        0x102233ccf  caffe::Net<>::Init()  
10.     @        0x102235996  caffe::Net<>::Net()  
11.     @        0x102118d8b  time()  
12.     @        0x102119c9a  main  
13.     @     0x7fff851285ad  start  
14.     @                0x4  (unknown)  
15. Abort trap: 6  

下面给出一个实际案例，走一遍方案三的流程。

这里我们实现一个新 Layer，名称为 AllPassLayer，顾名思义就是全通 Layer，“全通”借鉴于信号处理中的全通滤波器，将信号无失真地从输入转到输出。

虽然这个 Layer 并没有什么卵用，但是在这个基础上增加你的处理是非常简单的事情。另外也是出于实验考虑，全通层的 Forward/Backward 函数非常简单不需要读者有任何高等数学和求导的背景知识。读者使用该层时可以插入到任何已有网络中，而不会影响训练、预测的准确性。

首先看头文件：

[cpp]  view plain  copy    

1. #ifndef CAFFE_ALL_PASS_LAYER_HPP_  
2. #define CAFFE_ALL_PASS_LAYER_HPP_  
3.   
4. #include <vector>  
5.   
6. #include "caffe/blob.hpp"  
7. #include "caffe/layer.hpp"  
8. #include "caffe/proto/caffe.pb.h"  
9.   
10. #include "caffe/layers/neuron_layer.hpp"  
11.   
12. namespace caffe {  
13. template <typename Dtype>  
14. class AllPassLayer : public NeuronLayer<Dtype> {  
15.  public:  
16.   explicit AllPassLayer(const LayerParameter& param)  
17.       : NeuronLayer<Dtype>(param) {}  
18.   
19.   virtual inline const char* type() const { return "AllPass"; }  
20.   
21.  protected:  
22.   
23.   virtual void Forward_cpu(const vector<Blob<Dtype>*>& bottom,  
24.       const vector<Blob<Dtype>*>& top);  
25.   virtual void Forward_gpu(const vector<Blob<Dtype>*>& bottom,  
26.       const vector<Blob<Dtype>*>& top);  
27.   virtual void Backward_cpu(const vector<Blob<Dtype>*>& top,  
28.       const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);  
29.   virtual void Backward_gpu(const vector<Blob<Dtype>*>& top,  
30.       const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);  
31. };  
32.   
33. }  // namespace caffe  
34.   
35. #endif  // CAFFE_ALL_PASS_LAYER_HPP_  

再看源文件：

[cpp]  view plain  copy    

1. #include <algorithm>  
2. #include <vector>  
3.   
4. #include "caffe/layers/all_pass_layer.hpp"  
5.   
6. #include <iostream>  
7. using namespace std;  
8. #define DEBUG_AP(str) cout<<str<<endl  
9. namespace caffe {  
10.   
11. template <typename Dtype>  
12. void AllPassLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,  
13.     const vector<Blob<Dtype>*>& top) {  
14.   const Dtype* bottom_data = bottom[0]->cpu_data();  
15.   Dtype* top_data = top[0]->mutable_cpu_data();  
16.   const int count = bottom[0]->count();  
17.   for (int i = 0; i < count; ++i) {  
18.     top_data[i] = bottom_data[i];  
19.   }  
20.   DEBUG_AP("Here is All Pass Layer, forwarding.");  
21.   DEBUG_AP(this->layer_param_.all_pass_param().key());  
22. }  
23.   
24. template <typename Dtype>  
25. void AllPassLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,  
26.     const vector<bool>& propagate_down,  
27.     const vector<Blob<Dtype>*>& bottom) {  
28.   if (propagate_down[0]) {  
29.     const Dtype* bottom_data = bottom[0]->cpu_data();  
30.     const Dtype* top_diff = top[0]->cpu_diff();  
31.     Dtype* bottom_diff = bottom[0]->mutable_cpu_diff();  
32.     const int count = bottom[0]->count();  
33.     for (int i = 0; i < count; ++i) {  
34.       bottom_diff[i] = top_diff[i];  
35.     }  
36.   }  
37.   DEBUG_AP("Here is All Pass Layer, backwarding.");  
38.   DEBUG_AP(this->layer_param_.all_pass_param().key());  
39. }  
40.   
41.   
42. #ifdef CPU_ONLY  
43. STUB_GPU(AllPassLayer);  
44. #endif  
45.   
46. INSTANTIATE_CLASS(AllPassLayer);  
47. REGISTER_LAYER_CLASS(AllPass);  
48. }  // namespace caffe  

时间考虑，我没有实现 GPU 模式的 forward、backward，故本文例程仅支持 CPU_ONLY 模式。

编辑 caffe.proto，找到 LayerParameter 描述，增加一项：

[cpp]  view plain  copy    

1. message LayerParameter {  
2.   optional string name = 1; // the layer name  
3.   optional string type = 2; // the layer type  
4.   repeated string bottom = 3; // the name of each bottom blob  
5.   repeated string top = 4; // the name of each top blob  
6.   
7.   // The train / test phase for computation.  
8.   optional Phase phase = 10;  
9.   
10.   // The amount of weight to assign each top blob in the objective.  
11.   // Each layer assigns a default value, usually of either 0 or 1,  
12.   // to each top blob.  
13.   repeated float loss_weight = 5;  
14.   
15.   // Specifies training parameters (multipliers on global learning constants,  
16.   // and the name and other settings used for weight sharing).  
17.   repeated ParamSpec param = 6;  
18.   
19.   // The blobs containing the numeric parameters of the layer.  
20.   repeated BlobProto blobs = 7;  
21.   
22.   // Specifies on which bottoms the backpropagation should be skipped.  
23.   // The size must be either 0 or equal to the number of bottoms.  
24.   repeated bool propagate_down = 11;  
25.   
26.   // Rules controlling whether and when a layer is included in the network,  
27.   // based on the current NetState.  You may specify a non-zero number of rules  
28.   // to include OR exclude, but not both.  If no include or exclude rules are  
29.   // specified, the layer is always included.  If the current NetState meets  
30.   // ANY (i.e., one or more) of the specified rules, the layer is  
31.   // included/excluded.  
32.   repeated NetStateRule include = 8;  
33.   repeated NetStateRule exclude = 9;  
34.   
35.   // Parameters for data pre-processing.  
36.   optional TransformationParameter transform_param = 100;  
37.   
38.   // Parameters shared by loss layers.  
39.   optional LossParameter loss_param = 101;  
40.   
41.   // Layer type-specific parameters.  
42.   //  
43.   // Note: certain layers may have more than one computational engine  
44.   // for their implementation. These layers include an Engine type and  
45.   // engine parameter for selecting the implementation.  
46.   // The default for the engine is set by the ENGINE switch at compile-time.  
47.   optional AccuracyParameter accuracy_param = 102;  
48.   optional ArgMaxParameter argmax_param = 103;  
49.   optional BatchNormParameter batch_norm_param = 139;  
50.   optional BiasParameter bias_param = 141;  
51.   optional ConcatParameter concat_param = 104;  
52.   optional ContrastiveLossParameter contrastive_loss_param = 105;  
53.   optional ConvolutionParameter convolution_param = 106;  
54.   optional CropParameter crop_param = 144;  
55.   optional DataParameter data_param = 107;  
56.   optional DropoutParameter dropout_param = 108;  
57.   optional DummyDataParameter dummy_data_param = 109;  
58.   optional EltwiseParameter eltwise_param = 110;  
59.   optional ELUParameter elu_param = 140;  
60.   optional EmbedParameter embed_param = 137;  
61.   optional ExpParameter exp_param = 111;  
62.   optional FlattenParameter flatten_param = 135;  
63.   optional HDF5DataParameter hdf5_data_param = 112;  
64.   optional HDF5OutputParameter hdf5_output_param = 113;  
65.   optional HingeLossParameter hinge_loss_param = 114;  
66.   optional ImageDataParameter image_data_param = 115;  
67.   optional InfogainLossParameter infogain_loss_param = 116;  
68.   optional InnerProductParameter inner_product_param = 117;  
69.   optional InputParameter input_param = 143;  
70.   optional LogParameter log_param = 134;  
71.   optional LRNParameter lrn_param = 118;  
72.   optional MemoryDataParameter memory_data_param = 119;  
73.   optional MVNParameter mvn_param = 120;  
74.   optional PoolingParameter pooling_param = 121;  
75.   optional PowerParameter power_param = 122;  
76.   optional PReLUParameter prelu_param = 131;  
77.   optional PythonParameter python_param = 130;  
78.   optional ReductionParameter reduction_param = 136;  
79.   optional ReLUParameter relu_param = 123;  
80.   optional ReshapeParameter reshape_param = 133;  
81.   optional ScaleParameter scale_param = 142;  
82.   optional SigmoidParameter sigmoid_param = 124;  
83.   optional SoftmaxParameter softmax_param = 125;  
84.   optional SPPParameter spp_param = 132;  
85.   optional SliceParameter slice_param = 126;  
86.   optional TanHParameter tanh_param = 127;  
87.   optional ThresholdParameter threshold_param = 128;  
88.   optional TileParameter tile_param = 138;  
89.   optional WindowDataParameter window_data_param = 129;  
90.   optional AllPassParameter all_pass_param = 155;  
91. }  

注意新增数字不要和以前的 Layer 数字重复。

仍然在 caffe.proto 中，增加 AllPassParameter 声明，位置任意。我设定了一个参数，可以用于从 prototxt 中读取预设值。

[cpp]  view plain  copy    

1. message AllPassParameter {  
2.   optional float key = 1 [default = 0];  
3. }  

在 cpp 代码中，通过

[cpp]  view plain  copy    

1. this->layer_param_.all_pass_param().key()  

这句来读取 prototxt 预设值。

在 $CAFFE_ROOT 下执行 make clean，然后重新 make all。要想一次编译成功，务必规范代码，对常见错误保持敏锐的嗅觉并加以避免。

万事具备，只欠 prototxt 了。

不难，我们写个最简单的 deploy.prototxt，不需要 data layer 和 softmax layer，just for fun。

[cpp]  view plain  copy    

1. name: "AllPassTest"  
2. layer {  
3.   name: "data"  
4.   type: "Input"  
5.   top: "data"  
6.   input_param { shape: { dim: 10 dim: 3 dim: 227 dim: 227 } }  
7. }  
8. layer {  
9.   name: "ap"  
10.   type: "AllPass"  
11.   bottom: "data"  
12.   top: "conv1"  
13.   all_pass_param {  
14.     key: 12.88  
15.   }  
16. }  

注意，这里的 type ：后面写的内容，应该是你在 .hpp 中声明的新类 class name 去掉 Layer 后的名称。

上面设定了 key 这个参数的预设值为 12.88，嗯，你想到了刘翔对不对。

为了检验该 Layer 是否能正常创建和执行  forward, backward，我们运行 caffe time 命令并指定刚刚实现的 prototxt ：

[plain]  view plain  copy    

1. $ ./build/tools/caffe.bin time -model deploy.prototxt  
2. I1002 02:03:41.667682 1954701312 caffe.cpp:312] Use CPU.  
3. I1002 02:03:41.671360 1954701312 net.cpp:49] Initializing net from parameters:  
4. name: "AllPassTest"  
5. state {  
6.   phase: TRAIN  
7. }  
8. layer {  
9.   name: "data"  
10.   type: "Input"  
11.   top: "data"  
12.   input_param {  
13.     shape {  
14.       dim: 10  
15.       dim: 3  
16.       dim: 227  
17.       dim: 227  
18.     }  
19.   }  
20. }  
21. layer {  
22.   name: "ap"  
23.   type: "AllPass"  
24.   bottom: "data"  
25.   top: "conv1"  
26.   all_pass_param {  
27.     key: 12.88  
28.   }  
29. }  
30. I1002 02:03:41.671463 1954701312 layer_factory.hpp:77] Creating layer data  
31. I1002 02:03:41.671484 1954701312 net.cpp:91] Creating Layer data  
32. I1002 02:03:41.671499 1954701312 net.cpp:399] data -> data  
33. I1002 02:03:41.671555 1954701312 net.cpp:141] Setting up data  
34. I1002 02:03:41.671566 1954701312 net.cpp:148] Top shape: 10 3 227 227 (1545870)  
35. I1002 02:03:41.671592 1954701312 net.cpp:156] Memory required for data: 6183480  
36. I1002 02:03:41.671605 1954701312 layer_factory.hpp:77] Creating layer ap  
37. I1002 02:03:41.671620 1954701312 net.cpp:91] Creating Layer ap  
38. I1002 02:03:41.671630 1954701312 net.cpp:425] ap <- data  
39. I1002 02:03:41.671644 1954701312 net.cpp:399] ap -> conv1  
40. I1002 02:03:41.671663 1954701312 net.cpp:141] Setting up ap  
41. I1002 02:03:41.671674 1954701312 net.cpp:148] Top shape: 10 3 227 227 (1545870)  
42. I1002 02:03:41.671685 1954701312 net.cpp:156] Memory required for data: 12366960  
43. I1002 02:03:41.671695 1954701312 net.cpp:219] ap does not need backward computation.  
44. I1002 02:03:41.671705 1954701312 net.cpp:219] data does not need backward computation.  
45. I1002 02:03:41.671710 1954701312 net.cpp:261] This network produces output conv1  
46. I1002 02:03:41.671720 1954701312 net.cpp:274] Network initialization done.  
47. I1002 02:03:41.671746 1954701312 caffe.cpp:320] Performing Forward  
48. Here is All Pass Layer, forwarding.  
49. 12.88  
50. I1002 02:03:41.679689 1954701312 caffe.cpp:325] Initial loss: 0  
51. I1002 02:03:41.679714 1954701312 caffe.cpp:326] Performing Backward  
52. I1002 02:03:41.679738 1954701312 caffe.cpp:334] *** Benchmark begins ***  
53. I1002 02:03:41.679746 1954701312 caffe.cpp:335] Testing for 50 iterations.  
54. Here is All Pass Layer, forwarding.  
55. 12.88  
56. Here is All Pass Layer, backwarding.  
57. 12.88  
58. I1002 02:03:41.681139 1954701312 caffe.cpp:363] Iteration: 1 forward-backward time: 1 ms.  
59. Here is All Pass Layer, forwarding.  
60. 12.88  
61. Here is All Pass Layer, backwarding.  
62. 12.88  
63. I1002 02:03:41.682394 1954701312 caffe.cpp:363] Iteration: 2 forward-backward time: 1 ms.  
64. Here is All Pass Layer, forwarding.  
65. 12.88  
66. Here is All Pass Layer, backwarding.  
67. 12.88  
68. I1002 02:03:41.683653 1954701312 caffe.cpp:363] Iteration: 3 forward-backward time: 1 ms.  
69. Here is All Pass Layer, forwarding.  
70. 12.88  
71. Here is All Pass Layer, backwarding.  
72. 12.88  
73. I1002 02:03:41.685096 1954701312 caffe.cpp:363] Iteration: 4 forward-backward time: 1 ms.  
74. Here is All Pass Layer, forwarding.  
75. 12.88  
76. Here is All Pass Layer, backwarding.  
77. 12.88  
78. I1002 02:03:41.686326 1954701312 caffe.cpp:363] Iteration: 5 forward-backward time: 1 ms.  
79. Here is All Pass Layer, forwarding.  
80. 12.88  
81. Here is All Pass Layer, backwarding.  
82. 12.88  
83. I1002 02:03:41.687713 1954701312 caffe.cpp:363] Iteration: 6 forward-backward time: 1 ms.  
84. Here is All Pass Layer, forwarding.  
85. 12.88  
86. Here is All Pass Layer, backwarding.  
87. 12.88  
88. I1002 02:03:41.689038 1954701312 caffe.cpp:363] Iteration: 7 forward-backward time: 1 ms.  
89. Here is All Pass Layer, forwarding.  
90. 12.88  
91. Here is All Pass Layer, backwarding.  
92. 12.88  
93. I1002 02:03:41.690251 1954701312 caffe.cpp:363] Iteration: 8 forward-backward time: 1 ms.  
94. Here is All Pass Layer, forwarding.  
95. 12.88  
96. Here is All Pass Layer, backwarding.  
97. 12.88  
98. I1002 02:03:41.691548 1954701312 caffe.cpp:363] Iteration: 9 forward-backward time: 1 ms.  
99. Here is All Pass Layer, forwarding.  
100. 12.88  
101. Here is All Pass Layer, backwarding.  
102. 12.88  
103. I1002 02:03:41.692805 1954701312 caffe.cpp:363] Iteration: 10 forward-backward time: 1 ms.  
104. Here is All Pass Layer, forwarding.  
105. 12.88  
106. Here is All Pass Layer, backwarding.  
107. 12.88  
108. I1002 02:03:41.694056 1954701312 caffe.cpp:363] Iteration: 11 forward-backward time: 1 ms.  
109. Here is All Pass Layer, forwarding.  
110. 12.88  
111. Here is All Pass Layer, backwarding.  
112. 12.88  
113. I1002 02:03:41.695264 1954701312 caffe.cpp:363] Iteration: 12 forward-backward time: 1 ms.  
114. Here is All Pass Layer, forwarding.  
115. 12.88  
116. Here is All Pass Layer, backwarding.  
117. 12.88  
118. I1002 02:03:41.696761 1954701312 caffe.cpp:363] Iteration: 13 forward-backward time: 1 ms.  
119. Here is All Pass Layer, forwarding.  
120. 12.88  
121. Here is All Pass Layer, backwarding.  
122. 12.88  
123. I1002 02:03:41.698225 1954701312 caffe.cpp:363] Iteration: 14 forward-backward time: 1 ms.  
124. Here is All Pass Layer, forwarding.  
125. 12.88  
126. Here is All Pass Layer, backwarding.  
127. 12.88  
128. I1002 02:03:41.699653 1954701312 caffe.cpp:363] Iteration: 15 forward-backward time: 1 ms.  
129. Here is All Pass Layer, forwarding.  
130. 12.88  
131. Here is All Pass Layer, backwarding.  
132. 12.88  
133. I1002 02:03:41.700945 1954701312 caffe.cpp:363] Iteration: 16 forward-backward time: 1 ms.  
134. Here is All Pass Layer, forwarding.  
135. 12.88  
136. Here is All Pass Layer, backwarding.  
137. 12.88  
138. I1002 02:03:41.702761 1954701312 caffe.cpp:363] Iteration: 17 forward-backward time: 1 ms.  
139. Here is All Pass Layer, forwarding.  
140. 12.88  
141. Here is All Pass Layer, backwarding.  
142. 12.88  
143. I1002 02:03:41.704056 1954701312 caffe.cpp:363] Iteration: 18 forward-backward time: 1 ms.  
144. Here is All Pass Layer, forwarding.  
145. 12.88  
146. Here is All Pass Layer, backwarding.  
147. 12.88  
148. I1002 02:03:41.706471 1954701312 caffe.cpp:363] Iteration: 19 forward-backward time: 2 ms.  
149. Here is All Pass Layer, forwarding.  
150. 12.88  
151. Here is All Pass Layer, backwarding.  
152. 12.88  
153. I1002 02:03:41.708784 1954701312 caffe.cpp:363] Iteration: 20 forward-backward time: 2 ms.  
154. Here is All Pass Layer, forwarding.  
155. 12.88  
156. Here is All Pass Layer, backwarding.  
157. 12.88  
158. I1002 02:03:41.710043 1954701312 caffe.cpp:363] Iteration: 21 forward-backward time: 1 ms.  
159. Here is All Pass Layer, forwarding.  
160. 12.88  
161. Here is All Pass Layer, backwarding.  
162. 12.88  
163. I1002 02:03:41.711272 1954701312 caffe.cpp:363] Iteration: 22 forward-backward time: 1 ms.  
164. Here is All Pass Layer, forwarding.  
165. 12.88  
166. Here is All Pass Layer, backwarding.  
167. 12.88  
168. I1002 02:03:41.712528 1954701312 caffe.cpp:363] Iteration: 23 forward-backward time: 1 ms.  
169. Here is All Pass Layer, forwarding.  
170. 12.88  
171. Here is All Pass Layer, backwarding.  
172. 12.88  
173. I1002 02:03:41.713964 1954701312 caffe.cpp:363] Iteration: 24 forward-backward time: 1 ms.  
174. Here is All Pass Layer, forwarding.  
175. 12.88  
176. Here is All Pass Layer, backwarding.  
177. 12.88  
178. I1002 02:03:41.715248 1954701312 caffe.cpp:363] Iteration: 25 forward-backward time: 1 ms.  
179. Here is All Pass Layer, forwarding.  
180. 12.88  
181. Here is All Pass Layer, backwarding.  
182. 12.88  
183. I1002 02:03:41.716487 1954701312 caffe.cpp:363] Iteration: 26 forward-backward time: 1 ms.  
184. Here is All Pass Layer, forwarding.  
185. 12.88  
186. Here is All Pass Layer, backwarding.  
187. 12.88  
188. I1002 02:03:41.717725 1954701312 caffe.cpp:363] Iteration: 27 forward-backward time: 1 ms.  
189. Here is All Pass Layer, forwarding.  
190. 12.88  
191. Here is All Pass Layer, backwarding.  
192. 12.88  
193. I1002 02:03:41.718962 1954701312 caffe.cpp:363] Iteration: 28 forward-backward time: 1 ms.  
194. Here is All Pass Layer, forwarding.  
195. 12.88  
196. Here is All Pass Layer, backwarding.  
197. 12.88  
198. I1002 02:03:41.720289 1954701312 caffe.cpp:363] Iteration: 29 forward-backward time: 1 ms.  
199. Here is All Pass Layer, forwarding.  
200. 12.88  
201. Here is All Pass Layer, backwarding.  
202. 12.88  
203. I1002 02:03:41.721837 1954701312 caffe.cpp:363] Iteration: 30 forward-backward time: 1 ms.  
204. Here is All Pass Layer, forwarding.  
205. 12.88  
206. Here is All Pass Layer, backwarding.  
207. 12.88  
208. I1002 02:03:41.723042 1954701312 caffe.cpp:363] Iteration: 31 forward-backward time: 1 ms.  
209. Here is All Pass Layer, forwarding.  
210. 12.88  
211. Here is All Pass Layer, backwarding.  
212. 12.88  
213. I1002 02:03:41.724261 1954701312 caffe.cpp:363] Iteration: 32 forward-backward time: 1 ms.  
214. Here is All Pass Layer, forwarding.  
215. 12.88  
216. Here is All Pass Layer, backwarding.  
217. 12.88  
218. I1002 02:03:41.725587 1954701312 caffe.cpp:363] Iteration: 33 forward-backward time: 1 ms.  
219. Here is All Pass Layer, forwarding.  
220. 12.88  
221. Here is All Pass Layer, backwarding.  
222. 12.88  
223. I1002 02:03:41.726771 1954701312 caffe.cpp:363] Iteration: 34 forward-backward time: 1 ms.  
224. Here is All Pass Layer, forwarding.  
225. 12.88  
226. Here is All Pass Layer, backwarding.  
227. 12.88  
228. I1002 02:03:41.728013 1954701312 caffe.cpp:363] Iteration: 35 forward-backward time: 1 ms.  
229. Here is All Pass Layer, forwarding.  
230. 12.88  
231. Here is All Pass Layer, backwarding.  
232. 12.88  
233. I1002 02:03:41.729249 1954701312 caffe.cpp:363] Iteration: 36 forward-backward time: 1 ms.  
234. Here is All Pass Layer, forwarding.  
235. 12.88  
236. Here is All Pass Layer, backwarding.  
237. 12.88  
238. I1002 02:03:41.730716 1954701312 caffe.cpp:363] Iteration: 37 forward-backward time: 1 ms.  
239. Here is All Pass Layer, forwarding.  
240. 12.88  
241. Here is All Pass Layer, backwarding.  
242. 12.88  
243. I1002 02:03:41.732275 1954701312 caffe.cpp:363] Iteration: 38 forward-backward time: 1 ms.  
244. Here is All Pass Layer, forwarding.  
245. 12.88  
246. Here is All Pass Layer, backwarding.  
247. 12.88  
248. I1002 02:03:41.733809 1954701312 caffe.cpp:363] Iteration: 39 forward-backward time: 1 ms.  
249. Here is All Pass Layer, forwarding.  
250. 12.88  
251. Here is All Pass Layer, backwarding.  
252. 12.88  
253. I1002 02:03:41.735049 1954701312 caffe.cpp:363] Iteration: 40 forward-backward time: 1 ms.  
254. Here is All Pass Layer, forwarding.  
255. 12.88  
256. Here is All Pass Layer, backwarding.  
257. 12.88  
258. I1002 02:03:41.737144 1954701312 caffe.cpp:363] Iteration: 41 forward-backward time: 2 ms.  
259. Here is All Pass Layer, forwarding.  
260. 12.88  
261. Here is All Pass Layer, backwarding.  
262. 12.88  
263. I1002 02:03:41.739090 1954701312 caffe.cpp:363] Iteration: 42 forward-backward time: 1 ms.  
264. Here is All Pass Layer, forwarding.  
265. 12.88  
266. Here is All Pass Layer, backwarding.  
267. 12.88  
268. I1002 02:03:41.741575 1954701312 caffe.cpp:363] Iteration: 43 forward-backward time: 2 ms.  
269. Here is All Pass Layer, forwarding.  
270. 12.88  
271. Here is All Pass Layer, backwarding.  
272. 12.88  
273. I1002 02:03:41.743450 1954701312 caffe.cpp:363] Iteration: 44 forward-backward time: 1 ms.  
274. Here is All Pass Layer, forwarding.  
275. 12.88  
276. Here is All Pass Layer, backwarding.  
277. 12.88  
278. I1002 02:03:41.744732 1954701312 caffe.cpp:363] Iteration: 45 forward-backward time: 1 ms.  
279. Here is All Pass Layer, forwarding.  
280. 12.88  
281. Here is All Pass Layer, backwarding.  
282. 12.88  
283. I1002 02:03:41.745970 1954701312 caffe.cpp:363] Iteration: 46 forward-backward time: 1 ms.  
284. Here is All Pass Layer, forwarding.  
285. 12.88  
286. Here is All Pass Layer, backwarding.  
287. 12.88  
288. I1002 02:03:41.747185 1954701312 caffe.cpp:363] Iteration: 47 forward-backward time: 1 ms.  
289. Here is All Pass Layer, forwarding.  
290. 12.88  
291. Here is All Pass Layer, backwarding.  
292. 12.88  
293. I1002 02:03:41.748430 1954701312 caffe.cpp:363] Iteration: 48 forward-backward time: 1 ms.  
294. Here is All Pass Layer, forwarding.  
295. 12.88  
296. Here is All Pass Layer, backwarding.  
297. 12.88  
298. I1002 02:03:41.749826 1954701312 caffe.cpp:363] Iteration: 49 forward-backward time: 1 ms.  
299. Here is All Pass Layer, forwarding.  
300. 12.88  
301. Here is All Pass Layer, backwarding.  
302. 12.88  
303. I1002 02:03:41.751124 1954701312 caffe.cpp:363] Iteration: 50 forward-backward time: 1 ms.  
304. I1002 02:03:41.751147 1954701312 caffe.cpp:366] Average time per layer:  
305. I1002 02:03:41.751157 1954701312 caffe.cpp:369]       data  forward: 0.00108 ms.  
306. I1002 02:03:41.751183 1954701312 caffe.cpp:372]       data  backward: 0.001 ms.  
307. I1002 02:03:41.751194 1954701312 caffe.cpp:369]         ap  forward: 1.37884 ms.  
308. I1002 02:03:41.751205 1954701312 caffe.cpp:372]         ap  backward: 0.01156 ms.  
309. I1002 02:03:41.751220 1954701312 caffe.cpp:377] Average Forward pass: 1.38646 ms.  
310. I1002 02:03:41.751231 1954701312 caffe.cpp:379] Average Backward pass: 0.0144 ms.  
311. I1002 02:03:41.751240 1954701312 caffe.cpp:381] Average Forward-Backward: 1.42 ms.  
312. I1002 02:03:41.751250 1954701312 caffe.cpp:383] Total Time: 71 ms.  
313. I1002 02:03:41.751260 1954701312 caffe.cpp:384] *** Benchmark ends ***  

可见该 Layer 可以正常创建、加载预设参数、执行 forward、backward 函数。

实际上对于算法 Layer，还要写 Test Case 保证功能正确。由于我们选择了极为简单的全通 Layer，故这一步可以省去。