Fast R-CNN

首先声明：本文很多内容来自两个博客： RCNN, Fast-RCNN, Faster-RCNN的一些事目标检测--从RCNN到Faster RCNN 串烧 。

先回归一下： R-CNN ,SPP-net

R-CNN和SPP-net在训练时pipeline是隔离的：提取proposal，CNN提取特征，SVM分类，bbox regression。

Fast R-CNN 两大主要贡献点 ：

• 1 实现大部分end-to-end训练(提proposal阶段除外)： 所有的特征都暂存在显存中，就不需要额外的磁盘空。
  • joint training （SVM分类，bbox回归 联合起来在CNN阶段训练）把最后一层的Softmax换成两个，一个是对区域的分类Softmax（包括背景），另一个是对bounding box的微调。这个网络有两个输入，一个是整张图片，另一个是候选proposals算法产生的可能proposals的坐标。（对于SVM和Softmax，论文在SVM和Softmax的对比实验中说明，SVM的优势并不明显，故直接用Softmax将整个网络整合训练更好。对于联合训练： 同时利用了分类的监督信息和回归的监督信息，使得网络训练的更加鲁棒，效果更好。这两种信息是可以有效联合的。）
• 2 提出了一个RoI层，算是SPP的变种，SPP是pooling成多个固定尺度，RoI只pooling到单个固定的尺度 （论文通过实验得到的结论是多尺度学习能提高一点点mAP，不过计算量成倍的增加，故单尺度训练的效果更好。）

其它贡献点：

• 指出SPP-net训练时的不足之处，并提出新的训练方式，就是把 同张图片的proposals作为一批进行学习，而proposals的坐标直接映射到conv5层上，这样相当于一个batch一张图片的所以训练样本只卷积了一次。文章提出他们通过这样的训练方式或许存在不收敛的情况，不过实验发现，这种情况并没有发生。这样加快了训练速度。 （ 实际训练时，一个batch训练两张图片，每张图片训练64个RoIs（Region of Interest））

注意点：

• 论文在回归问题上并没有用很常见的2范数作为回归，而是使用所谓的鲁棒L1范数作为损失函数。
• 论文 将比较大的全链接层用SVD分解了一下使得检测的时候更加迅速。虽然是别人的工作，但是引过来恰到好处（矩阵相关的知识是不是可以在检测中发挥更大的作用呢？）。

ROI Pooling

首先需要介绍RCNN系列里的一个核心算法模块，即ROI Pooling。我们知道在ImageNet数据上做图片分类的网络，一般都是先把图片crop、resize到固定的大小（i.e. 224*224），然后输入网络提取特征再进行分类，而对于检测任务这个方法显然并不适合，因为原始图像如果缩小到224这种分辨率，那么感兴趣对象可能都会变的太小无法辨认。RCNN的数据输入和SPPNet有点类似，并不对图片大小限制，而实现这一点的关键所在，就是ROI Pooling网络层，它可以在任意大小的图片feature map上针对输入的每一个ROI区域提取出固定维度的特征表示，保证后续对每个区域的后续分类能够正常进行。

ROI Pooling的具体实现可以看做是针对ROI区域的普通整个图像feature map的Pooling，只不过因为不是固定尺寸的输入，因此每次的pooling网格大小得手动计算，比如某个ROI区域坐标为 (x1,y1,x2,y2)，那么输入size为 (y2−y1)∗(x2−x1) ，如果pooling的输出size为 pooled_height∗pooled_width ，那么每个网格的size为

，

Bounding-box Regression

有了ROI Pooling层其实就可以完成最简单粗暴的深度对象检测了，也就是先用selective search等proposal提取算法得到一批box坐标，然后输入网络对每个box包含一个对象进行预测，此时，神经网络依然仅仅是一个图片分类的工具而已，只不过不是整图分类，而是ROI区域的分类，显然大家不会就此满足，那么，能不能把输入的box坐标也放到深度神经网络里然后进行一些优化呢？rbg大神于是又说了"yes"。在Fast-RCNN中，有两个输出层：第一个是针对每个ROI区域的分类概率预测， p=(p0,p1,⋯,pK)；第二个则是针对每个ROI区域坐标的偏移优化， tk=(tkx,tky,tkw,tkh) ， 0≤k≤K 是多类检测的类别序号。这里我们着重介绍第二部分，即坐标偏移优化。

假设对于类别 k∗，在图片中标注了一个groundtruth坐标： t∗=(t∗x,t∗y,t∗w,t∗h) ，而预测值为 t=(tx,ty,tw,th) ，二者理论上越接近越好，

这里定义损失函数：

其中

这里， smoothL1(x)中的x即为 ti−t∗i （感觉前一个公式为作者笔误，该写成 smoothL1(ti−t∗i) ），即对应坐标的差距。该函数在 (−1,1) 之间为二次函数，而其他区域为线性函数，作者表示这种形式可以增强模型对异常数据的鲁棒性，整个函数在matplotlib中画出来是这样的

对应的代码在smooth_L1_loss_layer.cu中。

参考：

• 《Fast R-CNN》
• 目标检测--从RCNN到Faster RCNN 串烧
• RCNN, Fast-RCNN, Faster-RCNN的一些事

-----------------------------------分割线--------------------------------------------

Bounding box regression

R-CNN中的bounding box回归

下面先介绍R-CNN和Fast R-CNN中所用到的边框回归方法.

(1)   什么是IOU 

(2)   为什么要做Bounding-box regression？ 
 
如上图所示，绿色的框为飞机的Ground Truth，红色的框是提取的Region Proposal.那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准(IoU<0.5)，那么这张图相当于没有正确的检测出飞机.如果我们能对红色的框进行微调，使得经过微调后的窗口跟Ground Truth更接近，这样岂不是定位会更准确.确实，Bounding-box regression 就是用来微调这个窗口的.

(3)   回归/微调的对象是什么？ 

(4)   Bounding-box regression（边框回归） 
那么经过何种变换才能从图11中的窗口P变为窗口呢？比较简单的思路就是： 
 

注意：只有当Proposal和Ground Truth比较接近时（线性问题），我们才能将其作为训练样本训练我们的线性回归模型，否则会导致训练的回归模型不work（当Proposal跟GT离得较远，就是复杂的非线性问题了，此时用线性回归建模显然不合理）.这个也是G-CNN: an Iterative Grid Based Object Detector多次迭代实现目标准确定位的关键. 
线性回归就是给定输入的特征向量X，学习一组参数W，使得经过线性回归后的值跟真实值Y(Ground Truth)非常接近.即.那么Bounding-box中我们的输入以及输出分别是什么呢？ 

     

-----------------------------------分割线--------------------------------------------

Fast RCNN

1. 联合训练（Joint-training）的SPP-NET

2. 更高的精度；

3. multi-task

4. 能更新所有的权重

5. 不需要在磁盘中存储特征

6. ROI Pooling只要一个尺度的特征

7. SVD分解加速全连层

在我上帝视角（看完整个线）看来，Fast RCNN提出新的东西并不是太多，往往都是别人忽略的东西，实际上也算是对SPP上的捡漏。当然大神能够找到漏可以捡，所以说这并不是贬义，只是我感觉对这篇论文客观的评价。首先fast rcnn说无论是训练还是测试都比RCNN 和SPP快很多倍。其次，自己提出了一个特殊的层RoI，这个实际上是SPP的变种，SPP是pooling成多个固定尺度，而RoI只pooling到一个固定的尺度（6×6）。网络结构与之前的深度分类网络（alex）结构类似，不过把pooling5层换成了RoI层，并把最后一层的Softmax换成两个，一个是对区域的分类Softmax（包括背景），另一个是对bounding box的微调。这个网络有两个输入，一个是整张图片，另一个是候选proposals算法产生的可能proposals的坐标。训练的时候，它指出了SPP训练的不足之处，并提出新的训练方式，就是把同张图片的prososals作为一批进行学习，而proposals的坐标直接映射到conv5层上，这样相当于一个batch一张图片的所以训练样本只卷积了一次。文章提出他们通过这样的训练方式或许存在不收敛的情况，不过实验发现，这种情况并没有发生。这样加快了训练速度。另外，它同时利用了分类的监督信息和回归的监督信息，使得网络训练的更加鲁棒，而且效果更好。值得注意的是，他在回归问题上并没有用很常见的2范数作为回归，而是使用所谓的鲁棒L1范数作为损失函数（可能在其他地方很常见，不过我是第一次见）。实际训练时，一个batch训练两张图片，每张图片训练64个RoIs（Region of Interest），前向反向计算就不说了，如果把pooling的反向计算理解了，这个roi应该不会太难。这篇论文提到了一个让人引发遐想的地方就是它将比较大的全链接层用SVD分解了一下使得检测的时候更加迅速。虽然是别人的工作，但是引过来恰到好处。最后作者写了个类似讨论的板块，并从实验角度说明了多任务对训练是否有帮助？尺度不变性如何实现?是单尺度学习还是多尺度学习？（注意，这里的尺度是对整张图片的resize尺度）得到的结论是多尺度学习能提高一点点map，不过计算量成倍的增加了，故单尺度训练的效果更好。最后在SVM和Softmax的对比实验中说明，SVM的优势并不明显，故直接用Softmax将整个网络整合训练更好。