计算机视觉研究院专栏
作者：Edison_G
有些目标往往具有任意方向的分布。因此，检测器需要更多的参数来编码方向信息，这往往是高度冗余和低效的...
论文：
https://openaccess.thecvf.com/content/CVPR2021/papers/Han_ReDet_A_Rotation-Equivariant_Detector_for_Aerial_Object_Detection_CVPR_2021_paper.pdf
源代码：
https: //github.com/csuhan/ReDet
1
简要
近年来，航空图像中的目标检测在计算机视觉中得到了广泛的关注。与自然图像中的目标不同，航空目标往往具有任意方向的分布。因此，检测器需要更多的参数来编码方向信息，这往往是高度冗余和低效的。此外，由于普通的cnn没有明确地模拟方向变化，因此需要大量的旋转增强数据来训练精确的目标检测器。
研究者提出了一种旋转等变检测器（ReDet）来解决这些问题，该检测器对旋转等变和旋转不变性进行了显式编码。更准确地说，研究者在检测器中加入旋转等变网络来提取旋转等变特征，这样可以准确地预测方向，并大大减小模型尺寸。在旋转等变特征的基础上，提出了旋转不变RoI-Align（RiRoI-Align），该算法根据RoI的方向自适应地从等变特征中提取旋转不变特征。在DOTA-v1.0、DOTA-v1.5和HRSC2016等具有挑战性的航空影像数据集上进行的大量实验表明，新提出的方法能够在航空目标检测任务上达到最先进的性能。
2
背景
最近，许多设计良好的面向对象检测器被提出，并在具有挑战性的航空图像数据集上报告了有希望的结果。为了在无约束航空图像中实现精确的目标检测，大多数算法都致力于提取旋转不变特征。在实际应用中，旋转RoI（RRoI）扭曲（例如，rooi Pooling和rooi Align）是提取旋转不变特征最常用的方法，它可以根据二维平面上RRoI的边界框精确扭曲区域特征。然而，具有规则CNN特征的RRoI扭曲不能产生精确的旋转不变特征。通过使用更大容量的网络和更多的训练样本来模拟旋转变化，从而逼近旋转不变性。
如上图所示，规则cnn与旋转不等价，即向cnn传送旋转图像与原始图像的旋转特征映射不同。因此，从常规CNN特征图中扭曲出来的区域特征通常会随着方向的变化而变得不稳定。上图所示，新提出的方法由两部分组成：旋转等变特征提取和旋转不变特征提取。首先，将旋转等变网络引入到主干网络中，生成旋转等变特征，可以准确预测方向，降低建模的复杂度。由于直接应用RRoI扭曲仍然不能从旋转等变特征中提取旋转不变特征，研究者提出了一种新的旋转不变RoI对齐算法（RiRoI-Align）。
3
新框架
(a) Overall architecture of the proposed Rotation-equivariant Detector. We first adopt the rotation-equivariant backbone to extract rotation-equivariant features, followed by an RPN and RoI Transformer (RT) to generate RRoIs. Then we use a novel Rotation-invariant RoI Align (RiRoI Align) to produce rotation-invariant features for RoI-wise classification and bounding box (bbox) regression.
(b) Rotation-equivariant feature maps. Under the cyclic group CN , the rotation-equivariant feature maps with the size (K, N, H, W ) have N orientation channels, and each orientation channel is corresponding to an element in CN .
(c)RiRoI Align. The proposed RiRoI Align consists of two parts: spatial alignment and orientation alignment. For an RRoI (x, y, w, h, θ), spatial alignment warps the RRoI from the spatial dimension, while orientation alignment circularly switches orientation channels and interpolates features to produce completely rotation-invariant features.
4
实验结果
© THE END
计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
