复杂背景下SAR图像近岸舰船目标检测

李永刚，朱卫纲，黄琼男，李云涛，何永华

（1.航天工程大学电子光学工程系，北京 101416；
2.电子信息系统复杂电磁环境效应国家重点实验室，河南 洛阳 471032）

合成孔径雷达（synthetic aperture radar，SAR）是一种全天时、全天候，不受天气和光照等条件影响的主动微波成像传感器，在军用和民用领域对舰船、飞机、车辆目标的监控具有重要作用。随着SAR技术的不断提高，SAR图像舰船目标检测也被广泛应用于军事和民用领域。当对停靠在海岸的舰船目标进行检测时，由于海岸背景杂波的影响，针对停靠在海岸的舰船目标容易造成漏检，同时容易产生较高的虚警。因此，提高SAR复杂背景下舰船目标的检测精度，无论是在军事领域还是在民用领域都具有重要的研究价值。

近年来，随着卷积神经网络（convolutional neural network，CNN）技术在SAR图像舰船目标检测领域的不断应用，使得检测效果得到了显著的提高。文献［1］采用浅层特征增强网络结构，为了增加小尺寸目标特征提取网络的适应性，引入了空洞卷积进行特征图感受野的扩大。文献［2］将单次多盒检测器（single shot multibox detector，SSD）算法应用在SAR图像舰船目标检测，针对小目标检测效果不佳采用融合上下文信息和迁移模型学习的方法进行创新。文献［3］通过设计不同残差网络的残差单元，改进特征金字塔网络结构，引入小尺寸舰船目标的平衡因子进行损失函数的优化，提高小尺寸舰船目标的检测效果。文献［4］中采用稳定极值区域的决策准则代替阈值决策准则来选取候选区域，使用快速区域CNN（faster regional CNN，Faster RCNN）对SAR图像舰船目标进行检测。文献［5］利用全卷积神经网络对海面与陆地区域进行图像分割，对排除地面杂波之后的海杂波建立统计模型，利用恒虚警率（constant false alarm rate，CFAR）进行舰船检测。文献［6］提出了提高检测算法对不同场景的适用性，利用比重调节系数在损失函数中，使得训练过程中更多地利用背景包含的复杂信息。文献［7-8］提出了结合上下文信息的检测方法，借助目标周围的背景杂波特征与目标特征进行特征融合，提高舰船目标的检测性能。文献［9］采用海岸分割的方法进行近岸舰船目标检测，提高近岸舰船目标检测性能。

随着深度学习技术在SAR图像舰船目标检测中的不断发展，针对SAR图像舰船目标的检测率不断提高，但针对复杂背景下SAR图像舰船目标的检测率仍存在检测率低，漏检率和虚警率高的问题。这是因为采用CNN对近岸舰船目标进行检测时，容易受到海岸背景杂波的影响。同时，CNN只能提取目标区域相对规则的特征，对于停靠在海岸线的SAR图像舰船目标，所拥有的边界框包含了很多海岸的背景信息，在很大程度上影响网络提取舰船目标的特征。采用CNN容易受背景海岸信息所影响。由于SAR图像舰船目标具有不同的尺度信息，通过CNN进行特征提取时，不同的CNN具有不同的语义特征，随着网络层数的增加对小目标的语义信息的提取相对较少，直接应用在复杂背景下SAR图像近岸舰船目标检测对不同尺度的舰船目标无法取得良好的检测效果。

本文针对复杂背景下SAR图像舰船目标的检测率仍存在检测率低，漏检率和虚警率高的问题，构建了复杂环境下近岸舰船目标检测的数据集；
为了提高复杂背景近岸舰船目标的检测效果，在Yolov5（you only look once 5）的基础上，对YOLOv5进行结构性的改进。首先，采用可变形CNN（deformable CNN，DCNN）提高网络特征的表达能力。其次，为了将浅层特征和深层语义信息进行融合，通过借鉴级联和并列的inception思想进行特征融合。为了降低特征提取的计算量，采用空洞卷积扩大视觉感受野，增强模型对复杂背景下近岸舰船目标不同尺度的适应性。最后，通过多组对比实验和复杂环境下SAR图像舰船目标的检测结果进行分析，验证了本文算法在SAR图像复杂背景下近岸舰船目标检测中的实用性和有效性。

SAR图像舰船目标检测任务中，目标与海杂波之间的区分较为明显，这是由于目标的灰度特性明显高于海杂波的灰度特性，使用多尺度检测算法在简单的海杂波背景下目标检测效果较佳。但是在实际SAR图像成像过程中，SAR图像中往往会出现城市、港口、岛礁等背景，这些背景往往具有很高的灰度特性，且分布随机性较高，难以描述其统计特性，使用深度学习目标检测的方法检测率低，虚警率高。本文所提到的复杂背景是指在成像中具有港口、岛礁等背景的SAR图像。简单海杂波背景和复杂背景图像如图1所示。

图1 简单海杂波背景和复杂背景图像Fig.1 Simple sea clutter background and complex background image

2.1 Yolov5检测算法

Yolo（you only look once）是2016年 由Redmon等人提出的一种基于回归的目标检测算法。2020年推出了第5代Yolov5，包含4个目标检测的版本Yolov5s，Yolov5 m，Yolov5 l，Yolov5 x，其 中Yolov5 x的网络深度最大，特征图宽度最大，检测效果相比于Yolov4较好。不同的版本通过代码修改宽度和深度，Yolov5包括输入端、主干网络、Neck网络等部分，本实验选择了Yolov5 x进行训练，Yolov5具体结构如图2所示。

图2 Yolov5网络整体结构图Fig.2 Overall structure diagram of Yolov5 network

Yolov5在目标检测领域有着良好的检测性能，主要原因如下：①输入端采用Mosaic数据增强，自适应锚框计算，自适应图像缩放减少填充带来的计算冗余，丰富特征数据的多样性，有利于提高目标检测的性能。②主干网络采用跨阶段部分网络（cross stage partial network，CSP）模块，CSP模块增加了CNN的特征表达能力，能够保持特征提取的准确性的同时降低网络的参数和计算机内存成本的消耗。③特征融合模块采用特征金字塔网络（feature pyramid network，FPN）＋感知对抗网络（perceptual adversarial network，PAN）结构，通过FPN层的特征提取采用自顶向下的方式针对强语义特征进行提取，而特征金字塔针对强定位信息采用自底向上的方式。通过不同的主干层对不同的检测层进行参数聚合，提高目标检测性能。

尽管Yolov5算法在SAR图像目标检测中取得了不错的检测效果，但是针对复杂背景下SAR图像近岸舰船目标检测存在着检测率低，虚警和漏检率高的问题，主要原因如下：①Yolov5主干提取网络采用CNN，只能规则地针对目标区域的特征进行提取，而对于停靠在海岸的SAR图像舰船目标，由于海岸背景杂波的影响，在CNN对SAR图像舰船目标特征提取时，容易受到背景杂波信息的干扰，影响特征提取网络的特征表达能力。②主干提取网络没有针对上下文信息进行融合，针对不同尺度的近岸舰船目标，检测效果不佳。

2.2 改进的Yolov5检测算法

本文将Yolov5算法应用于复杂背景下近岸舰船目标检测当中，通过改进主干网络特征提取能力，提出了采用DCNN和多特征融合的方法，提高了复杂背景下近岸舰船目标检测性能。

2.2.1 DCNN

原始的Yolov5目标检测算法主干网络采用的是CNN进行特征提取，CNN针对复杂环境下近岸舰船目标的特征提取容易提取海岸背景信息，很大程度对特征提取产生了一定的局限性。因此，本文在特征提取部分CSP2_1模块中引入DCNN（简称为DCNC SP2_1）代替CNN，具体结构如图3所示。

图3 改进的DCNNFig.3 Improved DCNN

针对SAR图像特征提取网络的卷积操作是卷积核与SAR图像上对应的目标区域进行乘积运算，其表达式为

式中：和分别表示输入SAR图像舰船目标特征图和SAR图像舰船目标输出特征图；
为SAR图像舰船目标特征图上像素的位置；
为卷积核的元素数量；
w 为第个位置处的权重；
p 表示预定义的采样偏移。

CNN只能规则地针对目标区域的特征进行提取，对于停靠在海岸线的舰船目标，由于海岸背景杂波存在着较高的灰度特性，在CNN进行特征提取时，背景杂波信息容易对特征提取网络的特征表达能力产生干扰。为了避免CNN对海岸信息的特征提取，使得停靠海岸线的舰船目标更好地特征表达。本文引入了DCNN针对SAR图像特征提取的采样点进行自适应性调节，其表达式如下所示：

式中：Δp 为可学习的偏移量；
Δm为可学习的缩放因子，取值范围为［0，1］。

如图4所示，假设SAR图像区域已经被中间层CNN进行了特征提取，接着对中间特征点进行采样，图中圆点代表卷积核采样点位置。CNN针对SAR图像特征图进行特征提取时，卷积核不可避免地针对海岸信息进行采样，对舰船目标特征提取造成了影响。而DCNN为了避免对海岸信息的采样，通过特征自适应的进行采样点的调节。在采样过程中，DCNN通过设置可学习的缩放因子Δm调节采样过程中特征的权重。实验结果表明，采用DCNN提高了SAR图像目标检测网络的特征表达能力。

图4 CNN和DCNNFig.4 CNN and DCNN

2.2.2 多特征融合

SAR图像复杂背景下近岸舰船目标存在着不同尺度的舰船，直接使用Yolov5算法主干提取网络提取特征并不理想，其主要原因是并没有对上下文特征信息进行融合。本文采用Yolov5x进行训练，随着Yolov5的主干提取网络加深，深层的特征提取网络只能采用浅层特征图的语义信息，对不同尺度的舰船目标的检测，容易造成明显的漏检。因此，本文为了提高不同尺度舰船目标的检测效果，考虑将SAR图像浅层特征图通过级联的方式和深层特征提取的语义信息进行融合，提高Yolov5特征提取网络对不同尺度SAR图像舰船目标检测的适应性。具体改进后的结构如图5所示。图5（a）为原始的Yolov5中空间金字塔池（spatial pyramid pooling，SPP）网络模块，图5（b）为改进的网络模块。本文核心是在主干特征提取网络SPP模块中进行改进借鉴inception模块思想，通过设计多个金字塔模块级联和并列的多特征融合结构（multi feature fusion-1／2／3，MFF-1／2／3），融合不同层级上的SAR图像舰船目标特征图，实现SAR图像不同尺度舰船目标的特征图的融合。采用多特征融合的SAR图像舰船目标检测方法，能够有效提高舰船目标的检测精度和算法的鲁棒性。针对不同尺度的复杂背景舰船目标有良好的检测效果。

图5 多特征融合网络结构Fig.5 Multi-feature fusion network structure

金字塔模块如图6所示，金字塔模块1采用A1_1×1的卷积；
金字塔模块2采用A2_1×1卷积，A3_1×1卷积，B1_3×3卷积；
金字塔模块3采用A4_1×1卷积，B2_3×3卷积，5×5卷积；
金字塔模块4采用A5_1×1卷积，B3_3×3卷积，7×7卷积；
针对不同尺度的舰船目标进行特征融合，为了不增加计算量B*_3×3卷积（*＝1，2，3），5×5卷积及7×7卷积采用空洞卷积方式，增加感受野，提高不同尺度舰船的特征提取。

图6 金字塔模块Fig.6 Pyramid module

对于一个卷积层，如果希望增加输出单元的感受野，一般可以通过3种方式实现：①增加卷积核的大小；
②增加层数，例如两层3×3的卷积可以近似一层5×5卷积的效果；
③在卷积之前进行汇聚操作。而前两种方式会增加参数数量，第3种方式会丢失一些信息。本文采用空洞卷积的方式，不增加参数数量同时增加了感受野。空洞卷积即通过给卷积核插入“空洞”变相地增加其大小。如果在卷积核的每两个元素之间插入-1个空洞，卷积核的有效大小为

式中：称为膨胀率。正是利用空洞卷积扩大卷积核进而增加卷积感受野，增大多尺度任务的上下文信息，使得对特征图可以提取更加丰富的特征。

图7 空洞卷积的应用Fig.7 Application of null convolution

3.1 实验平台

本文所有的实验均在pytorch框架上，利用Yolov5检测算法的基础上开展。实验的硬件平台：CPU：Intel（R）Core（TM）i9-9820X＠3.30 GHz，GPU：TITAN V，32 G内存；
操作系统Window10；
软件方面：基于深度学习架构Pytorch和Python开发环境Pycharm；
采用CUDA10.1加速。

3.2 数据集构建

为了适应复杂环境SAR图像近岸舰船目标检测，构建一个用于复杂环境SAR图像近岸舰船目标检测的数据集，数据集模仿PASCAL VOC数据集构建，包含靠近港口和大片海域的舰船目标，数据集共2 778张图像，在Yolov5网络的训练阶段，将数据集按照8∶2的比例分为训练集和测试集。数据来源主要是目前公开的卫星高分三号、TerraSAR-X卫星、哨兵系列卫星等。每张图采用labelimg进行舰船标注。图8所示为部分数据集SAR舰船图像，包括不同尺度的SAR舰船目标，也包含密集和稀疏型舰船。

图8 数据集部分SAR图像舰船目标Fig.8 SAR images of ship targets in part of the data set

3.3 评价标准

基于CNN的SAR图像舰船检测算法性能的评价标准与一般的光学图像的评价标准是相同的。本文将准确程度作为SAR图像舰船检测算法的衡量标准。

准确程度是指检测算法输出结果的准确度的高低，主要通过以下4个指标进行度量：精确度，召回率，平均准确率AP，1分数1，这4个指标的定义或计算公式分别如下：

式中：TP，FP，FN分别为正确检测的目标个数、虚警的目标个数、漏检的目标个数。从式（4）～式（7）可以看出，的实际含义为实际正样本中被预测正确的概率；
为正确检测到的目标占所有待检测目标的概率；
AP是指不同召回率时精确率的平均值，即曲线与坐标轴形成的区域的面积，取值范围为［0，1］，AP是基于CNN的目标检测算法中最常用的准确率指标，待检测的目标类别数大于1时，以AP的算术平均值m AP来衡量算法性能，本文研究中待检测目标只有一类舰船目标，因此全部以AP作为评价指标。

处理速度：处理速度主要通过检测所有图片消耗的平均时间和计算每秒处理图像的帧数，即算法检测速度（frames per second，FPS）进行量化评价，平均时间与检测速度FPS两者互为倒数，即

显然，平均时间与检测速度FPS这两个评价指标与计算机硬件资源的性能密切相关，相同算法在不同的计算机硬件资源上的处理速度存在着差异。

3.4 实验方案

实验主要包含两部分：各处改进对算法性能的影响和检测性能评估。各处改进对算法性能的影响实验用于验证本文对Yolov5算法各处改进和优化的实验效果，包含DCNN对算法性能的提高，可变形卷积多特征融合对算法性能的提高。为了方便引用和说明，本文对增加DCNN的Yolov5简称为D-Yolov5（deformable Yolov5），对改进的可变形多特征融合Yolov5简称为DFF-Yolov5（deformable feature fusion Yolov5）。

现在她6岁，枕边书是卡尔维诺的《意大利童话》。她不太爱看《牛顿科学馆》，喜欢《米勒的花园》，迷上了花木的名字，我为她备了花盆和砂土，却忘了小朋友爱玩沙的天性。

3.5 测试结果与分析

为了验证改进的Yolov5算法应用于复杂环境下近岸舰船目标上的检测性能，在本文所构建的数据集的基础上，分别针对Yolov5，D-Yolov5，DFF-Yolov5进行实验验证，具体结果如表1所示。

表1 实验结果对比Table 1 Comparison of experimental results

通过表1对比Yolov5，D-Yolov5和DFF-Yolov5的各项性能指标，D-Yolov5的准确率相比于Yolov5提高了0.13%，DFF-Yolov5的准确率相比于Yolov5提高了5.09%，平均准确率达到了85.99%。DFF-Yolov5的精确度相比于Yolov5提高了1.42%，平均精确度达到了93.20%。但是DFF-Yolov5的检测效率相比于D-Yolov5和Yolov5有所降低，主要原因在于本文算法引入了DCNN和多特征融合模块，虽然提高了复杂环境下近岸舰船检测的平均准确率，但是网络层数的增大导致计算量增加。

为了充分地展示出所提算法的各项性能，图9为部分有代表性的SAR图像舰船检测结果。其中，矩形框为算法预测的舰船边界框，边界框上方的“ship”为算法预测的该目标的类型，其后的数字为该目标为舰船的置信度；
椭圆内的目标为能够证明DFF-Yolov5算法性能的舰船检测结果。可以看出，DFF-Yolov5对SAR图像复杂背景下近岸舰船检测性能的提高比较显著，主要体现在以下3个方面。

（1）改善了不同尺度的舰船检测：由图9可知Yolov5，D-Yolov5和DFF-Yolov5对大尺度的舰船目标检测效果较佳。由表2和图9可知，针对舰船目标A1，E1，F1，G1，H1像素占比较小的小尺度舰船目标，Yolov5出现漏检。如（3，1）中，舰船E1仅占该图像总面积的0.11%，Yolov5和D-Yolov5并没有检测出E1 和E2 舰船目标，而DFFYolov5对（3，3）中的E3舰船目标也能准确检测，说明本文方法对不同尺度的目标检测效果也很好。

表2 检测结果Table 2 Test results

（2）实现了不同场景下的舰船检测：如第1列为远海舰船目标，2，3，4列都为复杂背景近岸舰船目标，由图9可知不同的场景下DFF-Yolov5都能表现出良好的检测性能。

图9 Yolov5，D-Yolov5和DFF-Yolov5的检测结果Fig.9 Detection results of Yolov5，D-Yolov5 and DFF-Yolov5

（3）提高了复杂背景下舰船的检测准确率：如2，3，4列的图像中目标。对比第4列中的I，J和K便能很好地说明这一点，同时将复杂背景下的（4，3）中的目标I3检测为舰船的置信度从0.69提高到了0.83。另外一个值得注意的地方是，（4，1）中的目标I1，J1和K1，Yolov5并未检测出来，而本文所提方法检测的结果是目标是置信度分别为0.83，0.92，0.80的舰船目标，这部分区域检测难度在于目标靠近海岸背景杂波复杂，对检测干扰较大。在这种比较复杂的情况下本文所提方法能够准确地检测出目标，证明了该方法在复杂背景下的良好适用性。

本文算法通过引入DCNN和多特征融合模块，提高了复杂背景下近岸舰船目标检测的效果。由实验可视化检测结果可以看出，本文提出的方法对SAR图像复杂背景下近岸舰船目标检测算法的检测能力得到了提高。

针对CNN在复杂背景下SAR图像近岸舰船目标检测中容易产生漏检和误检的缺点，本文提出了DFF-YOLOv5目标检测算法，针对于复杂背景下的SAR图像舰船目标的检测效果得到了明显的提高。通过实验对比分析，可以得到以下结论：①DFF-Yolov5检测算法网络结构相比于原始Yolov5检测算法检测精度明显提升，虚警率明显降低，DFF-Yolov5的平均准确率达到了85.99%。其最主要的原因是主干提取网络中引入了DCNN和多特征融合模块，增强了主干网络的特征提取能力，提高了算法针对复杂背景下SAR图像近岸舰船目标检测的性能。②从可视化的检测效果可以看出，本文算法在不同的场景下检测性能得到明显提高，漏检和误检明显下降。

猜你喜欢 舰船特征提取卷积 同步定位与建图特征提取和匹配算法研究导航定位学报(2022年5期)2022-10-13基于全卷积神经网络的猪背膘厚快速准确测定农业工程学报(2022年12期)2022-09-09支持向量机的舰船图像识别与分类技术舰船科学技术(2022年11期)2022-07-15风浪干扰条件下舰船航向保持非线性控制系统舰船科学技术(2022年10期)2022-06-17基于图像处理与卷积神经网络的零件识别计算技术与自动化(2022年1期)2022-04-15一种基于卷积神经网络的地磁基准图构建方法北京航空航天大学学报(2021年9期)2021-11-02基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02舰船测风传感器安装位置数值仿真舰船科学技术(2021年12期)2021-03-29基于MED—MOMEDA的风电齿轮箱复合故障特征提取研究电机与控制学报(2018年9期)2018-05-14基于曲率局部二值模式的深度图像手势特征提取计算机应用(2016年10期)2017-05-12