基于ConA-FPN的肝脏肿瘤检测算法

马金林，毛凯绩，马自萍，邓媛媛，欧阳轲，陈 勇

1.北方民族大学 计算机科学与工程学院，银川750021

2.图像图形智能处理国家民委重点实验室，银川750021

3.北方民族大学 数学与信息科学学院，银川750021

4.宁夏医科大学总医院 放射介入科，银川750004

基于深度学习的肝脏肿瘤检测方法取得了很好的检测效果，然而由于肝脏肿瘤具有样本量少、目标小的特点，为深度学习模型训练带来极大困难，严重影响模型的泛化能力和识别准确率。

针对检测目标较小的问题，研究人员提出了一系列算法。石羽等[1]提出了一种肺结节自动检测算法，通过设置阈值识别不同兴趣区域，利用基于规则的判别方法对兴趣区域进行分类并标出肺结节，但该方法存在检测精度不高的问题。通常，使用多尺度多通道的CNN检测器和合并多尺度信息的CNN结构两种方法提高检测精度。（1）使用多尺度多通道CNN检测器[2]的典型方法为全卷积分割模型和多尺度检测器（MS-RCNN）组成的对有丝分裂细胞进行检测的网络SmallMitosis[3]，该方法使用的MS-RCNN对小目标有丝分裂的检测效果达到了大目标有丝分裂的水平，对小尺寸模糊有丝分裂细胞的检测有很强的分辨力；
此外，使用FPN[4]结合四个IOU阈值级联的RCNN检测器提高了微小肾脏病变的检测能力[5]。（2）改变CNN的网络结构，合并多尺度图像信息：典型的有SkinNet[6]用密集的卷积块替换编码器和解码器的常规卷积，以更好地合并多尺度图像信息；
姚红革等[7]融合不同模态的脑肿瘤磁共振成像，并采用加权损失函数增加对肿瘤区域的学习；
MSCR[8]结合分组卷积与LSTM提高了小肿瘤的检测能力；
Zhang等[9]在特征提取阶段将Faster R-CNN[10]中VGG部分的第二层与第四层卷积进行融合提高了检测乳腺结节的精度；
文献[11]分别对损失函数、IOU算法等进行改进，提升模型对小目标的检测能力。此外，还可以通过放大特征图[12]，以及使用图神经网络[13]汇总提出的语义关系网络和空间关系网络的输出，进一步改善特征表示，提高模型检测小目标的能力。

在小样本方面，通常有两种解决方法：多种机器学习算法结合、数据增强。（1）使用不同的机器学习算法解决小样本量方面，文献[14]提出了一种基于SVM的检测器，使用线性核函数和交叉验证取得更稳定的结果。文献[15]提出了选择性回归神经网络（recurrent neural network，RNN）的辅助诊断方法，具有自动系统、半自动系统和混合系统三种。该方法的特征学习过程可以根据学习到的特征自动地为每个结节设置参数。但这种方法的弊端在于仅在相对较小的数据集上或特定类型数据集上表现良好，不能满足复杂多样的真实情况。（2）数据增强方面，孙雨琛等[16]使用数据增广和Dropout，解决了因数据不足产生的过拟合问题，实现了对糖尿病视网膜病变的检测。此外通过对抗神经网络构造出更多的异常样本[17]，也是解决数据量不足的有效方法。

针对小目标和小样本问题的研究仍存在模型复杂、计算成本高、精度不够和检测结果只针对特定目标等问题。虽然原始Faster R-CNN在自然图像数据集上检测效果明显，但由于医学图像存在同体态图像相似度高、病灶部分占比小、且病灶组织与背景组织易混淆等问题，导致原始Faster R-CNN检测效果不佳。为此，本文基于Faster R-CNN提出基于ConA-FPN的肝部肿瘤检测算法。主要贡献包括：（1）本文使用融合了ResNet与注意力机制的特征金字塔结构替换Faster R-CNN的特征提取网络，通过引入残差结构与注意力机制，在避免梯度消失的同时增加了模型对小肿瘤的特征提取能力。（2）提出ConA-FPN模型，通过融合特征金字塔输出的低层特征图，并与高层特征图进行加权，解决了特征金字塔高层模块存在的通道信息丢失问题。同时使用注意力机制降低了多次特征融合产生的特征冗余问题，进一步提升模型特征提取能力。（3）本文使用在ImageNet[18]上预训练的网络进行迁移学习，并且选择了适当的数据增强方法，解决了医学图像样本量少的问题。

本文提出ConA-FPN肝脏肿瘤检测算法，该算法以Faster R-CNN为基础，使用ResNet[19]作为特征提取网络，融合FPN多尺度特征提高小目标肝脏肿瘤的检测能力，利用SENet[20]提高模型的特征描述能力。同时，针对FPN高层模块通道信息损失和特征混叠的问题，构建了一种包含特征融合与注意力机制的ConA-FPN模型。

1.1 Faster R-CNN

Faster R-CNN主要由特征提取模块、区域提议网络（RPN）和检测器三部分组成[21]。如图1所示，算法执行过程为：任意尺度输入图像经过缩放后传入特征提取网络，RPN将从特征图筛选的候选区域与特征图传入ROI Pooling和全连接层，经过分类和回归得到最终结果。

图1 Faster R-CNN模型Fig.1 Faster R-CNN model

Faster R-CNN采用端到端的方式进行训练，训练所用的损失函数为：

其中，i为anchor的索引；
pi为anchor包含目标的概率；
ti表示预测框的坐标，为真实框的坐标。当anchor中含有目标时，pi为1；
反之pi为0。{pi}和{ti}分别表示分类和回归的输出，使用Ncls和Nreg以及参数λ进行归一化。表示只有包含目标的anchor才有损失。λ为平衡分类损失与回归损失的权重参数。

公式（1）由分类损失和回归损失两部分组成，其中分类损失为：

回归损失为：

其中，smoothL1(x)的表达式为：

1.2 SEFaster R-CNN

Faster R-CNN中特征提取网络仅学习到数据的空间关系，忽略了通道信息，特征提取能力有限。为提高肝脏肿瘤检测网络的特征提取能力，本文提出ResNet与SENet结合的SEFaster R-CNN结构。

SENet主要由挤压（squeeze）和激励（excitation）两部分组成，如图2所示。图2中，输入特征图通道数为C，每个通道上的特征图尺寸为H×W，在每个通道上进行全局平均池化，通道权重Z的计算公式如式（5）所示：

图2 SENet网络Fig.2 SENet network

其中，Z是长度为C的一维数组，表示压缩阶段生成的权重。(i,j)表示在大小为H×W特征图上的像素点坐标。

然后使用激活函数对各通道上权重进行建模，如式（6）所示：

其中，Sc为生成的注意力权重，维度为1×1×C，注意力权重需要经过全连接层和激活函数得到。W1的维度为C/r×C,W2的维度为C×C/r,r为缩放系数。

最后对各通道上的权重进行加权，如式（7）：

其中，⊗表示逐元素相乘，X̂表示通过注意力机制后的输出结果。

SENet对通道间依赖关系进行显式建模，利用反向传播学习每个通道的权重系数（这些系数反映各通道信息的重要程度）。学习的权重系数备用来更新特征图的权重参数，以抑制无效特征并增强有效特征。提升了模型对特征信息的提取能力，从而提升了整个模型的性能。

由于最后一层特征图包含丰富的语义信息，SEFaster R-CNN对大目标检测效果很好，但由于肝脏肿瘤属小目标，在经过多次卷积和池化操作后，小目标信息严重丢失，导致对小目标检测能力不强。

1.3 特征金字塔

传统Faster R-CNN使用不同尺寸的锚框检测不同大小的物体，在目标较小的情况下有一定的局限性[22]。为进一步提升模型对微小肿瘤的检测能力，本文将特征金字塔（feature pyramid network，FPN）与特征提取网络结合。FPN通过引入自下而上的路径、自顶向下的路径和横向连接的方式将高层和低层的语义特征和位置信息结合起来，显著提高模型的小目标检测能力，FPN如图3所示。

图3 FPN网络Fig.3 FPN network

自下而上的路径即为卷积神经网络的前向计算过程，本文使用ResNet作为主干网络。通过每次卷积得到各层的特征，记为{C2,C3,C4,C5},C5通过1×1卷积传入自顶向下的路径。自顶向下的路径是通过上采样的方式将小特征图放大到与上一层特征图相同尺寸，实现了同时利用底层的位置信息和高层的语义信息的作用；
横向连接类似残差结构中的跳跃连接，将位置信息与语义信息融合，由于P5在上采样后的分辨率与C4一致，这两个特征图可以直接相加，得到P4；
最后通过3×3卷积输出每层横向连接后的特征图，完成多尺度输出任务。

1.4 ConA-FPN

如图3所示，C5输出的特征图包含最丰富的语义信息。但经过1×1卷积之后，通道数从2 048下降到256，损失了大量空间信息，导致模型的特征提取能力下降，进而影响分类与识别的精度。另外，虽然FPN可以通过特征融合缓解多次池化后小目标信息丢失的问题，但P5仅通过C5得到，缺少低层级语义信息，存在小目标信息丢失的问题，在临床中易造成误检与漏检。另外，虽然跨尺度特征融合和跳跃连接实现了不同层级特征的充分利用，但是由于跨尺度特征的语义差异会使融合特征混叠，导致定位和识别的精度降低。

为解决上述问题，本文提出一种改进的FPN模型ConA-FPN（concat attention FPN）。如图4所示，主要对FPN进行三方面修改：（1）将每个1×1卷积之后的特征图相加，整合为一张融合高层和低层信息的特征图。（2）使用CAG注意力机制[23]对融合后的特征图进行处理，使模型只关注融合特征图中的重要部分。注意力机制是解决特征混叠的直观方法，CAG注意力机制如图5所示，首先使用全局平均池化和全局最大池化分别对两个不同空间的上下文信息进行融合，然后分别传入全连接层，通过逐像素求和与sigmoid得到注意力特征图，CAG注意力机制执行过程如式（8）所示：

图4 ConA-FPN网络Fig.4 ConA-FPN network

图5 CAG注意力机制Fig.5 CAG attention mechanism

CA(x)=σ(fc1(AvgPool(x))+fc2(MaxPool(x)))（8）其中，CA(x)为注意力函数，σ为sigmoid函数，fc1、fc2为全连接层。（3）将CAG输出的注意力特征图与P5输出的特征图相加，得到最终输出结果。

这样做的目的和好处是：（1）更好地提取上下文信息，减少因通道缩减引起的信息丢失。（2）在FPN中，特征融合得到的低层特征包含了丰富的上下文信息，而高层语义特征如P5只包含单一尺度信息。P5层生成的特征图与CAG注意力生成的特征图融合，不仅可以解决P5层特征图通道信息丢失的问题，而且使P5层特征图包含了低层语义信息，解决了低层信息缺失的问题。（3）引入的CAG注意力机制通过整合不同方向上的语义信息，对融合特征图的权重进行重新建模，解决了特征融合带来的特征混叠问题，进一步提升了模型的特征提取能力，提高了模型的检测能力。

1.5 算法流程

图6绘出了本文模型流程，主要分为预处理和数据增强、迁移学习、网络训练、测试分析四部分。首先，对数据集样本进行预处理，使用直方图均衡化提升图像的清晰度，使用水平翻转、垂直翻转、旋转等数据增强方法对数据集进行扩充，提高网络的泛化能力。其次，使用迁移学习，利用自然图像预训练检测网络。然后，利用迁移后的模型训练肝脏肿瘤图像优化网络参数，对预测结果分别进行分类损失和回归损失的计算。直至损失收敛，输出测试结果并进行下一步分析。

图6 本文模型的流程图Fig.6 Model flow chart of this paper

本文模型是基于Faster R-CNN改进的，结构如图7所示，模型具有如下特点：（1）使用结合ResNet与SENet的特征金字塔结构替代Faster R-CNN中的特征提取网络。（2）使用ConA-FPN结构进一步提高模型的特征提取能力，解决特征金字塔结构存在的问题，进而提高模型对小目标肝脏肿瘤的检测能力。（3）使用迁移学习加快模型训练速度和收敛时间，使用数据增强方法对小样本数据集进行扩增。

图7 本文模型的网络结构Fig.7 Network structure of model in this paper

本文实验环境为CentOs，NVIDIA Tesla V100，软件采用Python3.6.8、Tensorflow1.14.0；
使用Relu激活函数，学习率0.001，优化算法为动量法，动量超参数为0.9；
采用近似联合训练方式。

2.1 数据集

本文使用LITS2017[24]和3D-IRCADB[25]数据集。LITS2017是MICCAI肝脏分割和肝肿瘤检测挑战赛的公开数据集，共有131个训练数据和70个测试数据。3D-IRCADB包含10个男性和10个女性的静脉期数据，其中三分之二的数据包含肝肿瘤。

为避免图像噪声和格式转换的失真影响模型学习效果，需进行图像预处理。预处理过程如下：

第一步，整理患者的CT切片及其对应的肿瘤分割标记。

第二步，使用labelImg标注整理好的CT图像切片，并生成Pascal VOC2007[26]格式的xml文件。本文共整理2 842张包含肿瘤的CT切片，每张切片包含若干个肿瘤位置，肿瘤的大小、形状均不相同。

第三步，按8∶2的比例将数据集划分为训练集和测试集，得到2 273张训练图像和569张测试图像。

由图8可以看出，图像预处理后的局部细节比原图更加清晰。

图8 原始图像与预处理图像Fig.8 Original image and preprocessed image

2.2 数据增强

与自然图像相比，医学图像的数据集普遍较小，需要借助数据增强扩充数据集，以提高模型泛化能力。本文使用对数据集的样本进行左右翻转、垂直翻转、旋转等操作进行数据增强，并将增强后的图像作为训练数据。

左右翻转和垂直翻转的表达式如下：

其中，P为图像中标注位置，P"为翻转后对应标注位置。xmin、xmax为P中左上角和右下角的横坐标，为翻转后P"位置左上角和右下角的坐标。ymin、ymax为P中左上角和右下角的纵坐标，为翻转后P"位置左上角和右下角的纵坐标，w、h为图像的宽和高。r代表原点距离P点的距离，α代表原点O与P点组成的直线OP与x轴的夹角。

为探究数据增强的有效性，本文在相同训练环境下，使用垂直翻转、水平翻转、旋转和将三种方法进行结合的增强方法进行对比，结果见表1。

由表1的前三组结果可以看出，水平翻转方式可以较大程度地提升模型的检测能力。第四组实验说明，综合多种增强方式，可以进一步提升模型的检测性能。从实验结果来看，数据增强作为对数据扩增的方法之一，可以有效提高模型在小样本集下的检测能力和泛化能力。

表1 数据增强对比实验Table 1 Data augmentation comparison experiment

2.3 评价指标

目标检测的评价指标有AP（average precision，平均精度）、mAP（mean average precision，平均精度均值）。它们是根据准确率（precision）和召回率（recall）计算的。假设TP（true positive）表示正样本中预测为正类的个数，FN（false negative）表示负样本中预测为负类的个数，FP（false positive）表示正样本被预测为负的个数。通常来说精确率和召回率是一组相对的指标，所以要通过F1值来衡量一组最合适的精确率和召回率的值。IOU通过取预测框与真实标注的交集与并集的比值，反映了预测结果与真实结果的重合度。

各评价指标的计算方法如下所示，k为类别数。S1为预测框的面积，S2为真实框的面积。

3.1 特征提取网络的选取实验

特征提取网络的性能直接影响模型检测和分类的准确率。为了比较不同特征提取网络对检测结果的影响，本实验使用三种医学图像检测方法常用的网络（ResNet50、ResNet101、MobileNet[27]）对肝脏肿瘤区域进行特征提取，三种网络均在ImageNet上进行预训练。将平均精度均值（mAP）作为评价指标，对比结果如表2所示。

由表2可得，三种特征提取网络中，ResNet101表现出良好的性能，其mAP为0.874，比ResNet50高出0.026，比MobileNet高出0.092。这说明，随着特征提取网络的加深，模型可以更好地拟合目标函数。ResNet网络在保证深度的同时避免梯度弥散和梯度爆炸，模型的学习能力得到显著增强，可以提取到更加全面的特征信息，提高模型检测能力。因此，本文选择ResNet101作为特征提取网络。

表2 不同特征提取网络的检测性能对比Table 2 Comparison of detection performance of different feature extraction networks

3.2 特征金字塔层数对检测性能的影响

对于Faster R-CNN+FPN结构，最终的检测结果与FPN阶段融合的层数有关。本实验的目的是在特征提取网络、数据样本和数据增强方法相同的情况下，探究模型的检测能力是否随FPN结构层数的增加而增加，结果见表3。

表3 不同特征金字塔层数的检测性能对比Table 3 Comparison of detection performance of different feature pyramid layers

由表3可以看出，当FPN层数为4层时，网络性能达到最佳。因为P6特征图是由P5特征图经过下采样得到的，分辨率进一步降低，小目标信息过多丢失，导致检测结果降低。同时P5层特征图相对于P4层和更底层的特征图包含更强的语义信息，在保证降低模型误检率的情况下，提高了检测的精确率。

3.3 注意力机制的选取实验

本文将注意力模块嵌入特征提取网络，起到抑制无效特征和增强有效特征的目的，提高了特征提取网络的性能。本实验选取了三种注意力机制，分别为SENet、Coordinate Attention（CA）[28]、Soft-Attention[29]。旨在探究其他训练环境相同的情况下，不同注意力模块对模型检测能力的影响。

由表4可得，SENet具有更高的检测精度，虽然CA注意力融合了空间与通道的信息，但最终取得的效果与SENet相差不多。另外，与SENet相比，CA注意力模块引入额外参数增加了模型的训练时间。综合间成本和计算成本，本文选用SENet与特征提取网络进行融合。

表4 不同注意力模块的检测性能对比Table 4 Comparison of detection performance of different attention modules

3.4 CAG特征图的添加位置对检测性能的影响

本部分设置了五组对比实验，分别将CAG注意力机制应用在不同的P层上，旨在研究模型的检测能力与增加CAG注意力数量的相关性，结果见表5。

表5 不同CAG特征图添加位置的检测性能对比Table 5 Comparison of detection performance of different CAG feature map addition locations

通过表中数据可以看到，仅将P5特征图与CAG注意力特征图相加得到的结果最佳。

通过FPN结构可知，P5的输出没有经过特征融合，并且经过1×1卷积后，通道数从2 048下降到256。所以P5的特征图与CAG注意力图相加之后，既能获取低层信息，又能增强FPN的特征提取能力，弥补通道信息损失。通过CAG注意力机制，降低了特征混叠带来的负面影响。

由实验可以看出，冗余特征产生的特征混叠效应仍然对提取精度存在影响，使用注意力机制也会产生额外的计算开销，所以本文最终将CAG注意力图与P5层级特征图相加。

3.5 不同检测模型的检测性能对比

为了进一步考察本文模型的检测能力，本实验比较Faster R-CNN、YOLOv4[30]、YOLOv5等方法与本文模型的性能，实验结果见表5。

由表6可得：本文模型能够有效提升肿瘤检测能力，mAP达到87.4%；
Faster R-CNN中加入FPN，较大程度提升了检测模型的性能，其根本原因在于通过引入FPN使更多小目标肿瘤被识别出来；
从第五组实验通过引入SENet注意力机制提升了模型的特征提取能力，进而提高了精度，但与本文提出的方法相比，仍然存在着特征混叠以及FPN高层信息损失的问题。同时由图9可得：本文模型不仅提高了mAP，而且相较于其他方法，本文模型在检测的精确率和召回率两部分都具有一定的优势。

表6 不同检测模型的检测性能对比Table 6 Comparison of detection performance of different detection models

图9 不同方法的PR曲线Fig.9 PR curve of different methods

从检测速度来看，因为RCNN系列属于两阶段模型，即先生成感兴趣区域，再对感兴趣区域进行分类和回归得到最终检测结果。而YOLO系列属于单阶段模型，即一次完成目标的分类和定位，理论上说RCNN系列模型在速度上有一定的劣势。从实验结果来看，本文模型虽然略慢于YOLO系列模型，但在训练和检测上依然满足了实时性要求。与同类型的RCNN系列模型相比，本文模型也可以保持较快的推理速度。鉴于使用场景的特殊性，要求模型有更高的精度，所以本文模型更符合实际需要。

图10为本文模型对比其他模型检测结果的可视化展示，其中分别包含3D-IRCADB数据集和LITS数据集中的图像，每张图像上包含若干个肿瘤位置。红色框为真实标注结果、绿色框为Faster R-CNN检测结果、紫色框为YOLOv4检测结果、蓝色框为YOLOv5检测结果、黄色框为本文模型检测结果。

图10 检测结果可视化Fig.10 Visualizing results

由图10可以看出，本文模型不仅可以精确检测一般的肝肿瘤，对小肿瘤同样表现出良好的检测效果，且检测效果优于其他主流检测模型。

本文提出的ConA-FPN网络融合了特征金字塔的各层特征图，解决了特征金字塔高层模块的通道信息丢失问题。针对肝脏肿瘤目标较小不易检测的问题，使用结合ResNet和注意力机制的特征金字塔结构，在避免梯度消失的同时增加了模型对小肿瘤的检测能力。针对样本量少的问题，使用迁移学习和数据增强方法，从模型和数据两方面分别加强了模型对小样本数据集的检测能力和泛化能力。

猜你喜欢 特征提取注意力特征 根据方程特征选解法中学生数理化·中考版(2022年9期)2022-10-25离散型随机变量的分布列与数字特征中学生数理化(高中版.高考数学)(2022年3期)2022-04-26让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09基于Gazebo仿真环境的ORB特征提取与比对的研究电子制作(2019年15期)2019-08-27不忠诚的四个特征当代陕西(2019年10期)2019-06-03基于Daubechies(dbN)的飞行器音频特征提取电子制作(2018年19期)2018-11-14“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13Bagging RCSP脑电特征提取算法自动化学报(2017年11期)2017-04-04A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21基于MED和循环域解调的多故障特征提取噪声与振动控制(2015年4期)2015-01-01