基于MSFA-Net的肝脏CT,图像分割方法

沈怀艳，吴云

贵州大学 计算机科学与技术学院，贵阳550025

肝脏是人类疾病的多发区域。肝脏的自动分割能够帮助医生及早对病人实施诊断治疗。在医学成像领域，计算机断层扫描（computed tomography，CT）成像是辅助诊断肝脏疾病的常用手段之一[1]。由于CT 图像中肝脏与邻近器官组织具有相似的灰度值[2]，导致对肝脏的分割存在一定难度。

近年来，随着深度学习的快速发展，特别是卷积神经网络（convolutional neural network，CNN）在图像分割、分类和目标检测等计算机视觉任务中表现优异，使其广泛应用于医学图像分割领域。对于CNN只能提取到局部特征，Long 等人[3]在CNN 的基础上提出了全卷积网络（full convolutional networks,FCN），使其可以接受任意尺寸图像的输入，并使用反卷积层从抽象的特征中恢复像素的类别。使用反卷积操作恢复所得的图像较为粗糙，对此，Ronneberger等人[4]提出的U-Net 在跳跃连接部分改进，从通道维度对像素进行拼接融合得到更厚的特征层，为后续分割提供更多语义信息。

对于二维肝脏切片的分割，Liu 等人[5]提出IUNet，通过增加U-Net 的深度和复制池化层的功能从肝脏CT 序列中分割出肝脏。张泽林等人[6]提出3D条件生成对抗分割网络，同时采用一个由粗到细的3D 自动分割框架对肝脏及肿瘤区域实施精准分割。Wang 等人[7]在U-Net 中引入挤压激励（squeeze-andexcitation，SE）模块、空间金字塔池化和剩余学习技术，提出SAR-U-Net 用于CT 切片中肝脏的自动分割。由于CT 图像是由若干个二维切片组成的三维图像，当使用2D U-Net 进行分割时，无法提取三维图像的inter-slice 特征从而限制了分割结果的准确性。与2D U-Net 相比，3D U-Net 能有效利用相邻肝脏切片之间的inter-slice特征，从而获得更好的分割效果。

对于3D U-Net 能够提取到CT 图像的inter-slice信息的特点，Lu 等人[8]使用3D CNN 同时进行肝脏检测和分割，并采用图割对初始分割结果进行细化。Lei 等人[9]设计反向残余瓶颈块和三维平均池化块应用于LV-Net 中，通过解耦跨通道校正和空间相关性来提取肝脏CT 图像的inter-slice 特征，实现较好的分割结果。Zhang等人[10]基于3DResUNet设计了Hybrid/Dial-3DResUNet，结合混合3D 扩张卷积有效提取肝脏CT 图像的三维特征。这些方法证明3D 卷积提取的inter-slice 和上下文特征能有效分割肝脏，为此，本文将3D U-Net作为研究的基础模型。

由于CT 图像和U-Net 自身的特点，目前对肝脏分割存在的问题有：（1）低级特征和高级特征对于肝脏分割同等重要，而在U-Net 中采用自下而上的特征融合方式忽略了低级特征的重要性，导致网络分割性能较差；
（2）肝脏的形状大小多变，与邻近器官具有相似的灰度值，使得微小的信息容易丢失。

针对以上问题，本文基于3D U-Net 提出一种新的网络结构（multi-scale semantic feature attentionnet，MSFA-Net），该网络通过空洞残差卷积（dilated residual convolution，DRC）充分感知肝脏的多尺度结构；
采用多尺度语义特征注意（mutil-scale semantic feature attention，MSFA）模块充分融合多尺度特征和关注微小特征；
深度监督（deep supervise，DS）将不同解码层的输出特征图求和，以提高分割的准确度。本文的主要贡献如下：

（1）提出了一个新的多尺度语义特征融合注意网络（MSFA-Net）用于肝脏分割。

（2）为了使网络感知更多肝脏的多尺度结构，在原始U-Net 的编码器部分加入空洞残差卷积模块来获得更大的接受域。

（3）为了提高网络对多尺度特征的提取能力并增强特征的传输，提出MSFA 模块，将特征提取层相邻的低级特征和高级特征与注意力机制相结合，以充分融合多尺度特征和关注微小特征，并在网络最后使用深度监督进一步提升分割性能。

1.1 多尺度语义特征融合

使用CNN 实现肝脏的分割需要细节信息和语义信息，如何在网络中高效获得这两个信息来提高分割效果则是一个亟待解决的问题。由于CT 图像中肝脏的尺寸大小变化较大，低级特征更利于较小特征的分割，高级特征具有更大的感受野适合于大目标的分割。多尺度特征融合可以更好提取不同尺寸特征之间的细节信息和语义信息。

在肝脏分割领域，Liu 等人[11]提出SFF-Net，在每个卷积块上提取侧输出，充分利用多尺度特征，通过增加跳跃连接有效地将信息往后传递，使网络能够在提供更抽象语义特征的同时获得更多的细节信息。Chen 等人[12]提出FED-Net，采用基于注意力的特征融合模块从编码器的所有层次中提取多分辨率特征，每个级别的特征融合模块融合了其当前级别的特征和它的更高级的特征。与FED-Net 类似，Feng等人[13]提出的CPFNet 在编码器和解码器之间设计了多个全局金字塔指导模块（global pyramid guidance，GPG）来融合多尺度的上下文信息，并通过重建跳跃连接为解码器提供不同级别的全局上下文信息。

这些融合方式虽然从不同的角度对低层特征和高级特征进行融合，但它们都是采用一种自下而上的方式，即将高级特征与当前层的低级特征融合获得更高的精度。因此，结合多尺度特征是提高分割精度的重要因素之一。

1.2 注意力机制

注意力模型[14]可以模拟人眼来关注有用的信息，在医学图像分割领域，大多数图像中的正例体素和负例体素之间存在巨大的差异。腹部CT 图像中的肝脏形状大小多变，与邻近器官具有相似的灰度值，一些微小的病灶特征在特征提取过程中极易被忽略。注意力机制可以在特征提取时自动学习到需要关注的特征而抑制不重要的特征[15]，从而有效提取微小病灶特征。

Schlemper等人[16]在Attention U-Net中将注意门控（attention gate，AG）与U-Net 相结合，通过自动学习参数来调整激活值，减少有用信息丢失来关注到各种形状大小的肝脏肿瘤。Jin等人[17]提出RA-UNet，使用注意模块在主干分支中学习图像的原始特征，在软蒙版分支专注于减少图像噪声和增强有利于分割的特征，从而得到感兴趣的肝脏体积并从中分割肿瘤。Jiang 等人[18]采用注意力机制和长、短跳跃连接相结合的混合网络体系结构来捕获关键特征，以及长距离和短距离的依赖关系，有效提高分割效率。Xu 等人[19]在PA-ResSeg 网络中提出阶段注意（phase attention，PA）来捕获通道上的自依赖和跨依赖关系，以此使网络能够学习更有代表性的肝脏肿瘤的多阶段特征。随着近阶段Transformer[20]在图像领域的快速应用，Chen 等人[21]提出TransUNet，将Transformer 与U-Net 相结合，使用Transformer的多头自注意力机制提取的全局上下文输入序列，借助U-Net 来恢复局部的空间信息实现了更为精确的定位和分割。总之，考虑将注意力机制与深度分割网络相结合可以在一定程度上提升肝脏的分割效果。

上述多尺度特征融合方式和注意力机制的有效性均在实验中得以验证。在U-Net 中特征融合是由高向低融合的，由此忽略了低级特征的重要性，且CT图像中肝脏形状大小多变，与邻近器官组织灰度值较为相似不易区分，一些微小的细节特征不易被关注等。本文将多尺度特征与注意力机制相结合提高分割效果，与以往提出的自下而上的多尺度特征融合方法不同的是，本文方法针对编码器和解码器对应层的中间特征进行自上而下和自下而上的特征融合来获得更丰富的分割信息。

2.1 基础网络结构

本文基于3D U-Net提出了MSFA-Net。U-Net具有对称的编码器-解码器结构，在编码器部分提取图像特征，在解码器部分恢复图像的尺寸大小，并将提取到的上下文信息通过编码器-解码器之间的跳跃连接来进行传输，使网络可以将编码器提取的不同层次特征用来帮助恢复下采样过程中丢失的细节信息，从而使分割结果更加精确。

MSFA-Net 的网络结构如图1 所示，它在3D UNet 架构上集成空洞残差卷积、多尺度语义特征注意模块和深度监督。在该网络中，首先，为了在不增加模型深度或复杂度的情况下，从广泛的信息区域捕获多尺度特征，在编码器部分使用空洞残差卷积，解码器部分使用残差卷积。然后，针对自下而上特征融合方式忽略了低级语义特征和微小特征易丢失的问题，设计MSFA 模块，使网络在相邻的低级和高级特征的共同指导下获得更多的细节信息和语义信息。同时融入通道和空间注意力机制，利用相邻的高级特征中的语义信息为低层特征提供更抽象的语义信息，以及使用相邻的低层特征的细节信息为高层特征提供更多像素定位信息，由此增强特征的传递。最后，在各层解码器后使用深度监督组合网络不同阶段的分割结果，由此来优化分割结果。表1 列出了特征图的数量和大小。

图1 多尺度语义特征注意网络（MSFA-Net）的总体架构Fig.1 Architecture of multi-scale semantic feature attention network

表1 MSFA-Net的特征图数量和大小Table 1 Number and size of MSFA-Net feature graphs

2.2 空洞残差卷积

不同患者体内的肝脏形状大小差异较大，这些不同尺度的信息对于分割任务尤为重要。分割网络往往会采用一系列的降采样操作来获得更大的感受野，而这样也带来了相应的代价——空间分辨率降低。空洞卷积[22]可以提取分割图像中不同区域所需要的依赖关系，因此，使用空洞卷积替代普通卷积的优势在于：空洞卷积能够设置不同的空洞率改变感受野以捕获多尺度的信息，还能在增加感受野的同时不丢失分辨率。本文提出的空洞残差卷积由两个空洞率分别为1、2 的3D 空洞卷积和经过Conv1×1×1后的残差连接组成，如图2 所示，空洞残差卷积使模型在不增加深度或复杂度的情况下充分感知肝脏的多尺度结构，为后续多尺度特征融合奠定基础。

图2 残差卷积块和空洞残差卷积块Fig.2 Residual convolution block and dilated residual convolution block

2.3 多尺度语义特征注意模块

将浅层特征图的细节信息和深层特征图的语义信息融合可以有效缓解误检、漏检问题。已有许多工作表明了融合多尺度信息的有效性，由于卷积神经网络的高级特征中包含更多的语义信息，语义信息对于分割任务极为重要，大多数工作都是将特征由高向低融合，却忽略了由低向高融合这个方式，低级特征中的细节信息对分割结果的贡献同样不能忽视。此外，使用基于特征通道和空间的注意力机制[23]可以从这两个独立的维度分别推断注意力图，使网络自动学习参数调整激活值来关注感兴趣区域，减少信息在提取过程中的丢失。

本文从自上而下和自下而上方向融合低级特征和高级特征，并使用通道和空间注意力机制，设计了一个如图3 所示的多尺度语义特征注意模块（MSFA）。在这个模块中，对于某一特征提取层，首先使用注意力机制从通道维度将其相邻的低级特征，依次使用全局平均池化-1×1×1 卷积-BN-ReLU-1×1×1 卷积-Sigmoid 获得低级语义信息的权重。与此同时，在空间维度上依次使用1×1×1 卷积-BN-ReLU-2×2×2 卷积-BN-ReLU-1×1×1 卷积-Sigmoid 获得高级语义信息的权重。然后利用其在相邻低级特征中的细节信息对高级特征进行加权，以及其相邻的高级特征中的语义信息对低级特征进行加权。最后与其进行相加来增强特征的传递。对于没有相邻的低级特征的编码器层（Layer1），只需对其相邻高级特征进行加权传输。将得到的通道和空间mask 分别与特征M相乘来对原始特征进行重新校准，而后对结果进行拼接，经过1×1×1 的卷积将通道数变为C，最后与输入特征M相加得到输出特征。对于相邻的高级特征的处理方法与上述步骤一致，只需要将空间维度通过2×2×2 卷积进行上采样操作，减小通道数，增大特征图。

图3 多尺度语义特征注意模块Fig.3 Multi-scale semantic feature attention module

令Fl∈RH×W×C，Fl表示编码器在第l层的特征，其中H、W、C分别表示特征的高度、宽度和通道数。使用此模块所得低级特征通道注意力向量Vc和空间注意力向量Vs为：

使用该模块所得高级特征通道注意力向量Zc和特征空间注意力向量Zs为：

其中，Concat表示特征通道融合操作。

2.4 深度监督

在训练过程中使用网络不同阶段输出的分割结果是影响最终分割效果的一个重要因素。Lee 等人[24]针对深度网络使用深度监督进行了研究，确认对主干网络进行监督确切可以提高网络性能。因此，本文将深度监督应用于每层解码器之后，如图4 所示。使用Conv1×1×1压缩特征，对其进行上采样将低分辨率特征恢复至高分辨率；
然后将各层压缩后的特征与最后一层编码器的输出特征求和，再次经过Conv1×1×1 进行压缩；
最后通过Sigmoid 层得到最终的概率图，用以计算分割误差。作用于解码器各层的额外监督信号能够有效促进网络的训练，提升分割性能。

图4 深度监督Fig.4 Deep supervision

3.1 数据集和数据预处理

为了评价提出的MSFA-Net 模型的性能和泛化能力，本文在LiTS[25]和3DIRCADb[26]数据集上进行训练和测试。

LiTS 数据集：LiTS 共有201 例增强的腹部CT 扫描图像，其中131 例用于训练，70 例用于测试。LiTS中的数据来自不同的临床站点，因此在平面分辨率、切片厚度和切片数量存在差异，它的图像分辨率为512×512 pixel，平面分辨率范围在0.55～1.00 mm，切片厚度为0.45～6.00 mm，切片数量在42 到1 016 之间变化。

3DIRCADb 数据集：该数据集共有20 例静脉期增强CT 图像，分别由10 名女性和10 名男性的3D CT扫描以及临床专家对各种感兴趣结构的人工分割组成。图像的分辨率大小为512×512 pixel，肝脏的尺寸为[16.3～24.9，12.0～18.6，11.0～20.2]（单位：cm），平面分辨率在0.57～0.87 mm，切片厚度在1.6～4.0 mm，切片数量在74 到260 之间变化。

本实验在LiTS 数据集的131 例训练数据集中，随机选择80%和20%的数据分别构造训练集和测试集，在数据集3DIRCADb 上对模型进行测试。预处理操作能在一定程度上提升网络的分割性能，本文对训练数据集进行预处理。预处理的步骤主要有：

（1）Hu 值截断，采用范围为[-200，200]的Hu 值进行截断，此Hu 值范围包含了99%的肝脏区域；

（2）像素值归一化，使用像素值归一化来减小同性质组织之间的差异；

（3）重采样，对每一个数据，每隔3 个切片选择16个连续切片，然后进行重采样，将切片大小从512×512 调整到256×256。

经过这一系列预处理操作，得到2 723 个图像数据用于训练，如图5 所示，预处理后的图像明显区分边界和对比度。

图5 肝脏CT 图像预处理前（左）和后（右）Fig.5 Before(left)and after(right)liver CT image preprocessing

3.2 实验设置

本文的实验是在CPU（Intel Core i7-5500U）、GPU（Nvidia GeForce RTX 2080Ti）、Windows 10 操作系统和PyTorch1.5 的平台上进行。使用Dice 损失函数进行训练，Adam 作为优化器，批大小设置为2，初始学习速率设置为1E-4，并采用指数衰减来对学习率进行动态调整，指数衰减的公式为：

其中，lr表示当前的学习率；
lr0表示初始学习率；
decay_rate则是学习衰减率，这里设为0.95；
global_steps和decay_steps则分别代表当前的迭代次数和衰减速度，一共进行了50 次epoch 迭代训练。将肝脏分割输出的阈值设为0.7，对每个输出结果的像素点进行预测，大于等于阈值的判为1，反之判为0（1 表示肝脏区域，0 表示非肝脏区域）。

3.3 损失函数

肝脏在整个CT 图像中占比相对较小，对其进行分割时，大面积的背景很可能导致学习过程陷入损失函数的极小值，即将正样本判断为负样本。针对医学图像样本分布不平衡导致预测结果偏差较大的问题，采用合适的损失函数可以减小分割图像和标注之前的差距，获得高置信度的分割图像。

Dice 相似系数[27]是医学图像分割中常用的评价指标，通常用于计算两个样本的相似度。Dice 损失函数的定义为式（7），其灵感来自Dice 相似系数，目的是最小化正负样本之间的重叠度。

其中，N表示图像中的体素总数；
pi是预测的二元分割体素；
gi是真实标注的二元体素；
ε是一个光滑项，以避免除数项为0，在实验中设置为1。

3.4 数据后处理

通过观察分割结果可知，对模型进行肝脏分割所得的概率图，仅使用阈值得到的分割结果的精确性还有待提升；
且当分割结果中存在空洞的情况，分割的效果往往较差。对此，本文对预测结果进行后处理，采用四连通区域提取最大连通域来移除细小区域，并对内部空洞进行填充，允许的最大空洞面积为5E4。后处理结果如图6 所示。

图6 肝脏分割结果的后处理前（左）和后（右）Fig.6 Before(left)and after(right)post-processing of liver segmentation results

3.5 评价指标

医学图像分割中常用的主要评价指标是Dice 相似系数，Dice 相似系数可分为DC（dice per case，每个volume 的Dice 系数的平均值）和DG（dice global，所有volume 合并到一起得到的Dice 系数）。除此之外，还使用Jaccard、VOE（volumetric overlap error）、RVD（relative volume difference）、ASSD（average symmetry surface distance）和MSSD（maximum symmetry surface distance）等评价指标来评估分割结果与真实标注之间的相似性。DC、DG 和Jaccard 的取值范围为[0，1]，它们的值越接近1 分割效果就越好；
VOE、ASSD 和MSSD 的值越小模型性能越好；
而对于RVD，则是绝对值越小，模型的性能越好。

3.6 消融实验

在这一部分，采用消融分析来对提出的肝脏分割模型的有效性进行评估。将3D U-Net 作为基线网络，依次将空洞残差卷积（DRC）、深度监督（DS）和MSFA 模块融入其中进行实验。

表2 中的数据显示，在LiTS 数据集上，使用了DRC 模块的网络在各个评价指标上均有明显的提升，说明通过DRC 模块增大感受野使网络能够感知更多肝脏的多尺度信息。DS 模块组合解码器各层的输出对分割结果有一定的优化作用。MSFA 模块充分融合了网络特征提取层相邻的低级和高级语义特征，并结合注意力机制关注到微小特征，在7 个评价指标上具有比较明显的优势。各个模块对于网络分割性能的提高均有一定的有效性。最终，将以上模块融合得到本文提出的分割模型MSFA-Net，该模型在LiTS 数据集上的主要评分数据DC 和DG 相比基线3D U-Net，分别提高了3.5%和2.0%。

表2 在LiTS 数据集上的消融实验结果Table 2 Results of ablation experiments on LiTS dataset

表3 中的数据显示，在3DIRCADb 数据集上，对于肝脏分割任务，在基线网络的基础上分别使用提出的各个模块的评分数据均有增长，且最终提出的分割模型MSFA-Net 的各个评分数据提升最为明显，在主要的DC 和DG 评分上分别提高了3.5%和3.3%。由此证明，本文提出的模型在不同数据集上同样能表现出较好的分割效果，也进一步验证依次使用改进模块融入基线网络可以改进3D U-Net 的不足，提出的改进方法能获得良好的分割性能。

表3 在3DIRCADb 数据集上的消融实验结果Table 3 Results of ablation experiments on 3DIRCADb dataset

图7 是基线3D U-Net、3D U-Net +DRC、3D UNet +DS、3D U-Net +DRC+DS、3D U-Net+MSFA、MSFA-Net 等模型的分割结果对比图，其中红色实线表示Ground Truth，蓝色实线表示以上几个模型的分割结果。使用的测试图像在验证过程中不作任何处理，这里为了便于观察，在图中给出的测试图片都是经过预处理后的。由图可知，所有的模型均能将肝脏分割出来，但都存在不同程度的欠分割或过分割。在第二行和第三行中，对于图像中存在不连续且微小的特征时，使用基线3D U-Net 只能得到一个粗略的分割结果，通过进一步应用MSFA 模块的注意力机制可以关注到这些微小特征，使MSFA-Net 获得更加精细的肝脏区域。最终，MSFA-Net 结合空洞残差卷积、MSFA 模块和深度监督，在测试集上所得的分割结果最接近于Ground Truth（红色实线与蓝色实线基本重合）。

图7 不同方法的分割样本比较结果Fig.7 Comparison results of sample segmentation by different methods

3.7 与其他方法比较

最后，为了评估MSFA-Net 对肝脏分割的有效性和可行性，将MSFA-Net与其他的在LiTS和3DIRCADb数据集上表现优异的深度学习方法进行比较，比较结果如表4 和表5 所示。

表4 MSFA-Net与其他方法在LiTS 数据集上的比较Table 4 Comparison of MSFA-Net and other methods on LiTS dataset

表5 MSFA-Net与其他方法在3DIRCADb 数据集上的比较Table 5 Comparison of MSFA-Net and other methods on 3DIRCADb dataset

对于肝脏分割，由于MSFA-Net 中加入空洞残差卷积可以提取较多肝脏的多尺度信息，MSFA 模块能够较好地融合利用相邻高层和低层特征提取层的语义信息和细节信息；
深度监督对解码器各层特征求和进一步提高了分割性能，使得本文方法获得较好的分割结果。从表中数据显示，与其他方法相比，本文方法在主要的评价指标DC 和DG 上实现了较高值，且在其他辅助评价指标上也取得了不错的结果，对于肝脏分割优于大多数方法。因此证明，本文方法的整体性能优于表中的其他类似算法。

本文提出了一种基于3D U-Net 改进的多尺度语义特征注意网络，用于从腹部CT 图像中分割出肝脏。在该模型中，首先使用空洞残差卷积来充分感知肝脏的多尺度结构；
然后采用多尺度语义特征注意（MSFA）模块，将特征提取层相邻的低级特征和高级特征与注意力机制相结合来充分融合多尺度特征和关注微小特征，以此提高网络对上下文特征的提取能力并增强特征的传输；
最后使用深度监督增强梯度传输，以提高分割的一致性。

实验结果表明，本文方法取得了较好的分割性能，与同类型的其他网络进行对比，进一步验证了改进网络和MSFA 模块的有效性。然而，本文方法还存在一定的不足，3D 卷积神经网络虽然能够提取三维CT 图像的inter-slice 特征，但是这样的网络参数量较大，且需要较高的计算成本。在后续的工作中将会考虑如何降低网络参数，从而更好地辅助肝脏疾病诊疗任务。

猜你喜欢尺度语义卷积基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02财产的五大尺度和五重应对内蒙古民族大学学报（社会科学版）(2020年2期)2020-11-06语言与语义开放教育研究(2020年2期)2020-03-31从滤波器理解卷积电子制作(2019年11期)2019-07-04基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20宇宙的尺度太空探索(2016年5期)2016-07-12“上”与“下”语义的不对称性及其认知阐释现代语文(2016年21期)2016-05-25认知范畴模糊与语义模糊大连民族大学学报(2015年2期)2015-02-279时代英语·高三(2014年5期)2014-08-26一种基于卷积神经网络的性别识别方法电视技术(2014年19期)2014-03-11