多尺度空洞U-Net网络的电影CMR图像分割
时间：2023-01-18 22:50:05 来源：柠檬阅读网 本文已影响 人 
王建军，李婉晴，张 敏
(河北经贸大学 信息技术学院，河北 石家庄 050061)
心血管疾病(cardiovascular disease，CVD)是全球死亡率最高的疾病，心脏影像学是评估和诊断心脏疾病的常规手段，心脏磁共振成像(cardiac magnetic resonance，CMR)被认为是一种无创评估心血管系统功能和结构的方法，对CMR图像切片进行病理分析是目前诊断心脏疾病的常用方法[1]。精确分割左心室(left ventricle，LV)、右心室(right ventricle，RV)和心肌(myocardium，Myo)是对图像进行病例分析的关键环节，对心血管疾病的诊断和治疗具有重要的意义[2-4]。但是由于CMR图像中心脏与周围组织的对比度差、轮廓不清晰、噪声大及呼吸运动伪影等影响，极大地增加了分割心室和心肌的难度。针对CMR图像分割的传统方法有活动轮廓[5]、水平集[6]和图割方法[7]。这些传统的方法过多依赖先验知识，并且存在一定的局限性，很难提高CMR分割的准确性。
近年来，基于深度学习的方法在图像分割领域取得了很大的进展。Abdeltawab等人[8]使用FCN(fully convolutional network，FCN)[9]用于分割，提出了一种用于分割短轴图的密集连接卷积网络。他们采用一种有效的基于FCN的方法从心脏MRI中提取左心室感兴趣区域(ROI)，以缓解类别不平衡的问题，并采用另一种FCN基于ROI进行左心室腔和心肌分割。此外引入了一个称为径向损失的新损失函数，以最小化LV的预测轮廓和真实轮廓之间的距离，取得了很好的分割结果。然而，该网络的下采样过程会导致细节信息丢失，对小物体的分割效果不佳。Cui等人[10]使用U-Net[11]网络架构，引入图像金字塔和深度监督输出层全自动学习关注各种大小和形状的目标结构，有效提高了心脏分割的准确性。然而，该网络在上采样时会造成图像中心室和心肌边缘细节丢失，存在分割差的问题。
该文提出一个基于迁移学习和多尺度空洞U-Net网络(transfer learning and multi-scale dilated U-Net networks，TLMD-UNet)用于左心室、右心室和心肌的分割，利用迁移学习方法将Xception模型[12]在ImageNet数据集上训练好的权重信息迁移到目标网络中，解决了CMR图像标记数据量少的问题。在U-Net网络的下采样中引入多尺度空洞卷积模块(multi-scale dilated convolution block，MDC-Block)扩大了感受野，提取了丰富的多尺度CMR图像信息；
上采样阶段拼接下采样过程中每个池化层前的全部卷积层提取的特征，避免U-Net网络仅拼接每个池化层前最后一层特征造成的细节信息丢失问题，提高了CMR图像中左心室、右心室和心肌边缘分割的精确度。
1.1 迁移学习
在处理医学分割问题时，数据量不足是限制医学分割研究的一个重要方面[13]。由于数据需要医学专家手工标记非常耗时耗力，往往获得的数据集仅有几百张或几千张训练图片，难以满足训练需求。然而，大量的数据集能提取更多的信息特征，泛化能力强，较小的数据集容易产生过拟合现象。因此，该文使用迁移学习[14]，将从源数据集上学习到的权值转移到数据量不足的目标网络，对目标数据集进行训练，然后使用一些标记的目标域数据对预训练的目标网络进行微调，使目标域获得更好的学习和表现。
该文采用图1所示的迁移学习方法实现CMR图像的分割网络。但是由于ImageNet数据集中的图像与CMR图像特征差别较大，网络往往不能通过先验知识学习到较多的CMR图像特征，所以使用ImageNet预先训练好的权值对模型进行初始化后，将预训练目标网络模型的层再使用目标域数据进行逐层微调，更新和优化这些层的参数，加快网络的收敛速度，提高网络的特征学习能力，避免直接对整个网络进行微调产生较大的计算量。迁移学习中的权重初始化和微调过程如图2所示。
1.2 MD-UNet模型
采用U-Net网络分割图像时，其编码阶段采用单尺度卷积核提取特征，容易造成细节信息的遗漏；
解码阶段跳跃连接只拼接了每个池化层前最后一个卷积层的信息特征，且该层相对其他层分辨率相对较小，保留的信息少，限制了模型性能的提高。因此，该文使用多尺度空洞U-Net网络模型(multi-scale dilated U-Net networks，MD-UNet)，引入多尺度空洞卷积模块，将空洞卷积及多尺度思想引入神经网络，将编码阶段不同大小膨胀率的空洞卷积提取的信息融合成多尺度特征传播到解码阶段。使用空洞卷积代替普通卷积扩大了感受野，并且将池化层前的所有卷积层的特征进行融合传入解码阶段，有效解决了CMR图像切片边界曲线欠分割的问题。
1.2.1 空洞卷积
空洞卷积[15]在普通卷积中增加权重值为零的空洞，在保持参数不变的同时增加特征信息的感受野，超参数膨胀率rate控制着感受野的大小，膨胀率越大感受野越大。如图3所示，膨胀率为[1，2，3]的空洞卷积，等效的核大小分别是[3，5，7]。对于膨胀率为r的空洞卷积，实际卷积核计算如公式(1)所示：
kr=k+(k-1)×(r-1)
(1)
其中，k表示原始卷积核大小，kr表示扩张后的卷积核大小。通过设置不同大小膨胀率的空洞卷积能够捕获特征图中的多尺度信息，这有助于对大目标和小目标进行精确分割。
1.2.2 多尺度特征融合
在深度学习神经网络提取特征信息时，随着网络逐渐加深，感受野变大，提取的特征信息更具有全局性。U-Net网络编码阶段经过4次降采样操作，每次降采样池化层前经过多层卷积操作，解码阶段在解池化操作中通过跳跃连接仅拼接了每次池化操作前最深一层的特征图信息(如图4(a)所示)，忽略了包含更大尺寸以及具有更加丰富细节信息的浅层特征，容易造成细节信息的遗漏，影响CMR图像分割效果[16]。为了弥补这一不足，该文将编码阶段每个池化操作前提取的浅层特征和深层特征进行特征融合一起传入到解码阶段(如图4(b)所示)，使得网络提取更加精细的特征，提高CMR图像边界分割的精确度。
1.2.3 多尺度空洞卷积模块
多尺度空洞卷积模块(multi-scale dilated convolution block，MDC-Block)融合了空洞卷积和多尺度提取特征的优点，首先使用r=1、r=2和r=5三种膨胀率的3*3空洞卷积依次进行特征提取，小膨胀率的空洞卷积的感受野大小为3*3，用来获取CMR图像的细节特征信息，大膨胀率的空洞卷积感受野大小为11*11，用来获取更具有全局性的特征信息；
然后将浅层特征和深层特征进行特征融合，使得编码阶段提取到的特征更加精细准确，解码阶段跳跃连接引入的信息更加完整，提高了CMR图像左心室、右心室和心肌的分割精确度；
最后将融合的特征采用1*1卷积恢复特征图通道维度。多尺度空洞卷积模块结构如图5所示。
1.2.4 MD-UNet网络结构
MD-UNet网络的整个架构如图6所示，使用编码器-解码器作为基本网络。编码阶段用于捕获CMR图像的上下文信息，解码阶段使用双线性插值方法逐步恢复图像的分辨率大小，且通过跳跃连接与编码阶段同一阶段的特征图进行拼接，减少网络下采样多次卷积池化造成的信息损失，对图像的感兴趣区域精准定位，从而实现左右心室及心肌的精确分割。
网络的编码阶段由多尺度空洞卷积模块和池化层交替构成，每个多尺度空洞卷积模块包括三个不同膨胀率(r=1、r=2和r=5)的空洞卷积，并且将模块中卷积层提取的信息进行特征融合，再使用1*1的卷积恢复特征图通道维度，能够获得更多CMR图像的细节信息，使用批归一化层增加模型的训练速度，提高网络分割精度，并采用ReLU激活函数加强网络模型的表达能力[17]。解码阶段包括卷积块、上采样和Softmax输出，通过跳跃连接将每一阶段编码器与解码器进行特征图拼接，使得网络获得更多感兴趣区域(ROI)的特征信息，提高分割准确率，最后使用Softmax对像素分类以完成最终的CMR图像分割。
该文采用交叉熵损失函数和Dice损失函数的混合损失函数作为分割心室和心肌的损失函数。Dice损失函数用于衡量两个样本的重叠程度，但是其梯度计算形式比较复杂，反向传播时容易梯度剧烈变化，导致训练不稳定。交叉熵损失函数梯度计算简单，但不能解决前景类与背景类之间的不平衡问题，并且在分割多类输入图像时，分割性能不佳[18-19]。将两者损失函数相结合，可以有效提高分割过程中的训练稳定性和分割精度。交叉熵损失函数和Dice损失函数如式(2)和式(3)所示：
(2)
(3)
其中，M是类别数目，N是每个批次中的像素集，g是标签图像的one-hot值，s是预测样本为类别c的概率值。CMR图像分割的混合损失函数如式(4)所示：
L=LCE+LDice
(4)
3.1 实验数据集和实验环境
实验数据由55例病人的短轴CMR图像数据组成，其数据存储为Nifti格式，短轴切片约8～10个，相邻切片之间的距离为10 mm～20 mm。每个Nifti文件包含一个病人心脏不同切面的25帧影像数据，每个病例由200多张图片组成。33例CMR图像数据为训练集，11例为验证集，11例为测试集。图7展示了一个病人的一张原始图像和对应的标签图像。
实验使用的深度学习框架是pytorch，torch==1.2.0，torchvision==0.4.0环境，编译器为Pycharm，并使用NVIDIA GeForce RTX2080S(8G)进行训练加速，采用windows10操作系统，编程语言python3.7，每次训练时间约为12个小时，采用Adam优化器，学习率为0.01，batch size为16，epoch为300，动量参数为0.9。
3.2 数据预处理
首先提取ROI区域，选择一个正方形区域，包括必要的心脏和不可避免的近邻。通过傅里叶分析提取第一谐波图像，在每一个切片相应的心跳频率上捕获最大的活动。假设左心室近似于一个圆，对第一次谐波图像进行canny边缘检测。利用圆形霍夫变换方法从边缘映射中计算出左心室的近似半径和中心[20]。进而裁剪出感兴趣区域，将图像一致调整成128*128。然后将裁剪后的数据归一化，避免像素灰度范围分布较大影响分割效果。另外，使用数据增强对数据进行扩充，防止模型发生过拟合，方法是对输入的CMR原图像及其对应的金标准图像进行平移、缩放、水平和垂直翻转。
3.3 评价指标
为了检测模型的分割效果，该文使用Dice系数、召回率(recall)、精确率(precision)和Hausdorff距离(HD)作为评价指标。
Dice系数表示两个样本重叠程度，取值范围是[0，1]。指数越接近于1，分割结果越好。Dice系数如公式(5)所示：
(5)
Hausdorff距离(HD)表示两个样本之间的对称距离，HD数值越小，方法越好。Hausdorff距离如公式(6)所示：
(6)
精确率(precision)表示预测是正的样本被预测正确的概率。精确率如公式(7)所示：
(7)
召回率(recall)表示样本中正样本被预测正确的概率。召回率如公式(8)所示：
(8)
其中，TP表示预测是正例实际上也是正例的样本，FP表示预测是正例实际上是负例的样本，FN表示预测是负例实际上是正例的样本，a、m分别是A、M上的像素点，d是a和m之间的距离。
3.4 实验结果及分析
基于改进的U-Net网络对CMR图像中的左心室、右心室以及心肌的分割结果如图8所示，其中(a)表示输入的原始CMR图像，里面包含了心脏以及除心脏以外的多个组织器官，(b)和(c)分别表示待分割图像对应的专家标注的标签图像和文中模型的预测分割结果。如图8所示，文中算法能准确地从CMR图像中分割出心室和心肌，预测结果接近专家手动分割图像。
为了进一步评价文中算法的分割性能，使用Dice系数、精确率(precision)、召回率(recall)和Hausdorff距离(HD)四个指标分别计算左心室(LV)、右心室(RV)与心肌(Myo)的分割结果，并且使用Dice系数和Hausdorff距离两个评价指标将文中算法与其他算法进行了比较。
表1为改进的U-Net网络模型使用交叉熵和Dice组合的混合损失函数对左心室、右心室以及心肌的分割结果。可以看出，左心室的平均Dice系数高于心肌和右心室，平均Hausdorff距离左心室最低，右心室最高，左心室分割效果好，可能是因为左心室与周围组织之间相对右心室与心肌来说对比比较强烈。右心室有着最低Dice系数和最高Hausdorff距离，可能和右心室不规则形状以及边界不清晰有关。
表1 网络分割评估均值
文中算法与U-Net、DeepLab和研究心脏分割的文献[17，21]方法进行了比较，每种算法都使用相同的数据集与损失函数，采用Dice系数和Hausdorff两种指标评估CMR图像中左心室、右心室和心肌的分割精度。结果如表2所示，相比于其他实验分割算法，文中算法的分割效果最好，平均Dice系数是0.902，平均Hausdorff距离是4.219 mm。说明文中算法存在一定优势，分割效果比较理想。
表2 文中算法与其他分割算法对比
针对医学图像标注数据量少难以满足研究需求的问题，使用迁移学习方法，将Xception模型在ImageNet数据集上训练得到的网络权重参数和结构对目标网络进行迁移，提高目标网络的特征学习能力。针对U-Net网络丢失边缘细节信息问题，加入多尺度空洞卷积模块，提高了CMR图像切片边界的分割精度。实验结果表明，该网络模型比较完整地保留了CMR图像的细节特征信息，能够有效实现左心室、右心室以及心肌的准确分割。
猜你喜欢 右心室空洞左心室 致心律失常性右室心肌病的临床特点及超声心动图表现临床医学工程(2022年5期)2022-05-19番茄出现空洞果的原因及防治措施今日农业(2021年11期)2021-11-27心电向量图诊断高血压病左心室异常的临床应用昆明医科大学学报(2021年4期)2021-07-23合并肺动脉高压的右心室双出口肺动脉环缩术后Ⅱ期手术治疗效果分析心肺血管病杂志(2020年5期)2021-01-14如何避免想象作文空洞无“精神”学生天地(2020年18期)2020-08-25右心功能如何进行超声评估学习与科普(2019年3期)2019-09-10高血压伴左心室肥厚如何选用降压药？科学养生(2018年6期)2018-10-15空洞的眼神故事作文·高年级(2017年2期)2017-03-01心肌梗死：左右大不同大众健康(2016年6期)2016-08-03组织多普勒技术对肝硬化肾功能损害患者左心室舒张功能障碍的评价医学研究杂志(2015年12期)2015-06-10
