基于变换域VGGNet19的红外与可见光图像融合

李永萍，杨艳春，党建武，王阳萍

〈图像处理与仿真〉

基于变换域VGGNet19的红外与可见光图像融合

李永萍，杨艳春，党建武，王阳萍

（兰州交通大学 电子与信息工程学院，甘肃 兰州 730070）

针对红外与可见光图像融合中出现细节信息丢失及边缘模糊的问题，提出一种在变换域中通过VGGNet19网络的红外与可见光图像融合方法。首先，为了使得源图像在分解过程中提取到精度更高的基础与细节信息，将源图像利用具有保边平滑功能的多尺度引导滤波器进行分解，分解为一个基础层与多个细节层；
然后，采用具有保留主要能量信息特点的拉普拉斯能量对基础层进行融合得到基础融合图；
其次，为了防止融合结果丢失一些细节边缘信息，采用VGGNet19网络对细节层进行特征提取，L1正则化、上采样以及最终的加权平均策略得到融合后的细节部分；
最后，通过两种融合图的相加即可得最终的融合结果。实验结果表明，本文方法更好地提取了源图像中的边缘及细节信息，在主观评价以及客观评价指标中均取得了更好的效果。

图像融合；
引导滤波；
VGGNet19；
拉普拉斯能量；
红外与可见光图像

根据成像原理，红外图像是通过“测量”物体向外辐射的热量获得，描述的是目标与背景所保持温度的差异，具有较高的对比度和突出目标的优势；
而可见光图像的优点在于主要呈现场景中的细节以及纹理信息，不容易受到温度等的影响[1-5]。由此，同一场景下的红外图像与可见光图像中的信息具有一定的互补性。在同一场景下，为了实现信息的互补，可通过红外与可见光图像融合技术来获取一幅具有更全面目标和场景信息的图像。目前在目标跟踪、智能监控、视频分析等领域红外与可见光图像融合有着广泛的应用[6-9]。

近年来，在图像融合领域中由于深度学习具有较强的特征提取能力而得到了深入研究。文献[10]提出了一种基于CNN的图像融合方法，通过训练使网络具有分类能力，通过二值化和两个一致性策略得到决策映射，并由该映射作为权重重构融合图像；
文献[11]提出基于生成对抗网络FusionGAN的红外与可见光图像融合方法；
文献[12]在现有基于GAN图像融合方法的基础上，提出了一种基于双路级联对抗机制的融合方法，在生成器模型中采用双路级联的方式进行特征提取，在判别器模型中采用双判别方式生成融合图像；
文献[13]中提出通用的卷积神经网络图像融合模型，以端到端的方式进行训练，利用两个卷积层从多个输入图像中提取特征，并根据输入图像类型选择适当的融合规则进行融合得到融合图像；
文献[14]建立权重独立的双通道残差卷积神经网络，对可见光与红外频段下的目标图像进行特征提取，生成多尺度复合频段特征图组的融合方法。目前学者们利用深度学习方法在红外与可见光图像融合上取得较好的融合效果，但是在融合过程中没有结合图像的尺度信息，往往影响融合图像的视觉效果，容易出现细节丢失、边缘模糊以及出现伪影等的问题。

多尺度变换方法通常将图像中的信息分为结构信息和细节信息，通过深度学习结合多尺度变换方法可以更好地提取源图像的结构信息，有效保留源图像的细节信息，从而进一步提升融合图像质量。引导滤波是一种重要的多尺度变换方法，具有保边平滑和复杂度较低等特性。本文提出了一种基于变换域VGGNet19网络的红外与可见光图像融合算法。首先，通过引导滤波进行分解，获取到包含源图像大尺度信息的基础层和包含细节信息的细节层；
然后，采用拉普拉斯能量对基础层进行融合得到基础融合图，细节层通过VGGNet19网络进行多层特征提取，L1正则化、上采样以及最终的加权平均策略得到细节融合图；
最后，通过相加得到最终结果。

1.1 引导滤波

引导滤波器（guided filter，GF）在图像融合领域是一种高效的图像边缘保持平滑滤波器[15]，其被定义为一个局部线性模型，其滤波时间与滤波器尺寸是相互独立的。设为引导图像，为滤波输入图像、为滤波输出图像、假设滤波器输出结果与引导图像为线性变换，则有：

P＝aJ＋b；
"Î(1)

式中：是大小为(2＋1)×(2＋1)的矩形窗口；
J表示像素强度；
线性系数a和b为内的常数；
和为像素索引，若引导图像存在边缘，为了使滤波输出图像保持与相似特性的边缘，可通过最小化该局部线性模型的方式，因为Ñ＝aÑ，故引导滤波器具有边缘保持特性，即滤波输出图像是滤波输入图像去除纹理或噪声后的图像，公式如下：

P＝I－n(2)

式中：为待滤波图像，采用最小二乘法，求出a和b：

正则化参数＞0；
为引导图像在窗口中的均值；
2为在中的方差；
||为中所包含像素的个数；
为在窗口中待滤波图像的均值。由于一个像素可能同时出现在多个窗口，因此，可通过对多个窗口的线性函数值取平均的方式计算该点输出，公式如下：

式中：为以为窗口中心像素的包含所有像素的窗口。

1.2 VGGNet网络

VGGNet网络是一种结构加深了的卷积网络，其验证了增加网络的深度确实可以提高网络本身的性能，核心思想是通过利用较小的卷积核来增加网络深度，通过加深结构来提升性能[16]。VGGNet19网络模型中共有19个权值层，通常为16个卷积核大小为3×3的卷积层和3个全连接层。其主要目的是通过非线性深层网络来提升网络的学习性能，以达到更好的应用效果。在图像处理中，对于输入图像的局部大小，通过小卷积核进行特征提取较大卷积核具有更优的性能，而VGGNet19网络具有卷积核小以及网络深度深的特性。因此，将VGGNet19网络应用于图像融合领域能够提取更精确的特征信息，以达到更好的融合效果。VGGNet19网络架构如图1所示。

2.1 本文方法结构

本文方法主要分为3部分：1）源图像多尺度分解：源图像分解通过引导滤波完成，得到一层基础信息和多层细节信息；
2）基础层与细节层融合策略：基础层通过拉普拉斯能量进行融合得到新的基础部分，细节层输入到VGGNet19网络，进行特征提取操作、L1正则化、上采样以及最终的加权平均策略得到新的细节部分；
3）多尺度图像重构：将得到融合图像的基础图像和细节图像通过相加，即可获得最终的融合结果。图2为本文算法思路框图。

图1 VGGNet19网络结构模型

图2 本文算法思路框图

2.2 引导滤波分解

为了使最终的融合图像包含更多红外图像的细节信息与可见光图像丰富的边缘信息，本文采用引导滤波对源图像进行多尺度的边缘保持分解（multi-scale guided filter decomposition, MGFD）。首先假设输入的源图像为，对其进行级分解，会得到一幅基础图像b－1和－1幅细节图像d(＝1,2,…,－1)。具体计算公式如下：

式中：0＝，和为引导滤波的两个自由参数，可通过相加完成重构，即：

2.3 融合策略

在图像融合领域，融合策略的选择将直接决定最终融合图像效果，拉普拉斯算子是基于像素的算子，具有提高图像对比度与清晰度的优势，因此本文选用拉普拉斯算子进行基础层的融合；
VGGNet19网络是一种卷积核较小的深层网络模型，具有较高的网络性能，在细节层中能够提取到更多细节纹理信息，由此选用该网络来进行细节层的特征提取。

1）基础层融合策略

由于将源图像经过引导滤波多尺度边缘保持分解后，其基础信息主要表示融合图像的轮廓信息，因此为了有效地保留源图像的主要能量信息，本文采用性能优异的拉普拉斯算子（Laplacian operator）进行基础图像的融合，能够有效克服图像中清晰度与对比度下降问题，提高图像的局部清晰度，为最终的融合提供具有更高清晰度的基础层融合图像。过程如下：

式中：(,)为(,)处的基础层系数，(,)为的中心位置，大小为×的窗口，取3。本文算法用到的窗口矩阵为[－1,－4,－1;－4, 20,－4;－1,－4,－1]。

2）细节层融合策略

细节层主要包含源图像的细节及纹理信息，对细节层的处理直接影响融合图像是否清晰以及边缘失真是否严重。对于细节部分，先使用VGGNet19提取特征得到特征层；
然后由特征层通过加权平均策略得到最终权重层；
最后将最终权重层作为权重系数得到细节层融合图像d。设细节信息为d J、表示第层中第个细节信息提取的特征映射，是第层的通道数，故：

＝(Id)，Î{1,2,…,}，＝64×2－1(13)

式中：i(×)为特征提取层，＝{1,2,3,4,5}分别表示relu_1_1，relu_2_1，relu_3_1，relu_4_1，relu_5_1，在得到特征映射后，通过L1正则化来获取该特征映射的活跃度水平映射，公式如下：

式中：1:M为维向量，表示特征映射中(,)处层的内容。在得到活跃度水平映射后，通过softmax层获取初始权重映射：

式中：(,)为在[0,1]范围内的初始权重映射值；
为活跃度水平数量取2。在VGGNet网络中最大池化层相当于子采样过程，本文算法中，步长设为2，因此在不同层特征映射图的大小为细节内容大小的1/(2－1)，Î{1,2,3,4,5}，在得到初始权重映射后，进行上采样操作，将权重映射大小恢复至输入图像大小得到最终权重映射（大小与输入图像大小一致），公式如下：

即为上采样的过程，权重映射图的数目为2对，Î{1,2,3,4,5}，初始融合细节：

细节信息融合结果：

3）图像重构过程

(,)＝b(,)＋d(,) (20)

3.1 实验说明

本文红外与可见光源图像选取公共数据集TNO中的21组图像进行实验，实验仿真平台采用Intel酷睿i7-1065G7 CPU，编程环境为Matlab 2019b。为验证算法性能，本文选定6组已配准图像进行实验分析，其大小分别为360×270 pixel、632×496 pixel、505×510 pixel、640×480 pixel、360×270 pixel、595×328 pixel。为验证本文算法的可行性与有效性，将本文方法的融合结果与文献[13]全卷积融合算法（image fusion framework based on convolutional neural network, IFCNN）、文献[17]卷积稀疏表示模型（convolutional sparse representation, CSR）、文献[18]基于显著检测的联合稀疏表示模型（JSR model with saliency detection fusion method, JSRSD）、文献[19]加权最小二乘优化方法（weighted least square, WLS）、文献[20]梯度滤波算法（gradient structural filter, GSF）、文献[21]基于空间频率激励脉冲耦合神经网络的非下采样Contourlet变换域图像融合算法（nonsubsampled contourlet transform，NSCT）、文献[22]拉普拉斯结合卷积神经网络（Laplace-cnn, Lp-cnn）7种方法进行了对比。引导滤波多尺度算法的参数设置为：分解层数＝4:1＝25,2＝14,1＝0.1,2＝10－2。

3.2 主观评价

通过6组实验的融合结果如图3所示，Img1中CSR人物旁边有晕染，JSRSD、GSF和Lp-cnn缺少细节信息（呈现白块），IFCNN、WLS和NSCT包含少量的纹理信息，但不如本文所包含信息丰富；
Img2中CSR和NSCT有噪声以及晕染块的出现，路灯处JSRSD和Lp-cnn轮廓不分明，缺少可见光图像中的边缘信息，WLS、DTCWT和GSF虽然存在一些细节纹理信息，但相比本文方法，对比方法人物衣服线条不如本文分明；
Img3中整体来看，CSR、JSRSD均出现噪声块，天空有较多晕染，NSCT天空处出现伪影，本文方法相比WLS和GSF在船顶端处有更加丰富的纹理信息，本文较IFCNN、Lp-cnn云层处的轮廓更加分明；
Img4中天空及房屋墙面上CSR、WLS均有噪声出现，NSCT在边缘处有晕染，本文在没有噪声晕影出现的情况下相比GSF、Lp-cnn可以明显看出人物及房屋边界更加清晰；
Img5中整体来看CBF、CSR和Lp-cnn存在树木边缘信息丢失的情况，JSRSD和NSCT人物边缘出现晕染，IFCNN、GSF和WLS通过放大图来看，人物轮廓不如本文分明；
Img6中从树木边缘来看，CBF、CSR、WLS、JSRSD、GSF、Lp-cnn、NSCT均出现边缘晕染，从放大图看本文相对较少，并且包含更多飞机头部位的纹理信息。该6组实验中有5组实验CBF和CSR其实验结果具有较多噪声和晕染，显著性特征不够清晰。IFCNN、JSRSD、NSCT方法除显著特征外其他区域细节模糊，对比度不高，其次更多地保留红外图像的特征，亮度偏高。GSF、Lp-cnn和WLS融合后图像，区域过渡不够自然，缺少小区域部分的细节纹理信息。通过以上7种方法的对比，本文所提方法其融合结果晕影和块效应不明显，边缘轮廓分明，包含更多的细节信息，具有更高的对比度。

图3 实验结果：(a) 红外图像 (b) 可见光图像 (c) IFCNN (d) CSR (e) JSRSD (f) WLS (g) GSF (h) NSCT (i) Lp-cnn (j) 本文

Fig. 3 Experimental results: (a) Infrared image(b) Visible image(c) IFCNN(d) CSR(e) JSRSD (f) WLS(g) GSF(h) NSCT(i)Lp-cnn(j) Ours

三维分析对比图可以较好地表示融合结果图中细节与纹理信息的分布情况。如图4所示，以Img1为源图像，可以看出同一场景下红外图像和可见光图像在三维分析中所表现出来的特征信息，红外图像可根据温度的高低区分图像，可见光图像则根据光照的亮度来区分场景信息。本文算法结果图与对比方法结果图的三维分析结果。相比本文算法IFCNN方法、CSR方法以及NSCT方法从图像看均有少量噪声伪影出现，在三维分布中可以看出轮廓信息有过拟合现象；
JSRSD方法与WLS方法虽分布较为均匀，但细节边缘线条不及本文算法清晰；
GSF方法以及Lp-cnn方法蓝色分布缺少，即轮廓不够明显，因此，从三维分析图可以看出，本文算法具有细节纹理清晰的优势。

3.3 客观评价

为验证算法性能及图像融合质量，本文对融合结果的定量分析主要采用5种在图像融合方面广泛使用的评价指标，依次为图像像素特征互信息（FMI-pixel）、离散余弦特征互信息（FMI-dct）、小波特征互信息（FMI-w）、相位一致性的度量（phase congruency-based Metric，P）以及图像结构相似程度的度量（structural similarity-based metric，Y）。其中FMI-pixel、FMI-dct、FMI-w分别从不同角度计算融合图像与源图像的特征互信息（feature mutual information，FMI）[23]，值越大，则说明融合图像与源图具有较高的信息相关性，即在融合过程中损失的细节信息越少；
P用于测量从源图传输到融合图像其边缘与角点信息；
Y测量融合图像与源图间的自适应结构信息，反映其相似程度，其值越大表示融合效果更优。

通过6组实验图像的客观评价指标如图5所示。实验指标值可以看出本文方法的FMI-dct指标均优于其余7种对比方法，而指标FMI-pixel、FMI-w、Y的值在6组图像中有5组处于最优，P指标值有大多数处于最优。表明本文方法所获得的融合结果与源图像具有的离散余弦特征的特征互信息最多，即与源图像具有较高的相关性，同时具有较多的图像像素信息、小波特征信息以及自适应结构信息，能够从源图像中提取到更多的细节边缘信息，融合结果包含更丰富的纹理结构。综上，本文所提算法融合效果更优。

图4 融合结果三维对比分析

综合主客观评价指标，本文所提算法大多数指标均优于对比融合方法，较好地保留了可见光图像中的边缘及纹理信息，同时突出了红外图像的目标，具有更优的清晰度与对比度。从折线图可以清晰地看出本文方法所存在指标方面的优越性。从FMI-pixel、FMI-dct、FMI-w、Y的指标对比折线图来看，本文方法的融合效果最优；
从P指标对比折线图来看，6组图中本文方法有大多数优于其余对比方法。

本文通过在变换域中引用结构较深的卷积神经网络VGGNet19来进行红外图像与可见光图像融合，改善了融合结果图轮廓不分明以及细节信息丢失的问题，在实验过程中通过多尺度引导滤波分解源图像，可以更好地提取源图像中的细节纹理以及轮廓信息，其次结合基于像素的拉普拉斯能量算法进行基础部分的融合，通过VGGNet19网络对细节信息进行特征提取并得到一系列权重图，保留了更多细节信息，避免了细节信息地丢失。最终得到轮廓分明，细节清晰的融合图。实验结果表明，本文方法所得到的融合图不仅具在视觉效果方面更加接近真实，而且客观评价指标方面也具有更优的效果。由于VGGNet19网络特征提取过程运行时间较长，今后将尝试对其进行优化，进一步提高算法效率。

[1] MA Jiayi, MA Yong, LI Chang. Infrared and visible image fusion methods and applications: a survey[J]., 2019, 45: 153-178.

[2] 叶坤涛, 李文, 舒蕾蕾, 等. 结合改进显著性检测与NSST的红外与可见光图像融合方法[J]. 红外技术, 2021, 43(12): 1212-1221.

YE Kuntao, LI Wen, SHU Leilei, et al. Infrared and visible image fusion method based on improved saliency detection and non-subsampled Shearlet transform[J]., 2021, 43(12): 1212-1221.

[3] LI Shutao, KANG Xudong, FANG Leyuan, et al. Pixel-level image fusion: a survey of the state of the art[J]., 2017, 33: 100-112.

[4] MA Cong, MIAO Zhenjiang, ZHANG Xiaoping, et al. A saliency prior context model for real-time object tracking[J]., 2017, 19(11): 24152424.

[5] HU Wenrui,YANG Yehui,ZHANG Wensheng, et al. Moving object detection using Tensor based low-rank and saliently fused-sparse decomposition[J]., 2017, 26(2): 724-737.

[6] 杨九章, 刘炜剑, 程阳. 基于对比度金字塔与双边滤波的非对称红外与可见光图像融合[J]. 红外技术, 2021, 43(9): 840-844.

YANG Jiuzhang, LIU Weijian, CHENG Yang. Asymmetric infrared and visible image fusion based on contrast pyramid and bilateral filtering[J]., 2021, 43(9): 840-844.

[7] 罗迪, 王从庆, 周勇军. 一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法[J]. 红外技术, 2021, 43(6): 566-574.

LUO Di, WANG Congqing, ZHOU Yongjun. A visible and infrared image fusion method based on generative adversarial networks and attention mechanism[J]., 2021, 43(6): 566-574.

[8] AZARANG A, HAFEZ E, MANOOCHEHRI, et al. Convolutional autoencoder-based multispectral image fusion[J]., 2019, 7: 35673-35683.

[9] HOU Ruichao, ZHOU Dongming, NIE Rencan, et al. VIF-net: an unsupervised framework for infrared and visible image fusion[J]., 2020(6): 640-6521.

[10] LIU Yu , CHEN Xun, HU Peng, et al. Multi-focus image fusion with a deep convolutional neural network[J]., 2017, 36: 191-207.

[11] MA Jiayi, YU Wei, LIANG Pengwei, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

[12] 唐丽丽, 刘刚, 肖刚. 基于双路级联对抗机制的红外与可见光图像融合方法[J]. 光子学报, 2021, 50(9): 0910004.

TANG Lili, LIU Gang, XIAO Gang. Infrared and visible image fusion method based on dual-path cascade adversarial mechanism[J]., 2021, 50(9): 0910004.

[13] ZHANG Yu, LIU Yu, SUN Peng, IFCNN: a general image fusion framework based on convolutional neural network[J]., 2020, 54: 99-118.

[14] 郝永平, 曹昭睿, 白帆, 等. 基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究[J]. 光子学报, 2021, 50(2): 0210002.

HAO Yongping, CAO Zhaorui, BAI Fan, et al. Research on infrared visible image fusion and target recognition algorithm based on region of interest mask convolution neural network[J]., 2021, 50(2): 0210002.

[15] 刘佳, 李登峰. 马氏距离与引导滤波加权的红外与可见光图像融合[J]. 红外技术, 2021, 43(2): 162-169.

LIU Jia, LI Dengfeng. Infrared and visible light image fusion based on Mahalanobis distance and guided filter weighting[J]., 2021, 43(2): 162-169.

[16] LI Hui, WU Xiaojun, KITTLER J. Infrared and visible image fusion using a deep learning framework[C]// 24, 2018: 8546006-1.

[17] LIU Yu, CHEN Xun, WARD R K, et al. Image fusion with convolutional sparse representation[J]., 2016, 23(12): 1882-1886.

[18] LIU C H, QI Y, DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain[J]., 2017, 83: 94-102.

[19] MA Jinlei, ZHOU Zhiqian, WANG Bo, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[20] MA Jiayi, ZHOU Yi. Infrared and visible image fusion via gradientlet filter[J]., 2020(197-198): 103016.

[21] QU Xiaobo, YAN Jingwen, XIAO Hongzhi, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[22] LIU Yu, CHEN Xun, CHENG Juan, et al. Infrared and visible image fusion with convolutional neural networks[J].,, 2018, 16(3): 1850018.

[23] HAGHIGHAT M, RAZIAN M A. Fast-FMI: non-reference image fusion metric[C]//(AICT), 2014: 1-3.

Infrared and Visible Image Fusion Based on Transform Domain VGGNet19

LI Yongping，YANG Yanchun，DANG Jianwu，WANG Yangping

(,,730070,)

To address the problems of loss of detailed information and blurred edges in the fusion of infrared and visible images, an infrared and visible image fusion method through the VGGNet19 network in the transform domain is proposed. Firstly, in order to extract more accurate basic and detailed data from the source images during the decomposition process, the source images are decomposed using a multi-scale guided filter with edge-preserving smoothing function into a base layer and multiple detailed layers. Then, the Laplacian energy with the characteristics of retaining the main energy information is used to fuse the basic layer to obtain the basic fusion map. Subsequently, to prevent the fusion result from losing some detailed edge information, the VGGNet19 network is used to extract the features of the detail layers, L1 regularization, upsampling and final weighted average, thus the fused detail. Finally, the final fusion is obtained by adding two fusion graphs. The experimental results show that the method proposed can better extract the edge and detailed information in the source images, and achieve better results in terms of both subjective and objective evaluation indicators.

image fusion, guided filter, VGGNet19, Laplacian energy, infrared and visible image

A

1001-8891(2022)12-1293-08

2022-01-15；

2022-02-28.

李永萍（1996-），女，硕士研究生，主要研究方向：图像融合。E-mail:2647336295@qq.com。

杨艳春（1979-），女，副教授，主要研究方向：图像融合与图像配准。E-mail:yangyanchun102@sina.com。

长江学者和创新团队发展计划资助（IRT_16R36）、国家自然科学基金（62067006）、甘肃省科技计划项目（18JR3RA104）、甘肃省高等学校产业支撑计划项目（2020C-19）和兰州市科技计划项目（2019-4-49）、甘肃省教育厅：青年博士基金项目2022QB-067、甘肃省自然科学基金（21JR7RA300）、兰州交通大学天佑创新团队（TY202003）、兰州交通大学-天津大学联合创新基金项目（2021052）。

猜你喜欢 红外滤波卷积 网红外卖环球时报(2022-05-23)2022-05-23基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02闪亮的中国红外『芯』金桥(2021年4期)2021-05-21卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14从滤波器理解卷积电子制作(2019年11期)2019-07-048路红外遥控电路电子制作(2019年7期)2019-04-25TS系列红外传感器在嵌入式控制系统中的应用电子制作(2019年7期)2019-04-25基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20一种GMPHD滤波改进算法及仿真研究火控雷达技术(2016年3期)2016-02-06基于自适应Kalman滤波的改进PSO算法海军航空大学学报(2015年1期)2015-11-11