考虑亮通道取反的修正暗原色先验去雾算法
时间：2023-01-16 08:25:04 来源：柠檬阅读网 本文已影响 人 
康彩新，张道康，兰时勇,2+
(1.四川大学 计算机学院，四川 成都 610065；
2.四川大学 视觉合成图形图像技术国防重点学科实验室，四川 成都 610065)
在户外气象条件不佳时，由于大气中存在的悬浮颗粒产生的散射作用，景物反射的光线在一定程度上受到衰减，导致图像中一些场景的信息丢失，严重影响了后期图像处理的工作。目前的图像去雾技术分为使用深度学习的去雾方法和传统的图像去雾，传统的去雾技术主要分为两大类：第一类是利用图像增强方法，如直方图均衡化、色彩恒常性以及视网膜皮层 (Retinex)理论图像增强[1]等方法。第二类基于大气散射模型，用先验信息复原有雾图像的方法被提出。如Fattal等[2]的方法。He等[3]通过对无雾图像的观察，提出暗原色先验规律，来估计大气透射率以及全局大气光，取得了不错的去雾效果。然而，由于天空区域亮度较高，暗原色先验在天空区域失效。因此一些改进方法被提出。舒巧玲等[4]通过建立含多正则化约束变分模型对透射率优化，并引入容差机制对明亮区域透射率进行修正。王柯俨等[5]使用多阈值天空分割方法分割天空，然后分别估计两类区域的透射率，其方法较为复杂，卢辉斌等[6]通过亮通道和暗通道分别计算出的大气光值，加权结合来估计全局大气光，得到了更精确的大气光估计值，而其仅在估计大气光时应用亮通道，有一定局限性。
针对暗原色先验存在的图像中高亮区域去雾过处理、场景景深关系还原不佳，以及引导滤波窗影响景物边缘处的透射率估计，进而影响准确性的问题，本文提出主要的创新工作如下：
(1)本文考虑巧妙采用对RGB亮通道取反，改进大气透射率估计，使高亮区估计得到的透射率增大，进而使此处的去雾力度减弱，避免明亮区域被过度增强，以减少大气光值的影响，使其符合观感常规特性不被破坏。而且，正因考虑采用亮通道取反处理自适应修正大气透射率估计，还可以对不同景深深度的景物施予自适应的去雾力度，使复原结果可以更好体现景深特性，保留景物的层次感；
(2)在透射率估计过程中，本文引入边缘因子，抑制因引导滤波局部窗导致的所估计获取的透射图的块效应，以更清晰复原图像的景物边缘细节。
本文的实验对比分析表明，改进方法使暗通道方法的去雾效果有了显著提升，便于人眼的主观视觉观察以及计算机的后续处理，验证了所提算法的有效性。
1.1 大气散射模型
在计算机视觉和图形领域中，广泛应用于有雾图像的大气散射模型[7,8]为
I(x)=J(x)t(x)-A(1-t(x))
(1)
其中，I(x)为成像设备获取到的有雾图像；
J(x)为无雾图像；
A为全局大气光；
t(x)为大气透射率。
1.2 暗原色先验
为了求得J(x)，He等[5]基于对户外大量无雾图像统计观察，发现了暗原色先验，即图像RGB这3个通道中的最小值往往接近于零。这是由于景物的阴影、黑色物体和具有鲜艳颜色的物体所造成的。基于此他提出了暗原色先验模型
(2)
其中，Ω(x)是以x为中心的一个方形窗口，Jc是J的一个RGB 颜色通道，Jdark是暗通道图像,其值往往被估计为0。
而对于全局大气光A，He等[3]借助于暗通道图来从有雾图像中获取该值。首先从暗通道图中按照亮度的大小取前0.1%的像素，往往是图像中雾最浓的像素。在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值作为全局大气光A的值。
利用暗原色先验模型，估计得到的大气透射率t(x)和全局大气光A，可以得到透射率t(x)
(3)
其中，ω用来修正去雾程度，一般取值为ω=0.95，上标c表示在R/G/B这3个通道中。
最终恢复的图像的表达式为
(4)
其中，t0为防止透射率t(x)值过小设置的阈值，一般设置为t0=0.1。
使用暗原色先验对图像进行去雾处理，可以得到不错的效果，然而此方法也存在一些不足：
(1)天空区域的处理问题一直是长期困扰图像去雾领域的难题。同样，由于天空区域像素通道值比较大，并不适用暗原色先验，此方法对带有天空区域的图像处理效果不佳，其所估计的透射率比实际值偏小，造成色彩失真等问题；
(2)由于直接由暗通道得到的透射图不够精细，直接带入计算会产生明显的块效应，He等先后采用软抠图算法[3]以及引导滤波[9]对透射率分布图进行优化。但由于景物边缘进行滤波时，滤波窗口同时包含景物中以及非景物的信息，处理过的透射图仍有一些块效应，并且在物体边缘处理不够精细，存在一些光晕。
2.1 算法概述
针对上述存在的暗原色先验图像去雾算法在天空区域失效，以及引导滤波窗影响景物边缘处的透射率估计的问题，本文提出了一种RGB亮通道取反的自适应修正暗原色先验去雾算法，算法流程如图1所示。具体而言，先对有雾图像的RGB通道中最亮通道进行取反处理，之后计算暗通道估计值；
然后，进行全局大气光的估计时，计算最亮0.1%的像素的均值；
其次，采用使用canny算子提取图像的边缘信息，对导向滤波的方法进行修正，进而使用大气散射模型对有雾图像进行复原，得到最终的去雾图像。
2.2 RGB最亮通道取反
传统的方法在计算暗通道时，直接对原始有雾图像进行最小值滤波处理，而对于存在天空区域、水面等大面积明亮区域以及雾气过于浓厚的图像,它们对应区域的像素值较大,难以找到像素值接近于0的暗原色，即不符合暗原色先验的预设条件。在使用He等的方法[3]直接处理时，天空区域的恢复图像往往并不理想，去雾处理后会产生色彩失真、饱和度过高以及严重的光晕问题。而后期改进的方法如王柯俨等[5]，往往需要将天空部分进行分离单独处理，处理过程较为繁杂，效果欠佳。
对于以上问题，我们对有雾图像中的高亮区域进行分析，天空区域的图像往往具有相同特征，性质相似，并没有太多的细节要素，使用暗原色先验对其进行过度去雾处理的效果不佳，还会带来光晕等负面效果。我们认为不需要过分要求对其进行过分去雾，适当的去雾处理使其符合观感和常规特性即可。在从He等[3]、Fattal等[2]的公开图像数据集选取的具有天空区域的有雾图像中，我们对有雾图像中天空区域的特征进行了统计，数据得到的天空区域的RGB数值均值较高。基于分析结果，我们提出了对RGB通道中的最亮通道进行取反计算的方法，来解决暗原色先验去雾方法在天空及高亮区域失效的问题。
由于天空部分的各通道数值较高，在最小值滤波后得到的数值相对非天空区域也更高，且不均匀。而在对RGB最亮通道取反(此后简称为“通道取反”)之后，最小值滤波后天空区域将得到接近于0的较低的数值，由式(3)可知，估计得到的透射率t(x)将会较高，由式(4)可得，随着t(x)的升高，多项式第一项的分母更靠近1，数值减小，从而减弱对这部分区域的去雾力度。所以通过取反的处理，我们可以有效筛选出天空区域以及其它高亮区域，降低对其去雾的效果，增大该区域的透射率，抑制明亮区域过度增强，以减少大气光值的影响，使其符合观感和后期处理的需求，保证其常规特性不被破坏。
通道取反公式为
(5)
同时，取反处理对非天空区域的去雾效果也有一定增益。传统的暗通道去雾对不同距离的景物进行相同程度处理，试图使景物清晰，但丧失了图片的景深特性。在有雾图像中，随着景物距离的增加，其与观察者之间的雾气厚度也将增加，取反处理可以对不同深度的景物产生不同程度的修正效果。介质透射率t(x)描述了未被散射并直接到达相机的光部分。t(x)的定义为
t(x)=exp(-βd(x))
(6)
其中，d(x)是从场景点到摄像机的距离，β是大气散射系数。具体而言，由式(6)可知，对于距离近的景物，其d(x)较小，即透射率较高，而由式(3)，透射率t(x)与暗通道值成反比，则其对应的暗通道值较低，最亮通道取反对其暗通道值影响不大；
而对于距离较远的景物，其d(x)较大，则透射率较低，对应的暗通道值较高，取反将创造较小暗通道值，从而减弱其去雾效果，增强其距离感。即去雾力度会随景深的增加而削弱，从而得到更真实的复原效果。具体表现在其复原结果可以更好的体现图片的景深，保留景物的层次感，维持远处景物恰当的雾气的效果。
我们将式(3)进行修改，去掉原有的去雾程度修正系数ω，改用RGB最亮通道取反后的图像来调节每张图像不同区域的去雾程度，新的公式为
(7)
因最亮通道取反对颜色、明暗不同的区域，带来的影响不同，去雾力度不同，增强了细节和颜色差异，所以，取反处理后的去雾图像颜色自然、对比度高，有更好的观感和细节。
2.3 全局大气光估计
He等[3]对大气光进行估计方法为，首先求得暗通道图，从中按照亮度的大小，取亮度最大的0.1%的像素。对应这些像素的位置，在原始有雾图像中寻找对应的具有最高亮度的点的值，作为全局大气光的值。而由于非天空区域的图像中可能存在镜面等较大块明亮物体，其亮度超过天空区域，可能造成大气光值的错误估计，导致去雾图像颜色异常等问题。且传统方法[3]中的A最终是取原始像素中的某一个点的像素，这样各通道的A值很有可能全部很接近255，会造成处理后的图像偏色和出现色斑。为了提高大气光估计值的准确度，本文首先基于RGB最亮通道取反后的暗通道值，并使用暗通道图像中，亮度最大的0.1%的像素，对应位置的原图像中的均值，作为全局大气光的估计值，以此得到更合适的全局大气光估计值。
2.4 透射率估计
由于将透射率t(x)直接带入计算会产生明显的块效应，为了消除去雾图像产生的块效应，He等采用软抠图算法[3]对透射率分布图进行优化，之后改进为使用引导滤波替代软抠图处理[9]，较大地提高了处理效率。但处理过的透射图仍有一些块效应，并且在物体边缘处理不够精细，存在一些光晕。这是因为在景物边缘进行滤波时，滤波窗口同时包含景物及非景物的信息，使透射率图的边缘变得模糊，从而使去雾复原图像的景物边缘出现光晕。
本文沿用导向滤波的方法，并对处理步骤做了调整。首先，使用canny算子提取有雾图像景物的边缘信息，之后，在最小值滤波后的透射率图中，对景物边缘进行弱化，去除错误估计的边缘信息，其计算公式为
tcanny(x)=tmin(x)-εy(x)
(8)
其中，tmin(x)为最小值滤波计算出的初始透射率数值，y(x)为使用canny算子提取的景物边缘信息，ε是边缘弱化因子，本文通过实验调试，并结合峰值信噪比等参数信息，取ε=0.3，对初始透射率数值进行修正。最后，再使用导向滤波对tcanny(x)进行细化，得到最终的透射率估计值。使透射率估计结果更加精细，减少了图像中景物边缘的光晕，得到更高质量的复原图像。
为了验证本文方法的去雾效果，通过从透射率的估计结果、去雾细节以及景深改进以及整体去雾主观效果和客观去雾指标几个方面将本文方法与文献[3,6,10,11]的方法进行对比。测试图片来源于He等[3]、Fattal等[2]的公开图像数据集。在2.3 GHz四核Intel Core i5处理器的电脑下运行，本文采用的最小值滤波窗口大小为20*20像素。
3.1 暗通道估计结果对比
图2为在9*9滤波窗口下文献[3]与本文最小值滤波后透射率估计结果对比，使用文献[3]原始方法得到的透射图在高亮区域暗通道数值估计过高，透射率估计值较低。RGB最亮通道取反的透射图与原始的暗通道透射图对比，可以发现在取反之后天空区域的暗通道值下降，透射率估计图更高，更符合天空的去雾处理要求，这样有效改善了在复原图中去雾图片产生明显的光晕效果的缺点。另外在非天空区域，取反操作调节了对景物的去雾力度，并且可以看到景物的透射率估计值更加精细，层次分明且轮廓清晰，拥有丰富的细节。
3.2 去雾细节以及景深对比
图3为取反前后的去雾结果对比，在天空区域，未做取反处理的去雾图片产生明显的光晕效果，在非天空区域，未做取反处理的去雾图像颜色偏暗，细节模糊，难以分辨景物的轮廓。经过取反处理后的去雾图片，有效改善传统暗通道去雾方法天空部分产生色彩失真以及产生光晕等问题，在非天空区域还原有雾图像的更多细节，景物轮廓清晰，去雾后图像色彩更为真实，得到更好的去雾还原效果。
同时，在现实生活中，即使是晴朗的天气，空气中也存在着一些颗粒，因此，看远处的物体还是能感觉到雾的影响，雾的存在让人类感到景深的存在，有必要在去雾的时候保留一定程度的雾。在Image1中可以看到在图3(b)中图框圈出的区域，远处图像的雾得到一定程度的保留，体现了景物的层次感，使图像更加真实。而在图3(a)中，相同区域中的景物过度的去除了雾，边界模糊且难以分辨距离远近，景深特征丢失。在Image2(b)中框出区域，屋顶和树林的轮廓清晰，树林与远处景物边界分明，图片富有层次，可以分辨景物的远近，而图3(a)中还原图像模糊不清，屋顶恢复效果昏暗，难以分辨景物轮廓。
3.3 考虑边缘信息修正透射率的实验结果对比
如图4为在15*15滤波窗口下原始导向滤波与修正后的导向滤波结果对比，文献[9]的透射率先由最小值滤波估计出，再经过导向滤波细化，其处理过的透射图仍有一些块效应，并且在物体边缘处理不够精细，存在一些光晕，一些细节丢失。本文使用canny算子提取有雾图像景物的边缘信息，并在最小值滤波后的透射率图中去除错误估计的边缘信息，再进行导向滤波，可以看到图4(c)中的估计的透射率与图4(b)相比，一定程度去除了景物边缘的光晕，并且更清晰，包含更多细节，使用修正后的透射图进行去雾可以得到更好的复原图像。
3.4 整体去雾效果对比
为了验证本文方法的有效性，将处理结果与文献[3]、文献[6]、文献[10]以及文献[11]中的去雾算法的处理结果进行比较，实验结果包括两部分，第一部分进行主观视觉效果的对比，即将不同算法的去雾效果图像进行比较；
第二部分利用客观评价标准对不同算法的去雾结果进行评估。
对比图5中不同算法的去雾结果图，文献[3]的方法达到了一定的去雾效果，但去雾图像缺失了边缘细节，且仍有一些雾残余，并且在天空区域颜色失真，有明显的光晕。文献[10]的方法的去雾结果颜色失真明显，天空颜色昏暗，有光晕现象，且对第3幅、第4幅图像处理时，复原图像颜色出现上下颜色分层的情况，虽然其部分图像的可见边梯度平均值r较高，但其一定程度破坏了景深特性，为将远处的过度增强带来的结果，但颜色对比度较低，影响了图像的主观视觉质量；
文献[11]方法，基于DehazeNet神经网络，复原结果中不存在伪影,没有光晕，但是其图像的去雾程度低，如第4幅图像中较远的楼宇基本没有被去雾，复原图像中依旧有大量的雾存在；
文献[6]方法在估计大气光时结合明通道和暗通道的估计值，在文献[3]的基础上进行了改进，可以看到其去雾图像对比度更高，细节更丰富，但其在天空区域仍存在一些光晕，以及部分景物色彩失真。图5(f)为本文算法的处理结果，先对有雾图像的RGB最亮通道进行取反处理，避免了暗原色先验去雾方法在处理天空区域时颜色失真和出现光晕等不足，同时维持图片的景深，使恢复图像更真实；
大气光的估计计算最亮0.1%的像素均值，得到更合适的全局大气光估计值；
并使用canny算子提取边缘信息，修正导向滤波方法，得到更平滑的透射率结果，使复原图像具有丰富的细节，边界清晰；
去雾后的图像整体颜色比较自然，边缘细节保持较好，且保留了图片的景深信息。
主观评估容易受到个人因素的影响，本文进一步计算了客观评价指标新增峰值信噪比PSNR、结构相似性SSIM、以及文献[12]中提出的可见边梯度平均值r，对图5中的图像进行评价，其中PSNR通常用来评价一幅图像经过处理后和原图像相比的失真程度，PSNR越高，图像和原图越接近；
SSIM用于评价去雾后的图像与原图相比在结构上的相似性，其更符合人眼对影像品质的判断，其数值越高代表相似程度越高，最大为1；
可见边梯度平均值r是计算去雾图像与原图像的可见边平均梯度比来客观的评价图像的去雾效果，r的值越大，表明处理后的图像边缘强度越大，对比度越高。从表1的客观评估值中可以看出，本文的去雾算法在综合评价结果相对优秀。从而说明本文算法具有一定的优越性和较好的去雾效果。
表1 客观评价
本文提出了一种RGB亮通道取反的自适应修正暗原色先验去雾算法。在计算图像暗通道时，本文首先对RGB通道中最亮通道进行取反处理，自适应修正透射率的估计值，改善了天空区域去雾效果，使图片符合观感常规特性不被破坏。另外在非天空区域，保留了景物的层次感和景深信息，拥有丰富的细节。在全局大气光估计时，本文采用暗通道对应原图位置的最亮0.1%像素的均值，使大气光估计更加准确，图像色彩更为真实。之后使用canny算子提取图像的边缘信息，修正导向滤波方法，得到更平滑的透射率结果，使去雾后图像消除了边缘光晕，轮廓清晰。实验结果表明，采用本文方法可以有效改善去雾图像细节，避免天空区域出现光晕、颜色失真以及过饱和等问题，得到更好的复原图像。
猜你喜欢 透射率原色光晕 噪声对相干衍射成像重构物体图像的影响武汉工程大学学报(2022年2期)2022-05-05图像去雾中的大气光强度自适应恢复算法研究计算技术与自动化(2017年1期)2017-05-08圣诞节的灯光英语学习(2016年12期)2017-02-28电流变液光学性能的研究科技视界(2016年12期)2016-05-25风诗潮(2016年5期)2016-05-14原色儿童村：让孩子回归自然中国火炬(2015年11期)2015-07-31凝固的光读者·校园版(2014年6期)2014-05-14心灵的原色学生天地·初中(2009年3期)2009-04-08
