基于模糊差影法的图像信息缺失检测研究
时间：2023-04-14 16:15:03 来源：柠檬阅读网 本文已影响 人 
叶 琴，宋 东，曹玉举，韩仁杰
(西北工业大学民航学院，陕西 西安710072)
飞机综合显示系统作为飞行员和飞机航电系统之间重要的人机交互接口，其主要功能是对采集到的数据进行处理和逻辑运算，并与大气数据航向姿态基准系统、导航系统、识别系统、飞行参数记录仪多个系统交联，同时向飞行员提供当前飞行环境、飞机状态所涉及到各种图像信息、告警信息等。因此在其生产制造及维护过程中，保证其显示画面中各种符号信息正确、完整至关重要。但往往在其下属很多仪表信息显示过程中，常常出现某些刻度或者示数没有显示，画面模糊，关键区域图像信息未显示[1]等缺陷，从而影响到飞行安全。
在传统的飞机总装测试过程中，对这些图像未显示缺陷的识别主要依靠人工判读和传统的机器学习，一旦在背景为复杂缺陷，微弱缺陷的场景下，这些传统方法便存在一定局限性，测试效率低下。随着机器视觉及计算机图像识别技术的发展，近些年吸引了很多学者进行了缺陷检测研究。Ruoxu Ren提出了利用深度学习进行表面缺陷特征检测[2]，并将其用于工业上。Faghihi-Roohi提出的基于卷积神经网络训练从数小时视频中提取缺陷图像获取特征，并用于铁轨缺陷检测[3]。此外，非线性神经网络由于能够自动学习高维度的目标特征，也大大提高了复杂场景下的识别性能[4]。但上述研究在图像获取和校正处理过程中均不可避免的存在像素偏移等缺陷，引起实际获取的图像与理论显示图像存在像素级的差异。为减小这种微弱缺陷带来的像素级误差，本文在传统差影法的基础上，通过分析飞机综合显示系统的关键仪表姿态仪的图像前景显示特点，研究了模糊差影算法，该算法通过改变差影的规则，从而增强了对显示图像缺陷判读的容错性，最后通过GL studio仿真的虚拟姿态仪与摄像机联合进行实验验证，结果表明该方法能有效识别图像显示缺陷，为飞机总装测试实现自动化奠定了基础。
2.1 差影法分析
传统的差影法是基于同一场景下两幅图像对应位置的像素值相减实现的，当两幅图进行相减时，相同时位置的背景点因为灰度值相同，结果变成全黑，位置不同时，相减后值不为0，处理后的图像就只在两张图像的位置有像素点，背景变为全黑，因此在可控环境下，或者在很短的时间内，可以直接使用差分运算检测变化或者运动的物体。其计算公式如下所示
C(x，y)=A(x，y)-B(x，y)
由上述差影法的计算公式可知，A(x，y)与B(x，y)两张图像要进行差影计算，就需要两张图像高度一致，对应位置像素级的相减。而在深度学习，包括机器视觉进行图像缺陷检测时，获取的图像往往存在不同大小的图像变化，这种变换无论如何校正，都无法有效的完全消除目标图像和原始设计图之间的细微差异。为了更清晰的展示上述问题，在这里利用传统差影法对姿态仪进行图像处理，如图1所示，从差影结果可以看到，发现其差影结果均存在像素点残留痕迹，结果无法有效判别是否包含显示缺陷，尤其是当显示缺陷为形状较小的符号时，其受到的影响更大。
了解到传统差影法的不足，下边将重点研究改进差影法中点对点的相减算法，即将差影法中判断一致性的规则由点和对应点相减是否为零，转化为点在其对应点周围领域内是否能搜索到相同点。如果可以让相减的位置有一定的容错性，让拍摄图像中的某个点A(x，y)处的像素在对应的正常图中的点B(x，y)周围一定领域内寻找相同点。如果找到，就认为该点显示完整，找不到就认为该点显示缺失。从而可以通过像素点的模糊差影实现像素一致性检测，进而判断是否存在显示画面缺失。只要合理控制对应点领域大小，就可以有效的实现容错性的像素一致性判断，为了方便说明，本文将摄像头获取的图像称为目标图像。
图1 传统差影效果图
2.2 模糊差影算法分析
为了说明其原理，现以前景图中一条线段符号的判定为例进行说明，其判定原理如图2所示。
如上图所示，左侧模拟了一张摄像头获取的线段符号(灰色像素块表示)，但是A1点和B1点由于成像过程和图像矫正环节等可能的原因导致其消失。中间是对应的线段正常图，右侧是用传统差影法求出的结果。这里以差影图中的中心点A为例，说明模糊差影算法是如何消除由成像过程带来的细微差异对结果判别产生的影响。具体的判定规则如下：
图2 模糊差影法原理示意图
1)如果在目标图像中点A1的8邻域内即点1到点8及其本身中存在某个前景像素点，则判定该点处正常图和目标图近似相同，此时得到模糊差影算法在A0点的判定结果为目标图中点A1没有缺失，这样就消除了A点在拍摄过程中可能存在的偏移和缺失等细微差异性。
2)如果在目标图像中点A1的8邻域内即点1到点8及其本身完全没找到前景像素点，则判定目标图和正常图之间在A0点处基本不可能相同，此时得到模糊差影算法在A0点的判定结果是目标图中A1点缺失。
采用上述判定规则对差影图中所有非零点进行逐一判定并修正，最终得到修正的模糊差影图。然后再对经过模糊差影算法处理的差影图进行判断，如果基本上像素全部为零，则可以说明目标图像和模板图像一致，即显示系统画面显示完整正确，不存在显示符号的缺失。具体的算法流程如图3所示，并对具体步骤做如下说明：
1)首先为增强图像处理速度，对目标图像和正常图像进行灰度处理，并利用自适应阈值前景分割算法对灰度图进行处理，获取得到目标图像前景提取图和正常图像前景提取图。
2)复制拷贝一份正常前景提取图，作为差影结果的待修改图，即模糊差影正常基础图。
3)选择正常图像中的一点，判断其在目标图像中对应点及其邻域是否存在相同点。如果存在则认为该点显示正确，修正模糊差影正常基础图对应点像素值为0。如果不存在，则认为该点显示不正确，即没有显示，保留模糊差影正常基础图对应点像素值不变。
4)重复步骤③的操作，逐个遍历正常图像中所有像素点，对其中的前景点进行逐个检测和修正，最后即得到模糊差影结果图。
分析流程图可发现，模糊差影法的关键过程在于其前景的提取，而对前景的提取需通过设置合适的阈值对图像进行前景和背景的分割，得到前景为255，背景为0的二值图。常用的自适应阈值分割算法有全局自适应阈值和和局部自适应阈值两类方法[6]。考虑到本文研究对象姿态仪，其包含各种各样的显示符号，特点各异，很难采用统一的阈值提取前景图像，因此本文采用局部自适应阈值法[7]进行仪表画面的前景提取，通过求其周围邻域内的灰度值来求解阈值。而在此过程中涉及两个可变参数的选择，即模糊差影的邻域大小和局部自适应阈值分割的滑动窗口大小的选择。
图3 模糊差影法流程图
2.3 可变参数的选择
1)模糊差影的邻域大小选择
邻域尺寸大小从根本上决定了正常图像中某个前景点在目标图中对应点周围搜索范围的大小，其搜索范围越大，找到存在点的可能性就越高，同时误判的可能性也随之增大。而邻域范围越小，其搜素范围越小，也就是算法对像素点偏移的包容能力下降，在这里通过实验展示邻域大小的选择对处理结果的影响。首先设定其他条件一样，只对模糊差影的邻域大小做不同的设计。分别设置邻域大小为5×5，7×7，9×9，11×11.以姿态仪俯仰角缺失为例，得到其实验结果如图4所示。
从图中可以看出，随着邻域大小从5×5增加到11×11，模糊差影的结果越来越好，其能够清晰的检测出来缺失的俯仰角刻度线，同时干扰点也逐渐被全部消除，这对缺陷结果的判断非常有利。而随后继续增大邻域大小会发现差影的结果变化不大。这是因为当已经检测出来目标图和正常图之间所有的差异像素点之后，搜索区域的继续增大，无法改变两者之间固有的差异，即缺少的符号本身。
图4 不同邻域大小的模糊差影效果图
2)局部自适应阈值分割的滑动窗口选择
考虑到正常图在保证必要信息的前提下提取的前景像素点越少越好，这样可以减少判断的点，同时减少失误的可能。而目标图像中的前景像素点应该是越多越好，使得所有已经显示的画面符号都被捕捉到，有效避免因为前景提取不充分而造成的检测不到的问题。因此在对正常图和前景图进行局部自适应阈值分割时，采用不同大小的滑动窗口，观测其处理效果。结合对邻域大小的选择方法，发现当目标图像的滑动窗口大小稍微大于正常图像时，其差影效果最好。这是因为随着滑动窗口的增大，图像前景提取的能力在增强，从而提取了更多目标图像中的细节，使得目标图中所有已经显示的前景符号都被提取出来了。但是当继续增大窗口时，发现无论前景信息提取的再充分，都无法改变其存在符号缺失的事实，所以模糊差影的结果几乎不再改变，只剩下缺失的符号。
综合上述分析可以发现，前景提取时，应保证正常图前景提取的局部自适应阈值法滑动窗口小于目标图所用的滑动窗口大小，一般滑动窗口的大小选择为奇数×奇数，保持正常图所用的滑动窗口尺寸小于目标图一到两个差异即可。对于邻域的大小，一般大于5×5就可以得到很好的效果，在面对具体的对象检测时可以通过简单的测试即可确定。
为了进一步验证模糊差影法在图像信息缺失自动识别中的效果，本节首先采用GL studio仿真软件对姿态仪倾斜角刻度缺失、俯仰角刻度缺失、指示符号缺失、飞机模型缺失四种显示缺陷进行了仿真。并选择了一款型号为Lens Computar M2514-MP2 F1.4 f25mm 2/3的镜头，通过手动调整光圈和焦距，对姿态仪关键区域图像进行连续拍摄，且拍摄图像清晰。四种缺陷设计图如图5所示。
接着利用自适应阈值分割算法进行图像的前景提取，正常图采用的滑动窗口大小为7×7，其它目标图采用的滑动窗口比正常图较大，均为9×9大小的滑动窗口，最后对上述获取的各目标图像前景图分别和正常前景图做模糊差影计算，模糊邻域大小选择为5×5，各个差影结果如图6所示。
图5 四种显示缺陷设计图
分析上述检测结果，可以看出姿态仪的四种显示缺陷已经被清晰的检测出来了。同时可以看到，倾斜角检测的结果在其顶部出现了一点点画面消融的误差，这是由于顶部处图像的前景符号呈现出极其密集的分布，导致一些缺失像素点被误判定为已在目标图像画面中显示，所以差影结果呈现出个别像素点消融的现象。但上述消融的现像只会在缺失符号的所有线条完全被非常近距离的线条或点集包围的情况下发生，而在实际飞机综合显示系统中，不存在这种完全被近距离线条包围的现像，所以模糊差影法能够满足实际检测需求。
图6 不同缺陷图画面检测结果
文中通过对飞机综合显示系统的常见图像显示缺陷进行分析，研究了模糊差影算法，解决了传统差影法在图像获取跟矫正环节由像素偏移带来的差异性问题。最后通过对姿态仪常见的四种显示缺陷进行了仿真验证，证明了该算法的有效性和合理性，为飞机总装测试过程中显示系统图像的自动判读奠定了基础。目前在飞机综合显示系统图像自动识别方面，仍有许多问题有待解决，希望相关工作能为飞机显示系统的自动化测试提供参考。
猜你喜欢邻域像素点前景我国旅游房地产开发前景的探讨建材发展导向(2021年6期)2021-06-09基于局部相似性的特征匹配筛选算法现代电子技术(2021年1期)2021-01-17四种作物 北方种植有前景今日农业(2020年17期)2020-12-15稀疏图平方图的染色数上界吉林大学学报（理学版）(2020年3期)2020-05-29离岸央票：需求与前景中国外汇(2019年11期)2019-08-27基于5×5邻域像素点相关性的划痕修复算法上海大学学报（自然科学版）(2018年5期)2018-11-02基于邻域竞赛的多目标优化算法自动化学报(2018年7期)2018-08-20基于canvas的前端数据加密电脑知识与技术(2018年35期)2018-02-27基于逐像素点深度卷积网络分割模型的上皮和间质组织分割自动化学报(2017年11期)2017-04-04关于-型邻域空间周口师范学院学报(2016年5期)2016-10-17
