基于改进SSD,的液晶玻璃基板缺陷检测
时间：2023-04-24 17:30:07 来源：柠檬阅读网 本文已影响 人 
陈城 CHEN Cheng；
陈炜峰 CHEN Wei-feng；
张世杰 ZHANG Shi-jie
（南京信息工程大学，南京 210000）
随着以智能手机为代表的智能电子设备在过往十余年的蓬勃发展，极大提高了我们生活和工作的方便程度，这和智能设备功能的完善有着直接关系，良好的人机交互给用户带来舒适的使用体验[1]，也是智能设备能够普及的重要因素之一。目前，电子设备与用户交互的内容主要通过显示器进行可视化展示，显示器就是设备与用户之间交流的桥梁。我国开始研发与生产液晶玻璃基板起步较晚[2]，技术不够成熟，现有产线也是基于国外相关企业产线模仿，但是关键技术没有对我国开放，造成生产出的产品容易出现瑕疵，所以在产品出产线前十分有必要对其进行质量检测，对于液晶玻璃基板这类产品最直观的质量检测方法就是先对表面进行观察，看是否有气泡、结石、条纹、裂纹等缺陷特征。目前生产线上产品检测主要是以人工检测为主，人工检测成本高，人在长时间工作下容易造成漏检误检等不良情况，为了进一步提高检测效率与产线的自动化水准，用新一代机器视觉检测代替人工检测已经成为工业界的共识[3]。本文主要针对液晶玻璃基板缺陷检测领域进行相关算法的搭建与改进，经实验验证表明，基于深度学习的液晶玻璃基板检测准确率与效率相较于人工检测均有可观的提高，对于企业降低人力成本提高自动化生产水平的角度来说，具有十分重要的意义。
本文提出了一种基于SSD[4]的液晶玻璃缺陷检测方法，主要工作内容为以下三点：①建立了液晶玻璃常见缺陷的数据集；
②在SSD 的特征提取主干网络中引入了ResNet[5]残差模块；
③对提取到的特征进行了跨通道多尺度融合。
SSD 算法全称为Single Shot MultiBox Detector，由名可知SSD 是单阶段多尺度目标检测算法，单阶段目标检测算法不同于两阶段目标检测，如Faster RCNN[6]网络需要先用RPN 网络生成目标建议框再进行目标概率预测及边界框回归，这种方式一定程度上限制了实时目标检测的需求，而SSD 算法利用在输入图像上不同尺度的先验框和主干网络提取到的特征直接完成目标预测。
SSD 算法是一个采用多先验框分别从不同特征层预测的单阶段目标检测算法。单阶段目标检测网络如SSD、YOLO[7-9]最显著的特征是不再使用RPN 结构生成目标建议框，虽然放弃使用RPN 结构可能会影响点目标检测的精度，但是检测速度得到了很大的提升，SSD 算法与Faster RCNN 的不同之处除了RPN 外，SSD 在不同特征层预测目标的思想改善了Faster RCNN 对小目标物体检测效果不好的状况，通过多层的特征提取网络后在最后一个特征层上预测体现出的细节信息较少，而低层特征图的抽象程度不高细节信息丢失较少，所以在低层特征图上预测这样有利于小目标的检测，高层特征图上抽象程度高用来提取图像的语义信息及大目标检测。另外SSD 在不同的特征层上使用数量不同，大小和比例不同的先验框也符合目标检测的需求。
2.1 网络框架
SSD 网络是以VGG 作为特征提取的主干网络，通过VGG 和5 个额外添加层得到尺寸大小不同的预测特征图，这6 个预测特征图大小分别为38×38、19×19、10×10、5×5、3×3，接着在这6 个特征图上生成大小比例不用的先验框用于框选图像中可能存在的目标，绝大多数的先验框中其实并不存在检测的目标，为了提高目标检测的效率需要对所有的先验框进行非极大值处理，最后网络输出预测目标的类别与定位信息。
2.2 生成先验框
先验框指的就是在特征图上按照预一定的尺寸与比例生成的一系列目标候选框，如图1 所示。
图1 先验框生成
这些候选框中可能包含了需要被检测的目标，在图1中（b）、（c）所示的特征层上，以每个单元格的中心为中心点生成了4 个不同的先验框，在SSD 中共设置了6 个不同的预测特征层，先验框生成的尺寸、宽高比和数量在每个特征层都不一样，同一个预测层中每个单元格的先验框尺寸、宽高比和数量相同，一般先验框宽高比设有{1/2, 1,2}和{1/3，1/2，1，2，3}具体的如表1 所示。
表1 先验框在不同层分布
2.3 正负样本选取
在SSD 网络训练时，并不是所有生成的8732 个先验框都参与训练过程，正样本在SSD 中的选取准则有两种，第一种是对图像中的每一个真实标注框匹配IOU 值最大的先验框，但是仅靠这种方式得到的正样本数量有限，为了补充第一种方法匹配到正样本的数量，第二种是对任意的先验框只要和任何一个真实标注框的IOU 值大于设定的阈值，也可以将其算作为正样本。除正样本外的所有先验框都可以作为负样本，但是将剩下的先验框全部当成负样本参与训练，这会带来样本极不平衡的状况，负样本的选取原则是在剩下的先验框中计算置信度损失，将置信度损失排在前面的先验框选取为负样本，负样本的数量按正样本的3 倍选取。
3.1 主干网络引入深度残差模块
在特征提取主干网络中随着卷积层的增加可以有效地表示图像语义信息，但是直接加深网络并不能使得效果很好，还可能带来网络退化现象同时也容易造成小目标和细节特征的丢失，随着网络的加深更容易带来梯度消失与梯度爆炸现象，传统的解决方法通常是通过对数据进行标准化处理，权重初始化，以及BN 标准化处理。引入残差模块可以很好地解决网络退化现象，残差模块结构如图2 所示，（a）图针对网络层数较少使用的残差结构，（b）图是对深层网络使用的残差结构，残差模块将输入特征分成两条线路，侧分支采用跳跃连接不改变输入信息恒等映射至输出，主分支使用卷积提取特征与侧分支的输入矩阵直接相加后用ReLu 函数激活，主分支与侧分支的输出特征矩阵的高宽及通道数必须相同，这样才能将主分支与侧分支的输出特征矩阵直接相加，（b）图与（a）图相比只多了1×1 卷积用来升维或降维，当输入矩阵为256 维使用（a）和（b）残差模块时，（b）结构运算量比（a）结构少约17 倍。
图2 残差模块
残差结构的恒等映射分支在反向传播中的梯度一直是1，这样可以把底层的信号传入深层，也可以把深层的梯度传回底层，可以有效地防止梯度消失，传统线性结构很难拟合恒等映射，跳跃连接可以让模型自行选择更新，残差结构弥补了高度非线性造成的不可逆的信息损失。
3.2 引入多尺度跨通道特征映射
FPN 结构（Feature Pyramid Networks）增加了高层特征于低层特征之间的融合[10]，在融合之后的特征图上进行目标预测。FPN 网络结构可以分成三个部分，从底层到顶层，再从顶层到低层以及侧向连接。从底层到顶层是以ResNet 作为主干网络通过卷积池化提取不同尺寸的特征图，自底到顶主要是提取输入图像的语义信息，FPN 网络的输入特征{C2、C3、C4、C5}分别为每个残差卷积块的输出特征层。从顶层到低层是通过上采样线性插值算法将高特征层的尺寸调整与低特征层一致，通过1×1 卷积后保证相邻两层之间的通道数一致，如此相邻两层间的特征矩阵就可以相加融合，这种由底到顶再从顶到底以及不同特征层间的元素融合操作，将高层抽象出的语义信息传至了低特征层从而增强了低特征层语义表征能力，最后通过3×3，步距为1 的卷积核对每个预测层融合之后的特征层卷积操作后得到{P2，P3，P4，P5，P6}特征层用于最终检测，这样可以降低上采样时可能带来的重叠效应。虽然这种自顶到底的FPN 结构融合了不同层的特征在一定程度上提高了检测精度，但是这种结构只是把顶层的语义传入了低层而且传入的也不够全面，因为高特征层在下采样过程中容易丢失小目标的特征，所以对于低特征层并没有传回所需要的小目标的语义信息。为了让将低特征层的定位信息融入到高层特征，解决定位信息不充分的问题，PANet 对FPN 结构进行了补充从P2 到P5 再次使用3×3 卷积，如图3 所示。
图3 PANet 结构
4.1 数据集准备
由于有缺陷的液晶玻璃在产线生产中并不多见，目前还没有公开的玻璃数据集，所以本课题所用数据集图片是于现场拍摄采集，根据液晶玻璃常见的表面缺陷特征，将数据集分为夹杂、气泡、锡点、节瘤、裂痕这5 种常见缺陷类别，将数据集按照3∶1 的比例分成训练数据集和测试数据集，如表2 所示。
表2 训练数据集与测试数据集
4.2 实验搭载环境
本实验在windows 操作系统上基于Pytorch1.11.0 深度学习框架进行，使用的Python 编程语言，使用的操作系统 为windows10，CPU 为Intel Core i7-1165G7 4.7GHz，GPU 为Nvidia P100-16G，本实验使用的数据集为表1 液晶玻璃缺陷数据集，包含了常见的5 中缺陷类别共计3950 张图像，训练数据集为3195 张，测试数据集755 张，网络训练时设Ir 为0.005，momentum 为0.9，weight_decay为0.0005，batch_size 为4，每进行5 个epoch 学习率调整为原来的0.33 倍。
4.3 实验结果分析
分别使用SSD、Faster RCNN 、YOLOv3 和本文提出的改进SSD 的目标检测网络，基于相同的超参数设置在给出的表2 玻璃缺陷数据集上训练，并在测试集上测试模型预测准确率，各个目标检测网络在5 种不同缺陷类别上的测试结果如表3 所示。
从表3 中可以看出SSD、Faster RCNN、YOLOv3 都存在共同的问题，相对较小对锡点检缺陷测精度不高，而引入残差模块以及跨通道特征融合后的改进SSD 网络对所有缺陷类别的检测精度都很高，尤其是对小目标检测，相较于没有改进的SSD 检测网络整体精度提升了15.7%，对锡点的提升更为明显提升约20%，图4 为不同网络对裂痕的检测显示。
表3 不同目标检测网络准确率对比
图4 裂痕检测效果
本文提出的改进SSD 缺陷检测算法有效的提升了检测精度，特别是对不容易发现的小缺陷检测精度提升明显，残差模块的引入增加了特征提取网络的深度，使得网络可以抽象出更深层次的含义，引入PANet 将高特征层的语义信息传入了低层，将低层定位信息传入了高特征层，使得在各个预测特征层都有不错的检测效果。
猜你喜欢先验液晶残差基于双向GRU与残差拟合的车辆跟驰建模网络安全与数据管理(2022年3期)2022-05-23不可压液晶方程组的Serrin解数学物理学报(2021年6期)2021-12-21基于残差学习的自适应无人机目标跟踪算法北京航空航天大学学报(2020年10期)2020-11-14《液晶与显示》征稿简则液晶与显示(2020年8期)2020-08-08基于无噪图像块先验的MRI低秩分解去噪算法研究成都信息工程大学学报(2019年3期)2019-09-25基于递归残差网络的图像超分辨率重建自动化学报(2019年6期)2019-07-23基于自适应块组割先验的噪声图像超分辨率重建自动化学报(2017年5期)2017-05-14基于平滑先验法的被动声信号趋势项消除探测与控制学报(2015年4期)2015-12-15先验的废话与功能的进路东南法学(2015年2期)2015-06-05平稳自相关过程的残差累积和控制图河南科技(2015年8期)2015-03-11
