基于深度学习的汽车手柄字符缺陷检测
时间：2023-01-23 22:45:03 来源：柠檬阅读网 本文已影响 人 
卢丹，刘红，刘轩，崔阳
（1.长春理工大学 光电工程学院，长春 130022；
2.长春理工大学 电子信息工程学院，长春 130022；
3.长春理工大学 计算机科学技术学院，长春 130022）
随着国民经济的快速发展，居民的可支配收入也不断的提高，中国汽车保有量也逐年提升，2020年中国汽车保有量达2.81亿辆，较2019年增加了0.21亿辆，同比增长8.08%[1-2]。中国制造2025指出，我国应快速发展制造业，有力推动工业化和现代化进程[3]。
目前字符缺陷检测仍停留在人工检测阶段，检测结果易受到人眼误差的影响，难以满足现代高精度、大批量的检测要求[4-5]。为此国内外学者展开了大量的研究，提出利用机器视觉技术代替人眼的缺陷检测方法[6]，提高字符缺陷检测的准确率。传统机器学习模板匹配算法[7]、SIFT[8]、SVM[9]使用人工特征提取方法，特征针对度高，面对特征种类随机且不定性的字符缺陷，检测结果较差。
随着机器学习的快速发展，深度学习作为机器学习的一个重要分支得到了广泛应用。深度学习中的 BP[10]、CNN[11]算法都在字符检测领域进行应用。YANN L C等人[12]提出一种基于梯度学习的卷积神经网络算法LeNet-5，LeNet-5卷积神经网络作为第一个产生实际商业价值的卷积神经网络，效力于全美邮政系统的手写邮政编码识别，并以低于1%的错误率实现邮件和包裹的分拣。罗月童[13]针对芯片表面字符识别，提出一种基于LeNet-5的芯片表面字符识别算法。首先根据芯片表面字符自身的特点，对LeNet-5网络进行改进。再使用标准字符集和采集的芯片数据进行实验验证，算法识别率高，对相似字符具有较好的鲁棒性。深度学习LeNet-5以原始图像作为输入，通过网络模型直接进行特征提取，算法具有可移植性。然而使用深度学习对汽车手柄字符进行缺陷检测还面临很大挑战。
本文受到文献[14-17]的启发，提出一种基于改进LeNet-5卷积神经网络的汽车手柄字符缺陷检测算法，提高检测速度和检测精度。本文主要针对P（驻车挡）、R（倒车挡）、N（空挡）、D（前进挡）、S（运动挡）、+（运动模式下加挡）、-（运动模式下降挡）、/（D与S之间的区分斜线）、∇（下箭头），共9个汽车手柄字符进行分析。
本课题利用LeNet-5卷积神经网络对汽车手柄字符进行缺陷检测，由于缺陷种类具有不定性、随机性，检测难度大。本课题是在LeNet-5卷机神经网络的基础上进行改进。将图像输入由32×32像素改为64×64像素；
引入批量归一化操作；
在反向传播过程中引入Adam优化器，提高检测的准确率。
1.1 前向传播
LeNet-5卷积神经网络前向传播由8层组成，分别首先输入层输入32×32大小的图像，第一层是6个5×5卷积核组成的卷积层，提取图像中的字符特征。第二层是2×2的最大池化层，进行降维。第三层是16个5×5卷积核组成的卷积层，提取深层特征。第四层是2×2的最大池化层。第五层是120个5×5卷积核组成的卷积层，可以将上一层的池化层排成一列。第六层全连接层对信息重新拟合。最后输出层输出分类结果。LeNet-5卷积神经网络模型结构如图1所示。
图1 LeNet-5卷积神经网络结构图
（1）卷积层
卷积层的作用在于提取图像中的特征信息。LeNet-5卷积神经网络使用5×5的卷积核，在遍历整个图像后，得到特征提取的结果。卷积运算后会使用一个ReLU激活函数，增加网络的非线性能力。卷积层的数学表达式如下：
（2）池化层
使用池化层，在保持最重要的信息的同时，降低特征图的维度，提高计算速度，降低过拟合概率。本文使用的是最大池化。数学表达式如下：
（3）全连接层
全连接层的作用是将卷积层提取的局部特征重新通过权值矩阵组装成完整的图像，在整个卷积神经网络中起到了分类器的作用。
1.2 反向传播
在神经网络中前向传播的输出值y与真实值ŷ之间的差距定义为损失函数，网络反向传播的目的不断更新参数使损失值最小。N个输入样本的交叉熵损失函数数学表达式如下：
式中，pj为第j个样本预测的概率；
yj为第j个样本的标签。
为了逐渐降低损失函数J的值，LeNet-5网络使用梯度下降法对结果进行更新：
式中，θt为第t次迭代的模型参数；
η为学习率；
∇J(θ)为对J求梯度。
本文使用LeNet-5卷积神经网络对9个汽车手柄字符进行缺陷检测，但是由于汽车手柄字符缺陷特征具有随机性和多样性，传统LeNet-5网络字符缺陷检测准确率低。因此本文对LeNet-5卷积神经网络进行改进，使之适用于汽车手柄字符缺陷检测，提高字符缺陷检测准确率。
（1）LeNet-5网络的输入为32×32像素图像，为了放大字符缺陷的特征，在多次实验后，采用64×64像素图像。使训练样本包括更丰富的信息量，提高网络缺陷检测准确率。
（2）增加网络的输入字符图像像素，会造成参与训练的神经元个数增加，网络模型的运算速率下降。本文引入Adam优化器，提高字符缺陷检测模型的训练速度。Adam优化器使用梯度的均值mt和梯度平方νt进行综合计算：
式中，gt为t时间步的梯度；
β1=0.9；
β2=0.99。
由于m0、v0初值为 0，会导致mt、vt在训练初期阶段会偏向于0训练，为了降低对训练初期的影响，需要对两者进行偏差纠正，完成参数的更新：
Adam优化器对参数的更新速度不仅仅依赖于梯度的伸缩变换，使用mt和νt的共同作用，使参数更新迅速，可以加快神经网络训练速率。
（3）使用改进网络模型进行测试时，缺陷字符出现了训练准确率高、测试准确率低的问题。为了提高缺陷字符测试的准确率，本文对卷积后的数据进行批量归一化（Batch Normalization）操作。批量归一化操作首先计算输入数据xi的平均值和方差，根据平均值和方差对数据归一化，最后进行尺度变换和偏移，得到归一化后的结果yi：
式中，yi为批量归一化操作的第i个输出值；
γ和β为网络参数；
m为mini-batch的大小；
xi为批量归一化操作的第i个输入值。
因为BN层将mini-batch中的所有字符样本xi关联在一起，所以网络不会从某一个字符训练样本中生成确认的结果，大大提高字符测试集的准确性。
改进后的LeNet-5网络结构包含10层网络，输入层增加成64×64像素，增加网络的字符特征信息。C1、C4卷积层后增加批量归一化操作，增加网络的泛化能力。F7层的卷积层改为全连接层，并调节全连接层的参数。由于汽车手柄字符分为正常字符和缺陷字符两种，9个字符共18类，因此输出层节点数设为18。然后使用Softmax回归模型对字符进行分类。在反向传播过程中改进优化器为Adam优化器，利用梯度均值和梯度平方的综合计算，增加网络模型参数的更新。改进后的LeNet-5卷积神经网络模型结构如图2所示。
图2 改进LeNet-5卷积神经网络结构图
使用改进LeNet-5卷积神经网络对汽车手柄表面上的字符进行缺陷检测。主要包括五个部分：预处理、字符分割、构建数据集、改进LeNet-5卷积神经网络模型训练、模型测试并进行缺陷分析。检测算法流程图如图3所示。
图3 字符缺陷检测算法流程图
（1）预处理：首先加权灰度化处理，降低图像维数，减少算法所需处理的数据量，然后对图像进行OTSU二值化操作，更加突出原始图像中字符特征，达到降低背景干扰的目的。
（2）字符分割：本文使用投影法进行字符分割，算法使用数组存储所有像素值，在y轴上从0到h遍历每一行图像的像素值g(x,y)。将所有水平方向的像素值累加投影，根据投影图上y轴间断点的个数，对字符进行行分割，同理进行列分割处理。
行分割的公式如下：
列分割的公式如下：
（3）构建数据集：将字符分割后的字符进行尺度归一化处理后，保存成64×64像素的JPG图像。并按照7∶3的比例对正常字符和缺陷字符进行分类。
（4）改进LeNet-5卷积神经网络模型训练：使用汽车手柄字符训练集对上述改进LeNet-5卷积神经网络的模型进行训练。通过对学习率、迭代次数、mini-batch等超参数的调节，得到性能较好的LeNet-5卷积神经网络模型。
（5）模型测试：使用训练好的模型对测试集进行测试，并根据测试结果分析模型的三点改进方法对模型检测结果的影响。
4.1 汽车手柄字符图像采集
本实验所用的汽车手柄字符图像采集过程均在实验室搭建好的暗室环境下进行。采集系统由计算机、检测仪、WP-UC200型相机、光学平台、二代发光手柄和相机支架组成。为了满足暗室环境要求，在实验铁架外部使用遮光性较强的红色绸布进行遮挡，内部用涂银遮光布进行密封。得到800张汽车手柄字符图像，如图5所示。
图4 汽车手柄字符采集系统
图5 汽车手柄字符图像
4.2 构建数据集
汽车手柄字符每一张图中包含P、R、N、D、S、+、-、∇，共9个汽车手柄字符。首先对字符图像进行预处理，突出字符特征；
然后对图像进行字符分割，将9个字符分隔开；
再将字符尺度归一化成64×64大小图像。最后将分割后的字符进行分类，构建成汽车手柄字符数据集。字符分为正常字符和缺陷字符两种。正常字符是合格字符。缺陷字符是在点亮手柄内部LED灯时字符会出现字符显示不全的问题，是不合格字符。正常字符和缺陷字符如图6所示。
图6 字符图像
构建9个汽车手柄字符数据集，如表1所示，并按照7∶3的比例划分成训练集和测试集。
表1 汽车手柄字符数据集
4.3 评价指标
采用准确率（Accuracy）作为字符缺陷检测结果的有效性指标，准确率为预测正确的字符在总样本中的概率：
式中，TP为正常字符判对的个数；
FN为正常字符判错个数；
TN为缺陷字符判对个数；
FP为缺陷字符判错的个数。
4.4 改进网络结果分析
本文实验内存为128 G，显卡为2080 TI。软件环境为：操作系统PyCharm，Python 2.7，Tensor-Flow 1.140。使用训练集对改进后的网络进行训练，并分别对以上三种改进方法进行实验。
（1）网络输入大小对准确率的影响
在学习率为0.01、mini-batch为128、迭代次数为10 k、优化器为随机梯度优化器（Gradient Descent），对 32×32像素和 64×64像素的不同输入大小图像进行对比分析，训练结果如表2所示。
表2 训练结果
随着输入图像像素的增加，网络可以获得每个字符更多的特征。输入图像为64×64的网络训练准确率提高了22.74%。但是网络模型的训练时间增加了81.41 s。在10 k次迭代后，保存训练好的模型，使用测试集对模型进行测试，测试结果如表3所示。
表3 测试集测试结果
64×64像素的输入网络，检测准确率提高了64.35%，因此本文选择64×64像素作为网络输入。
（2）优化器对准确率的影响
在输入图像为 64×64，mini-batch为128，学习率为0.01，迭代次数为2 k的条件下对Gradient Descent（GD）、AdaGrad和 Adam 三种优化器进行对比分析，训练过程中成功率的曲线如图7所示。
图7 改进Adam优化器训练网络准确率对比图
AdaGrad优化器和Gradient Descent优化器在迭代次数为2 k次时，准确率依然处于震荡阶段，但是Adam优化器准确率已经趋于收敛的稳定状态。训练结果如表4所示。
表4 训练结果
Adam优化器在迭代2 k次时训练准确率达到了99.6%，用时53.86 s。相比于Gradient Descent优化器，训练损失率下降了0.49，准确率提高了16.26%，时间减少了2.28 s。使用训练好的网络对测试集进行测试，实验结果如表5所示。
表5 测试集测试结果
引入Adam优化器后，迭代次数从10 k降低到2 k，检测准确率提高了32.57%。实验结果表明，Adam优化器可以在减少训练时间的同时提高网络的准确率。
（3）引入BN层对准确率的影响
在mini-batch为128，输入图像为64×64，学习率为0.01，迭代次数为2 k，优化器为Adam优化器下，对网络进行加入BN层改进的实验，向网络中加入BN层。训练过程中的成功率的曲线如图8所示。
图8 加入BN层训练网络准确率对比图
BN层将mini-batch中的所有字符样本关联在一起，网络泛化能力增强，训练准确率更早地进入收敛。准确使用训练好的模型对测试集进行实验，实验结果如表6所示。
表6 测试集测试结果
加入BN层后的测试准确率为97.42%，比无BN层网络测试准确率提高了4.5%。在加入BN层后，解决了训练准确率高、测试集准确率低的问题。
现有的人工检测方法检测速度慢、准确率差。模板匹配算法受到了模板的限制，难以检测随机性的缺陷问题。本文提出了一种基于LeNet-5卷积神经网络的改进汽车手柄字符缺陷检测算法。制作汽车手柄数据集，并对LeNet-5卷积神经网络进行改进输入图像大小，增加字符的特征信息；
引入Adam优化器，在减少训练时间的同时，提高测试的准确性；
引入批量归一化操作，解决训练准确率高、测试准确率低的问题。实验结果表明，本文改进算法在迭代次数2 000次的条件下，9个汽车手柄字符缺陷检测准确率为98.89%。
