基于图像传感器的钢板板坯喷标字符在线识别系统
时间：2023-03-10 19:00:12 来源：柠檬阅读网 本文已影响 人 
彭 祺，屠礼芬，宋 伟，唐戈锐，余振宇
(湖北工程学院物理与电子信息工程学院，湖北孝感 432000)
钢厂里有许多钢板板坯需要被放进加热炉再次加热，按照当前工业生产流程，操作人员需站在板坯前方读取和记录钢板板坯的喷标字符，控制行车的抓钩来抓取相应板坯，然后将板坯按生产排序放进加热炉中[1]。钢板板坯的温度高达200～400 ℃，长时间站在板坯前方，严重损害操作人员身体健康。另外，生产线上的钢板处于运动状态，人工长期注视容易产生视觉疲劳，从而引入识别误差。
为了解决该问题，本文采用图像传感器[2]实时采集板坯序列图像，并结合传统图像分析[3]和深度学习[4]方法来自动识别板坯的喷标字符。该系统在硬件和软件上都做了优化设计，硬件上，保证图像传感器能在高温、光照变化、震动等环境下高速采集图像；
软件上，要保证整个系统能以30帧/s的速度采集数据，并能对字符实现准实时识别，识别的正确率不低于98%。
板坯喷标字符自动识别系统总体结构如图1所示：在距离板坯侧面约2 m左右处安装设备，设备离地面高度约1.1 m左右。系统硬件主体由高速高感光工业数字相机和深度学习推理服务器组成。相机安装在温控防尘防护箱内，防护箱尺寸大约为625 mm×325 mm×285 mm，整个防护箱由一个大约高1 m的立柱，固定在地面上。推理服务器放置在操作室内，操作室距离设备10 m左右，由工业双屏蔽千兆网线连接防护箱内的相机。
图1 系统总体架构
本识别系统核心硬件为图像传感器，图像质量是保证正确识别字符的关键因素。然而，钢厂需要24 h不间断生产，环境光变化很大，厂房内还有天车运行，容易产生阴影，200～400 ℃的钢板板坯红外辐射能量极大，会造成图像传感器饱和；
另外，高温板坯会导致周围环境温度过高，导致图像传感器无法正常工作。鉴于钢厂的特殊环境，本系统的硬件设计关键技术主要分为2个方面：图像采集系统和相机温控防护系统。
2.1 图像采集系统
钢板板坯呈黑褐色，为了看清上面的字符，需增加照明系统。但该方式增加硬件的复杂度，且灯本身发热，在高温环境下容易损坏；
另外，复杂的光照条件会降低识别算法的鲁棒性。
本文不使用灯光照明，而在镜头前加装减光镜[5]，相机通过镜头采集到的图像亮度极低，这样就能解决环境光照复杂多变的问题。为了适应低亮度图像，选用微视高感光工业相机HK-A5100-GM60-NIR采集图像。
现场实验发现：钢板板坯实际温度为200～400 ℃，因外部被氧化皮覆盖，观察到的外观为黑褐色，但HK-A5100-GM60-NIR采集到的图像是一片白。因为该相机在昏暗环境中感光，近红外光谱波段量子效率(quantum efficiency，QE)较强[6]，而200～400 ℃的钢板板坯红外辐射能量极大，造成相机传感器饱和。为解决该问题，在镜头前端增加波段为400～800 nm的滤光镜[7]，峰值响应在730 nm处，量子效率QE为 80%，图像采集系统结构如图2所示。经过现场实验，该设计既能使高感光相机采集到清晰的板坯表面字符图像，又能隔绝红外辐射，并且对环境光照的变化不敏感。
图2 图像采集系统结构
2.2 相机温控防护系统
高温板坯能将距离1～2 m处的空气温度加热到80 ℃以上，在这种环境下，相机即使安装散热片，也无法保证正常运行。因此制作了相机温控防护系统，如图3所示，其中图3(a)～图3(c)为设计图，图3(d)为实物图。
(a)相机固定架
(b)内箱体
(c)外箱体
(d)实物图图3 相机温控防护系统
相机固定在内箱体中，内箱体设计制冷装置降温，将箱体内温度控制在不高于35 ℃，外箱体设计不锈钢外壳防尘防撞。设计要点如下：
(1)如图3(a)所示，相机系统固定在转接板上，转接板通过M3型螺丝孔再与桥型滑轨相连，使相机能前后移动适应现场环境，桥型滑轨固定在内箱底部；
转接板使用3D打印机打印，高分子材料抗震隔热，能减小因震动造成图像模糊，降低外部环境对相机系统的影响。
(2)如图3(b)所示，内箱侧面安装相机的电源以及制冷器的电源，顶部镂空用于安装亚克力板，亚克力板下面是半导体制冷器的冷端，上面是半导体制冷器的热端。顶部还要挖孔，靠近尾部的孔用于引出相机电源线和数据线(网口相机，此处用网线)，靠近中间部分亚克力板旁边引出的是半导体制冷器的电源线，该电源线有2组，分别是驱动半导体制冷芯片和驱动冷端的风扇，将冷端的冷空气吹向处于正下方的相机。为防止制冷器结冰降低制冷效果，在其底部加了3个风扇，防止结冰的同时，又能把冷气吹入箱内(正下方是相机)，达到强力降温效果。
(3)如图3(c)所示，外箱是一个U型结构，其镂空与内箱镂空形成2个同心圆，2个同心圆都会在外侧加装玻璃。外箱左右两侧都有散热孔，用于将制冷器上部热端的热量通过风扇排出去。
(4)图3(d)为制作的成品，为了便于查看，将内箱放置在外箱上方，实际使用时，首先将相机系统固定在内箱，再将内箱固定到外箱中，形成一个隔热、防尘、抗震的整体防护系统。
软件结构由3部分组成，前端部分负责采集清晰的喷标字符，后端部分通过深度学习识别破损的喷标字符，学习部分进行破损字符学习。软件整体架构图如图4所示。
图4 软件整体架构
3.1 采集部分
采集部分的难点在于现场光照环境和尽量不改变生产流程。首先，为了减小外部不可预知的光源变化情况；
然后，光源自身热量较高，而现场环境温度也较高，受现场高温影响难以散热，影响寿命；
最后，喷标字符为白色，在较强光照下容易反光，而现场环境光照变化复杂，当过亮反光或者过暗模糊时，难以实时调节光照。因此本方案不使用外部光源，而是用高感光工业相机，从软件算法角度对光照变化进行自适应调节。
对于生产流程来说，钢板虽然会有短暂停留，但经过现场勘查，发现停留的位置并不固定在某个点，有时部分字符未进入视场，有时部分字符已出视场(如被辊道侧护板遮挡)。若采用静止采集方式，则要求辊道操作员将板坯停靠在某个固定位置，使所有字符完整进入视场。为尽量不改变生产流程，为辊道操作员提供便利，本方案采用动态采集方式，即使用高速相机，配合高速图像处理算法，在板坯运动时依然能采集到清晰的字符图像。
光照自适应算法在“图像预处理”模块内，动态采集算法在“字符图像增强”模块内。相机采用高速高感光工业数字相机HK-A5100-GM60-NIR，分辨率为1 280像素×1 024像素，帧率17～55帧/s，动态范围大于83.5 dB，在600 nm波长的光电转换效率不小于55%。
采集部分核心目标是在钢板运动过程中定位并采集到完整的板坯字符区域图像，作为识别算法的输入。因此，“图像预处理”模块内，采用自适应阈值分割[8]和图像帧间差分[9]相结合，获取图像内白色条状区域，即板坯字符所在的区域用于识别算法，其他部分截断，可以较大地提升识别速率，采集部分的结果如图5所示。
(a)原始图像
(b)板坯字符区域图像图5 图像分析算法确定的板坯字符区域
3.2 识别部分
识别部分分为主支路和辅助支路。辅助支路进行字符图像的存储，运用算法将其进行图像分割后，存储到字符图像数据库中进行管理，该字符图像数据库为“学习部分”提供样本数据。
主支路进行字符识别推理，采用Paddle-OCR字符识别算法[10]实现，对上一步采集到的清晰字符进行识别。对现场采集的钢板图像进行了板坯字符识别测试，结果如图6所示。改变现场环境光照，产生高亮或者较暗的字符图像，字符识别算法均能给出精度较高的识别结果。
图6 字符识别效果测试
识别结果要进行判定，判定依据来自2个方面，一个是算法自身的概率统计评价，评价其识别准确度；
另一个是上下文逻辑，因板坯号只有纯数字，即0～9共10个，不会出现其他字符，且字符长度为10，另外大多数情况下，前后板坯号有一定的关联，因此可以通过此类逻辑进行错误判定。如果识别概率评价和上下文逻辑均能通过，则输出结果，在软件界面显示。
3.3 学习部分
深度学习软件与传统软件的最大区别是：随着使用的时间增加，采集到的字符图像样本增加，通过数据学习，可使系统性能更好，即识别精度更高。
使用一段时间后，收集了一定量的字符图像样本，通过人工标注，启动深度学习训练，进行数据学习，会使识别率增高。根据现场测试经验，第1次学习训练提高较大，第2次学习训练，有较小幅度的提高，例如第1次学习准确率从70%～80%提高到90%，第2次学习准确率从90%提高到92%～94%，所以一般来说，第2次学习也是必要的。而第3次学习，提高较小，可能从94%提高到94.5%，也可能提高较大，从94%提高到96%。具体提高率，与采集到图像样本的特殊性、标注的质量、算法的调整有关；
现场使用环境是否改变也很重要，极端情况下会出现负优化，即识别率反而降低。具体效果，需要结合实际环境特征进行验证。
通常情况下，前2次学习都是必要的，第3次及进一步学习训练按客户要求来进行。通过多次学习更新识别模型，生成新的识别神经网络，该模型网络用于上一步的“字符识别推理”。
系统首先在实验室内进行了多组模拟测试，较典型的2组如图7(a)和图7(b)所示。
(a)正常运动速度时捕获的实验字符图像
(b)快速运动速度时捕获的实验字符图像
(c)现场测试钢板板坯字符图像图7 系统测试结果
图7(a)中的实验字符图像运动过程中，速度正常时，捕获的图像较为清晰，识别精确率可达99%以上；
如果捕获的图像较为模糊，虽然识别精确率下降到89.547 4%，但经过人工比对，发现只有第6位的8被识别为3，其他字符识别正确；
最终程序会取精确率最高的结果输出，不影响最终识别结果。如果运动速度过快，如图7(b)所示，造成捕获的图像过于模糊，达到人工都无法识别的程度，本系统依然能给出正确的字符识别结果。图7(c)为系统现场在线测试效果，每块钢坯板坯在运行过程中，系统分3段选取完整的板坯字符图像识别，保留识别率最高的检测结果作为最终结果。现场环境比实验室更复杂，钢板板坯字符有部分高亮区域，还存在部分缺失问题，但本系统表现良好，系统已稳定运行超过1 a，平均识别率为98.64%，满足应用要求。识别效率方面，图像采集和处理流程的识别效率能达到33帧/s，字符识别算法并行实现，每3帧识别平均用时在0.2 s左右，达到了准实时要求。
通过图像传感器实时采集并存储钢板板坯喷标字符图像，采用百度飞浆Paddle-OCR字符识别算法实现了板坯字符在线自动识别。目前，该系统已试运行成功，整个系统操作和维护都较简单。
实践证明，该系统平均识别率为98.64%，满足厂方不低于98%的要求；
图像采集和处理流程能够达到33帧/s，满足厂方不低于30帧/s的要求，识别算法达到了准实时要求。该系统有效解决了人工识别板坯字符的影响，提高了生产效率。
