云环境下的工业机器人零件抓取实验系统设计
时间：2023-04-17 15:45:03 来源：柠檬阅读网 本文已影响 人 
闫纪红， 荆添一， 张宇浩
（1.哈尔滨工业大学机电工程学院，哈尔滨 150001；
2.香港科技大学智能建造研发中心，香港 999077）
工业机器人因其高精度以及可重复性的特点，在制造业领域内得到大量使用［1］，用以帮助或代替人完成多种工作［2-3］。其中，通过设计工业机器人的抓取系统进而完成对零件的抓取任务是生产制造中一项重要的应用［4］。抓取系统设计的优劣程度，体现了工业机器人的智能化水平。目前许多研究人员采用了机器视觉技术设计工业机器人抓取系统［5-6］，但多数是面向本地零件设计的，存在着对新零件识别准确度低与定位精度差的缺点。
云有着强大的存储能力和计算能力，其出现和发展加速了工业机器人的智能化进程［7-8］。在制造业中，大量的零件数据储存至云中［9］完成了零件信息的有效存储和共享，各类智能算法也融入其中为用户提供云服务［10］，实现了存储资源和计算资源的共享。基于云中存储的大量零件数据训练机器视觉算法，可以增强算法中模型输入的丰富程度，实现对多类零件的准确识别与定位。将该算法应用于设计工业机器人抓取系统，将会有效地提高工业机器人对新零件的抓取能力。
本文基于云边端架构，设计了一套云环境下的工业机器人抓取实验系统，构建了机器人、自动导引运输车（Automated guided vehicle，AGV）、工业相机和云服务器的综合交互系统，并实验进行测试，以达到工业机器人能够对多种零件实现动态抓取的目的。
作为一种新型系统架构，面向工业机器人的云边端系统架构可以协同云服务、边缘计算和终端设备共同完成现场任务，提高机器人的智能化水平［11］。该架构共分为3 层：端层、边层和云层。本系统中，端层中包含各类执行机构和感知设备，包括机器人、AGV 和工业相机，是在工业现场实际完成各项操作的层，同时可以获取零件信息；
边层是一个数据处理层，是云层与端层交流的媒介，该层既需要将相机采集的零件信息做预处理后上传到云层，也要将云层下传的信息转化为机器人和AGV可以理解的控制命令；
云层相当于整个系统的大脑，存储海量零件信息，以及基于零件信息训练的机器视觉算法，根据边层处理后的零件信息得到算法结果，并由边层解释后指导终端工作。
本文实验系统结构如图1 所示，系统以计算机为边缘节点，各层之间通过TCP／IP 网络协议建立连接。系统工作时，AGV承载零件移动至工业相机视野下，相机将获取到的零件视频流传输至边层；
并进一步转换为图片流传至云上，采用机器视觉算法获得该零件的相关信息；
而后通过网络下传至边层计算机中确定该零件的抓取策略，并实时转化为机器人和AGV控制命令；
利用边层计算机与机器人和AGV的网络通信将控制命令实时传输至端层设备的控制系统，实现零件的动态抓取。为了更好地体现利用云资源设计抓取系统的优势，在边层部署了基于本地零件数据集训练的机器视觉算法，该算法因为原始数据集的限制而只能实现对本地零件的识别与定位。
图1 实验系统结构
2.1 端层设备部署
端层设备是完成零件抓取任务的硬件基础，对其进行有序的部署是系统设计中的重要环节。实验平台采用Universal Robots公司生产的UR5 机器人，该机器人具有良好的灵活性，支持网络通信，可以实时地接收计算机下传的控制命令［12］，将UR5机器人固定于空旷位置避免与其他设备干涉。工业相机选用海康公司的MV-CE100-31GM 相机，可通过网络接口与计算机建立连接。
端层设备部署如图2（a）所示，系统将AGV 运行路线作为机器人和相机布置的基准，以色带作为AGV运行导引。在导引上以一定距离间隔设置站点二维码标签作为其定位方式，由图2（a）所示设定站点顺序为1 ～6，以站点1 为起始站点，UR5 机器人所处位置为站点5，相机位置为站点3。为建立端层设备与边层计算机的通讯，需要在局域网下设定UR5 机器人、AGV 和工业相机的静态IP地址。
图2 端层设备部署
2.2 边层控制系统部署
边层是介于云层与端层之间的层，是系统中的数据处理层，包含视觉信息处理功能、本地机器视觉算法、零件抓取策略算法和终端控制命令生成。零件抓取策略算法包括零件运动到达抓取点时的工具中心点（TCP）空间位置和TCP姿态［13］，由云下传的零件信息和定位结果确定，算法流程如图3 所示。
图3 零件抓取策略算法流程
本文的终端控制包括机器人和AGV的控制，由边层计算机统一下发控制命令。AGV 由内部的欧姆龙PLC与边层计算机建立通讯，利用Fins指令［14］实现对AGV的实时控制，并获取其运行速度以便在零件抓取策略中预测TCP位置。AGV是零件运动的载体，其所处位置反映零件的当前位置，系统通过实时判断AGV所处站点序号，控制系统执行各项任务。当AGV运行至站点3 时，控制相机开始工作，利用本地或云层视觉算法判断当前时刻零件与机器人基座的相对位置，经过抓取策略算法生成UR5 机器人控制命令；
当AGV运行至站点5 时，将机器人控制命令以UR＿Script 脚本形式下传至UR5 机器人中，在零件运行过程中完成抓取任务。
本地机器视觉算法是基于本地零件数据训练的，适用于实现对本地原有零件的识别与定位。算法构建方法如图4 所示，在完成相机标定和获取零件图片后，算法分为两部分：识别零件类别和零件定位。零件类别采用卷积神经网络模型（Visual Geometry Group 16，VGG16）实现对零件的实时识别，模型包含13 个卷积层和3 个全连接层共16 个权值层［15］，可以提取到零件中细微的特征。在训练模型前需要利用数据增强方法提高数据集的丰富程度，利于提升模型训练效果。零件定位是基于OpenCV 软件库实现，采用特征矩计算的方式获取零件的外形、质心位置以及旋转角度。本地机器视觉算法的构建方法同样可用于云层机器视觉算法的设计，不同之处在于原始零件图片数据集，云层的算法具有更多的原零件始数据类别。
图4 机器视觉算法构建流程
2.3 云层资源部署
在本实验平台的云边端系统架构中，云层依靠其中的零件数据库和机器视觉算法，以软件即服务（Software as a Service，SaaS）模式为下层提供云服务。如图5 所示，本文以本地云为例搭建实验平台，在其中部署零件数据集并训练云层机器视觉算法。以MySQL关系型云数据库为元数据存储方式，用于接收在Hadoop中管理的零件数据［16］。为了实现所需零件信息的完备存储，设计零件信息储存表，表中包含各类零件的类型名称、高度和轮廓尺寸等零件信息，数据格式如表1 所示。利用TCP／IP 协议获得零件信息并下传至边层零件抓取策略算法，指导下层工作。云层机器视觉算法训练方法同边层机器视觉算法，其中原始零件数据集内含有大量不存在于边层视觉模型中的零件类型。系统整体布置如图6 所示。
图5 云服务器集群
图6 系统布置
表1 零件信息储存表数据结构
3.1 零件识别与定位实验
本实验的核心内容在于：①利用本地机器视觉算法，完成对本地零件的识别与定位；
②采用云视觉系统对不能准确识别的、不在本地算法模型中的零件完成识别与定位。
识别与定位的实验流程如图7 所示：①需要将相机连接到边层计算机中，保证相机获取到的零件信息可以实时传输到计算机中；
②给定不同角度摆放的零件，要求分别利用本地视觉算法完成对零件的识别与定位；
③对于未在本地视觉模型中的零件，本地视觉算法会出现识别错误或无法识别的情况，此时使用云层机器视觉算法，可实现对新零件的识别与定位，突破本地算法对新零件识别错误或不准确的局限性，算法结果如图8 所示。
图7 零件识别与定位实验流程
图8 零件识别与定位结果
3.2 零件动态抓取实验
本实验的关键在于利用云下传的零件识别与定位结果驱动机器人和AGV 控制系统完成零件的动态抓取任务。
利用网络实现云边端系统中各层之间的互联是整个实验的基础，根据局域网下各设备的IP地址将终端设备连接至边层计算机上，设置白名单获取云服务器访问权限，完成云边端系统的网络连接。给定3 种不同的零件，依据云视觉与定位算法的输出结果与AGV速度挡位，控制机器人和AGV 实现零件动态抓取，验证该实验系统有效性。实验流程如图9 所示。
图9 零件动态抓取实验流程图
本文在面向工业机器人的云边端系统架构下，设计了一种云环境下的工业机器人抓取实验系统，利用云服务资源共享的优势，解决了传统基于机器视觉设计的抓取系统难以完成新零件抓取任务的问题。经测试，此系统能够实现对多种零件的动态抓取，解决了工业现场中本地计算资源和数据资源不足的问题，提高了工业机器人的智能化水平。系统具备一定的可拓展性，可在此基础上通过丰富云层资源、增设终端设备等方式，适应更多的生产制造场景。同时，该系统已经满足实验教学的要求，并已应用于本科生和研究生的实验教学中，达到了科研反哺教学的目的，也为学生进行科学研究提供了实验条件。
猜你喜欢云层机器定位机器狗环球时报(2022-07-13)2022-07-13机器狗环球时报(2022-03-14)2022-03-14《导航定位与授时》征稿简则导航定位与授时(2020年5期)2020-09-23Smartrail4.0定位和控制铁道通信信号(2020年9期)2020-02-06乌云为什么是黑色的新作文·小学低年级版(2019年4期)2019-04-27未来机器城电影(2018年8期)2018-09-21穿透云层的月亮民族音乐(2018年1期)2018-04-18找准定位 砥砺前行知识经济·中国直销(2018年3期)2018-04-12乘坐飞机好孩子画报(2017年1期)2017-04-06青年择业要有准确定位学习月刊(2015年1期)2015-07-11
