面向人工智能图片合规检测的仿生模型研究*
时间：2022-12-03 20:45:04 来源：柠檬阅读网 本文已影响 人 
宋昕彤， 王 骏， 李 甫， 潘 祥
(1.江南大学 人工智能与计算机学院,江苏 无锡 214122; 2.上海大学 通信与信息工程学院，上海 200444；
3.无锡量子云数字新媒体科技有限公司，江苏 无锡 214122)
近年来，随着网络和人工智能的快速发展，网络直播和自媒体行业逐渐占据很大一部分。相关报道表明，网络中存在的非法元素给监管人员造成了不小的麻烦。因此对于合规图片及视频的检测与监管就有着非常重要的作用，目标检测是其中的一个代表性技术。最常见的目标检测算法[1,2]主要有基于区域卷积神经网络(region-CNN,R-CNN)类方法和基于SSD(single shot multibox detector)方法。基于R-CNN类方法中，最初的R-CNN算法的候选框由速度较慢的选择搜索(selective search)算法完成，加之卷积网络的重复计算，使得检测速度慢，内存占用量大。而Girshick R在2015年推出的Fast R-CNN算法，选择运用整张原始图片输入卷积神经网络(CNN)[3]，因此计算量明显降低，但检测速度依旧不够高。相比之下，YOLOv1[4]使用统一的网络去直接预测输入图像的类别和位置，一步到位，明显加快了检测速度。而基于SSD方法的目标检测，检测速率快且准确度超过了R-CNN类方法和YOLOv1方法，但与YOLOv1以上版本算法相比，YOLOv2[5]和YOLOv3[6,7]算法在准确率与SSD方法接近的同时，速度更快。很多学者对于YOLOv3进行了运用和改进。文献[8，9]中提出了基于改进YOLOv3的有遮挡行人检测，体现出了YOLOv3在目标检测方面的优势。
目前的深度学习模型需要大量计算力、内存和电量。YOLO算法虽然大大增加了对于目标的检测速度，但由于网络层数量的增加也导致了训练和推理计算量的增加，嵌入式设备等并不能很好解决这一问题。因此提高推断效率，进行网络瘦身[10～13]就尤为重要。运用剪枝的方法可以使得模型结构更小、内存利用率更高、运行速度更快。
本文设计实现了面向人工智能图片合规检测的仿生模型，提出了一种融合神经网络剪枝和YOLOv3算法的合规图片检测和识别的方法。为了提高模型的准确率和泛化能力，本文提出了混合人物训练集的训练方式，将开源的URL文件转换为图片格式，手动提取并分类文件中的合规与非合规图片，建立为合规图片数据集。其中部分合规人物图像来源于VOC2007数据集，这在一定程度上降低了网络的漏检率。最后，本文针对提出的网络模型，使用剪枝的方法对神经网络模型进行压缩，降低了模型的计算量，提高了运行速度。
1.1 YOLO目标检测的方法
YOLO属于回归系列的目标检测方法，输入(input)整张图像来预测矩形框的坐标、框中包含物体的置信度和物体所属类别概率的预测。YOLO网络目标检测的流程如图1所示。
图1 YOLO网络流程
相比之下，YOLOv2又对每个候选框都进行一个独立类别的预测，提高了网络对于多目标的检测能力。而YOLOv3网络由于没有使用全连接层，因此可以对应任意大小的输入图像。此外，用设定卷积层的步长来代替池化层又使得YOLOv3很好地解决了对于小目标的检测，提高了检测的精度。
1.2 神经网络的剪枝
目前，深度学习模型需要大量的计算和内存，成为在需要实时推理或计算资源有限的边缘设备和浏览器上运行模型的瓶颈。剪枝(pruning)是深度学习的一种技术，目标是为了开发更小、更高效的神经网络。剪枝的模型优化技术可以去掉权重张量中冗余的值，使得剪枝过后的神经网络模型更加轻便、运行速度更快。
剪枝的标准有很多，最简单的是暴力剪枝。假设C{D|W}为数据集D，参数集W的代价函数，最小化L1-norm
(1)
这是一个组合问题，因为每个参数都有保留和去除两种情况，所以，总共需要进行计算的次数达到2|W|次。
Oracle剪枝计算每次去除一个神经元，观察代价函数的变化，如果代价函数更小，则说明去除这个神经元有利于精度提高。但是这种方式的计算量也很大。
最小权重方法：每个权重的大小会消耗大量的计算，所以可以计算一系列相关的权重大小。定义一个计算核心权重L2范数大小的量
(2)
如果这个L2范数较小，那么说明这个核心权重对结果的影响较小，就可以舍弃。这种方式在微调(fine-tuning)中就可以完成，不需要再增加额外的计算。
Taylor展开：如果将代价函数进行泰勒展开，忽略高阶项，可以通过代价函数最小化来剪枝的技术。假设hi为来自i参数的输出结果，如果值为0，表示这个参数可以被去除。那么去除后对代价函数的影响可以用公式表示为
θ=ΔC(hi)|C(D,hi=0)-C(D,hi)|
(3)
如果对代价函数的影响较小，那么说明这个参数是冗余的，就可以被优化掉。
剪枝在决策树中用于解决过拟合问题，同时也可以降低计算量。而在深度学习中主要是为了减少神经网络中冗余，减少参数，加速硬件的计算。
本文提出的面向人工智能图片合规检测的基本流程:获得人物图像，经过YOLO目标检测模块，判断其是否为合规图像，非合规图像标记为警告(warning)，合规图像则标记为人物(person)。
2.1 基于YOLO算法的合规图片检测
本文基于YOLOv3目标检测模型，每次对矩形框预测时，都输出tx，ty,tw,th,to，这表示每一个框的位置。之后通过以下公式计算出绝对的位置
bx=σ(tx+cx),by=σ(ty+cy),bw=Pwetw,bh=Pheth,
Pr(object)×IoU(b,object)=σ(to)
(4)
式中 IoU(intersection over union)为交并比，包含了预测框的准确程度和预测框内存在目标的概率。Pr(object)为人工标注的框是否落在一个网格单元中，是则取1，否则取0。
对于YOLO来说，损失函数非常重要，YOLOv3除了w,h宽高的损失函数是总方误差之外，其他部分的损失函数用的是二值交叉熵。故模型的损失函数表示为
(5)
二元交叉熵(binary cross entropy,BCE)的具体公式计算如下
(6)
此外，YOLOv3还使用了残差结构,学习的目标就从学习完整的信息变成了学习残差,学习优质特征的难度大大减小。
2.2 基于深度神经网络剪枝(仿生模型)的YOLO改进
本文针对YOLO存在的问题[14]，提出一种基于深度神经网络剪枝(仿生模型)的YOLO改进,即Prune-YOLO。
神经网络的剪枝借鉴了生物学思想，如图2所示。
图2 神经元剪枝
网络通常看起来与图2中左边的类似:下层的每个神经元都与上层每个神经元相连，这意味着需要进行大量的浮点数相乘计算。然而理想情况下，只需要将每个神经元连接到其他的几个神经元上就可以省去一些乘法。这就是所谓的“稀疏”网络。如果可以根据神经元的贡献大小对网络中的神经元进行排序，那么就可以将排名较低的神经元从网络中移除，从而得到一个更小、更快的网络。网络通常是进行训练—修剪—训练—修剪的循环，即不断迭代，这可以较大程度保证模型的准确率。如果一次修剪太多，可能严重破坏网络。因此在实际操作中，这是一个迭代的过程,即通常称为“迭代剪枝”。
2.3 网络结构的设计
针对 YOLO 进行深度神经压缩，主要通过模型稀疏化训练完成。稀疏的想法是对于每一个通道都引入一个缩放因子，通道的输出相乘。之后融合训练网络权重和缩放因子，最后将小的缩放因子通道直接移除，微调剪枝后的网络。损失函数被定义为
(7)
式中 (x,y)为训练数据和标签，W为网络中可训练的参数，函数中第一项是网络的训练损失函数。g(•)为在缩放因子上的乘法项，λ为平衡因子。本文的实验采用L1正则化，选择g(s)=|s|，L1正则化是稀疏化中运用最广泛的一点。引入了缩放因子正则化后，训练出来的模型许多因子都会趋于0。
3.1 实验环境
本文的实验环境如下：CPU为Intel®CoreTMi7 8th Gen；
内存16 GB；
在Python 3.6 64 bit环境下运行，Tensorflow—GPU 1.14.0 + Keras 2.1.5。
3.2 实验数据的采集
为了对非合规图片进行识别，保证实验的完整性，YOLO需要对大量的数据进行训练。本文的图像识别只是一个合规图片与非合规图片的二分类问题，所以输出层只有两个神经元，对应了合规图片与非合规图片。实验共采集到4 500张图片，其中包括2 100张非合规图片的正样本和2 400张合规图片的负样本。其中共3 900张训练图片，包含1 800张非合规图片以及2 100张合规图片，测试图片以随机的方式分别从合规图片样本与非合规图片样本中各自选取300张。采集到的非合规图片由NSFW数据源URL获取，合规图片的人物图像部分来源于VOC2007数据集，将其建立为本文所需数据集。之后将所需图片制作成YOLO需要的VOC格式数据集，制作过程如下：1)将URL网络地址文件下载并保存为JPG格式，找出重复项及破损的文件并删除。2)将所有图片统一命名为000001.jpg的形式。3)使用LableImg人工制作数据集，生成VOC格式所需的.xml文件，并放入VOC格式相应的文件夹中。4)生成所需训练集和验证集。
3.3 目标检测模型评价方法
本文目标检测算法中使用mAP(mean average precision)值作为一种标准来衡量算法的精确度高低。精确率P为模型预测的所有目标中，预测正确的比例。召回率R为所有真实目标中，预测正确的比例。评价标准被定义为
(8)
其中，TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。
3.4 实验结果与对比
3.4.1 合规图片检测结果
运用YOLO网络检测合规图片的构建及实现基于深度学习框架Keras。实验以4 500张图片进行迭代操作，迭代100次，迭代之后的结果作为最终的权重模型。实验主要以预测损失值的大小来判断网络迭代学习的效果。实验结果如图3所示。
图3 迭代次数与损失值的关系
图3中的横坐标(x)为迭代次数，其中图(a)的纵坐标为loss值(训练集的损失值)，图(b)的纵坐标为val_loss值(测试集的损失值)。从图中可以看出，损失值不断下降，说明网络仍在学习。由此可以看出本文训练的模型有效。
图片检测的实验中，对于负样本的预测准确度如图4所示，而对于正样本(非合规图片)也可以准确生成预测框，且准确度达到了95 %以上。实验结果表明，训练之后的网络模型在经过100次迭代之后，损失值可降低到个位数。并且在对人像图片进行预测时，准确度达到99 %以上。
图4 目标图片检测结果
为了综合评价本文算法在合规图片数据集上的有效性，综合上述提出的目标检测算法，在本文制作的合规图片数据集上，从预测时间和mAP值两方面将本文算法与R-CNN，Fast R-CNN，Faster R-CNN，SSD等目标检测算法进行对比。实验结果如表1所示。
表1 各目标检测算法的对比
由实验结果可知，本文算法在合规图片数据集中达到了很好的实验效果。相对于其他目标检测算法，本文使用的算法明显优于其他算法，检测的速度更快，准确度更高。
3.4.2 Prune-YOLO的实验结果
Prune-YOLO是对YOLO模型的剪枝，本文首先对模型进行稀疏化训练，之后在神经网络中进行剪枝的操作，然后对网络进行重新训练。重训练的目的是使网络模型具有更高的精度，防止网络过拟合。多次迭代之后由于部分卷积层的通道数大幅度减少，因此最终得到体积更小、检测效果更好的网络模型。
表2为压缩后的YOLO模型与原有模型的对比。
表2 模型压缩前后参数对比
针对网络合规图像提出了一种面向人工智能图片合规检测的仿生模型。实验结果表明：YOLOv3在合规图像数据集上能够更好地定位和检测目标。而基于深度神经网络剪枝(仿生模型)的YOLO改进,即Prune-YOLO，使得网络模型更小，检测速度更快。实验结果表明，经过优化的YOLO网络模型可以在大小减少60 %的情况下稳定运行，且准确率相较于原模型只有2 %以内的差距，在嵌入式设备上的检测速度也获得原模型1倍的加速效果。整体的实验结果表明，本文提出的面向人工智能图片合规检测的仿生模型有效地完成了对合规图像的检测和定位，具有比较好的鲁棒性。
猜你喜欢 剪枝合规神经网络 金融机构刑事合规之从被动辩护到主动刑事合规支点(2022年10期)2022-10-19基于梯度追踪的结构化剪枝算法计算机仿真(2022年8期)2022-09-28基于神经网络的船舶电力系统故障诊断方法舰船科学技术(2022年11期)2022-07-15基于YOLOv4模型剪枝的番茄缺陷在线检测农业工程学报(2022年6期)2022-06-27企业如何做好反商业贿赂合规法人(2022年5期)2022-05-23基于人工智能LSTM循环神经网络的学习成绩预测中国教育信息化·高教职教(2022年4期)2022-05-13MIV-PSO-BP神经网络用户热负荷预测煤气与热力(2022年2期)2022-03-09企业合规高等教育即将到来法人(2021年12期)2021-05-09三次样条和二次删除相辅助的WASD神经网络与日本人口预测软件(2017年6期)2017-09-23剪枝天津诗人(2017年2期)2017-03-16
