面向生活垃圾图像分类的多级特征加权融合算法

徐传运,王 影,王文敏,李 刚,郑 宇,张 晴

(1.重庆理工大学 人工智能学院， 重庆 401135；
2.重庆师范大学 计算机与信息科学学院, 重庆 401331；
3.澳门科技大学 下一代互联网国际研究院， 澳门 519020)

据“2020年全国大、中城市固体废物污染环境防治年报”[1]统计，2017—2019年全国城市生活垃圾产量分别为20 194.4、21 147.3、23 560.2万t，呈逐年上涨的趋势。不断上涨的城市生活垃圾使生态环境污染情况变得更严重，也给人类的生命健康带来了威胁。生活垃圾分类旨在将城市生活垃圾进行分类处理，提高垃圾的资源价值和经济价值，减少生活垃圾所带来的生态环境污染。如何将生活垃圾进行正确分类已经成为当下最热的研究课题。1996年，北京市率先在西城区大乘巷开展垃圾分类试点，成为全国第一个进行垃圾分类试点的城市[2]。2019年，上海市正式实施《上海市生活垃圾管理条例》[3]，开始强制垃圾分类，随后多个城市陆续展开行动。传统的垃圾分类操作主要依靠环卫工人手动进行，分拣环境恶劣、工作量大、成本高、效率低。随着人工智能的飞速发展，采用深度学习等人工智能技术对图像进行自动识别、分类已逐渐成为可能，基于图像的生活垃圾分类成为深度学习领域所关注的一个具体问题，得到国内外的广泛关注。

随着深度学习的不断发展，神经网络的层数越来越多，网络结构也越来越复杂。针对卷积神经网络中每一层学习的图像特征信息，文献[4]通过特征可视化可知，在提取特征信息的过程中浅层学习到的主要是颜色、边缘特征，中层学习到的主要是纹理特征，深层学习到的主要是具有辨别性的关键信息。在深度网络中，不同层次的特征能编码不同类型的信息：浅层的特征信息分辨率更高，包含更多的位置、边缘和细节信息；
经过多次卷积操作，得到的深层特征信息能很好地表示图像语义信息，但对于图像细节感知能力较弱[5]。在图像分类任务中，不同层次的特征信息对分类的贡献不同，不同层次的特征信息互相补充，才能获得更多所需的信息，进而获得更好的效果[6]。如何将不同层次的特征进行有效融合，成为了当前研究的热点。

本文的主要贡献如下：1)针对目前垃圾分类准确率低的问题，提出一种面向生活垃圾图像分类的多级特征加权融合算法，该算法在华为生活垃圾图像数据集上的分类准确率优于已有的其他方法。2)针对特征提取过程中不同层次的特征信息，设计了基于膨胀卷积的多分支网络结构，通过不同膨胀率的膨胀卷积对不同层次的特征信息进行处理。3)为了使不同层次的特征信息能更好地融合，分析自适应权重系数和固定权重系数对图像特征融合效果的影响，进而选取最优的权重赋值方式，获取更丰富的生活垃圾图像特征信息。

1.1 垃圾图像分类

垃圾图像分类研究可划分为2个阶段。

第一阶段是采用传统的图像分类技术对垃圾图像进行分类，通过手工提取图像的特征信息，针对不同的问题需要采取不同的特征提取方法。如文献[7]采用传统计算机视觉方法，手工提取颜色和纹理特征，实现了实验室场景下垃圾与背景的分离，初步完成了对垃圾的识别。由于生活垃圾的数量、种类日益增多，传统垃圾图像分类技术已经无法满足现有垃圾分类的要求。

第二阶段是随着人工智能技术的飞速发展，采用深度学习等技术对垃圾图像进行自动识别、分类已逐渐成为研究的主流。2012年，AlexNet[8]在ImageNet图像分类竞赛中展现出了深度学习在图像分类任务上的优越性。随后GooleNet[9]、VGG[10]、ResNet[11]等分类模型进一步提升了图像分类的精度。文献[12]建立了第一个公开的垃圾图像数据集Trash Dataset。文献[13]提出了一种深度神经网络分类模型RecycleNet，对可回收材料进行分类。文献[14]采用DenseNet121架构为基准网络，改变密集区块内跳跃连接的连接方式以获得更快的预测时间。文献[15]收集了4种类型(可堆肥废物、可回收废物、危险废物和其他废物)的9 200张垃圾图像，采用4种常用的基于深度学习的方法对垃圾进行分类，包括VGG16、ResNet50、MobileNet[16]和Dense-Net121，利用ResNet50分类器进行垃圾分类，准确率最高达94.86%。2019年9月华为首次举办了垃圾图像分类竞赛，推动了垃圾图像分类在国内的发展。在公开的华为生活垃圾图像数据集上，文献[17]以ResNet101作为主干网络，采用特征融合机制和注意力机制，取得了96.73%的分类精度。文献[18]利用深度迁移学习的优势，以EfficientNet-B5[19]为主干网络，加入新型空间注意力机制，取得了96.17%的分类精度。文献[20]同样利用了迁移学习，以ResNext101[21]为主干网络，重新为主干网络定制网络头，在分类精度和运行效率之间进行了权衡，并取得了95.62%的分类精度。

1.2 多级特征加权融合

深度网络中，不同层次的特征信息具有不同的特点，对于图像分类任务的贡献也不同，将不同层次之间的特征信息进行互相补充，能获取更多的信息，进而取得更好的分类效果。文献[22-23]融合网络中不同层次的特征，并在融合后的特征上训练预测器。文献[24]通过横向连接从主干网络中提取特征信息，经过自上而下的下采样将深层特征信息和浅层特征信息融合，并将每一个层次的特征图独立输出预测。文献[25]通过不同膨胀率的膨胀卷积对特征图进行操作，融合多尺度的特征，进而获得更丰富的特征信息。

为了加强特征信息的融合效果，在特征融合过程中，为不同层次的特征信息赋予不同的权重系数，使每个层次的特征信息得到充分利用。文献[26]为不同的特征信息赋予不同的权重系数，并且层数越深其权重系数越大，每一层的权重系数的计算方式均是将之前层数的权重系数进行叠加并除以所有层数的权重系数之和。文献[27]通过手动对不同层次的特征信息赋值权重系数，在融合的过程中采用和激活函数相关的特定融合公式。文献[28]采用梯度下降的方式，根据相似性评分和设定的阈值计算均方根误差，作为损失函数，通过不断地训练迭代出最优的参数组合。

为了更好地融合不同层次的特征信息，充分利用各层次信息的优点，进而取得更优的图像分类性能，本文提出一种面向生活垃圾图像分类的多级特征加权融合算法，构建基于ResNet的特征提取网络，通过多分支网络结构提取并处理图像不同层次的特征信息，在特征融合过程中分析自适应权重融合和固定权重融合对图像分类性能的影响，选取更优的加权融合方法对多级特征进行融合，从而获取更丰富的生活垃圾图像特征信息，其整体结构如图1所示。

图1 算法网络结构

算法主要包括多分支网络结构和特征融合结构两部分。多分支网络结构用于提取主干网络不同层次的特征信息，不同膨胀率的膨胀卷积对提取的特征信息进行处理，进而提高对图像空间信息的利用率，获取更多的语义信息和定位信息；
特征融合结构通过自适应权重和固定权重2种赋值方式为处理的特征信息赋予不同权重系数，融合得到更丰富的特征信息。

2.1 多分支网络结构

本文算法采用ResNet18作为主干网络，包含5个卷积块Block1～5。ResNet网络的残差学习方式解决了网络层数加深而造成分类准确率降低的问题。本文多分支网络结构的4个分支分别选取主干网络中Block2～5产生的特征信息作为输入，包括膨胀卷积(dilated convolution)，批量归一化(batch normalization)，线性整流激活函数(rectified linear unit)和自适应平均池化(adaptive average pooling)。

假设输入图像尺寸W×W，输出图像尺寸N×N，卷积核尺寸F×F，步幅Stride，填充Padding，膨胀率L，膨胀卷积(也称为空洞卷积)定义为：

(1)

膨胀卷积保持原有卷积核的大小，通过膨胀率L的改变来进行稀疏采样，扩大感受野的范围，既不会降低图像的分辨率，也不会丢失过多的空间信息。针对不同层次的特征信息设置不同的膨胀率，感受野会不同，进而能获得多尺度的特征信息。实验过程中，根据特征提取网络提取特征图的大小，设置不同的膨胀率，针对Block2～5提取的特征信息设置膨胀率分别为12、8、4、1。不同层次的特征信息通过特征融合结构进行融合，从而避免丢失图像信息，提升对图像信息的利用率。文献[29]研究了多尺度膨胀卷积在图像分类中的应用，通过实验证明了膨胀卷积在图像分类任务中的有效性。

针对不同层次的特征信息，本文提出基于膨胀卷积的多分支网络结构，采用不同膨胀率的膨胀卷积处理不同层次的特征信息，进而提高对图像空间信息的利用率，也能获取更多的语义信息和定位信息。

2.2 特征融合结构

传统的特征融合方式一般采用add和concatenate 2种。add方式是特征信息之间的相互叠加，在维度不变的情况下增加每一维度的信息量；
concatenate方式是特征信息之间的联合，增加特征信息的维度，但是每一维度的信息量保持不变。网络中的不同层次的特征信息有着不同的特点，为了更充分地利用图像的特征信息，本文提出基于权重系数的特征融合结构，为：

Y=α×F1+β×F2+γ×F3+δ×F4

(2)

式中：Y表示融合后形成的新特征张量；
Fi(i=1,2,3,4)表示Block2～5产生的特征信息经过多分支网络结构后输出的特征张量，α、β、γ、δ是4个不同层次特征张量的权重系数，统称为权重系数组合，且满足式(3)—(4)：

α,β,γ,δ∈[0,1]

(3)

α+β+γ+δ=1

(4)

权重系数有自适应权重和固定权重2种赋值方式：自适应权重系数由网络模型通过学习获得；
固定权重系数通过分析网络自适应学习得到的全部权重系数后，手动赋值。

本文实验主要包括权重系数分析、消融、对比3部分。下面从实验环境和3部分的实验内容分别进行介绍。

3.1 实验环境

实验数据集采用“华为云人工智能大赛——垃圾分类挑战杯赛”所公布的生活垃圾图像数据集(下文简称“华为生活垃圾图像数据集”)，该数据集的分类标准为深圳市垃圾分类标准[30]，其中共包含14 000余张生活垃圾图像，分为4大类40小类，数据集部分图像如图2所示。和国外开源的垃圾数据集TrashNet数据集[12]、GINI数据集[31]等相比，华为生活垃圾图像数据集包含的类别更多，且更贴近现实生活。同时，由于类别多样性高，导致不同类别的生活垃圾可能有着相似的外观，如调料瓶和饮料瓶，从而增加了分类难度。实验之前，随机互斥将数据集中80%的图像划为训练集，20%划为测试集，在实验过程中数据集的分布保持不变。

图2 数据集部分图像

实验采用ResNet18作为算法的主干网络，包括多分支网络结构和特征融合结构。算法以SGD为优化器，动量系数0.9，初始学习率0.01、100个迭代周期，每隔30个迭代周期学习率衰减0.1倍。同时，选用交叉熵损失函数来训练和优化网络模型。实验在Win10系统下，利用Python语言，运用PyCharm编译软件和PyTorch深度学习框架实现。硬件环境为Intel i7-9750H，16 GB，Nvidia GeForce RTX 2080 SUPER。

本文采用准确率(Accuracy，Acc)作为评价指标对网络模型进行评估，准确率是模型预测正确的图像数量在测试集中所占百分比，满足：

(5)

式中：VALpred表示测试集中通过模型预测得到的图像分类结果；
VALtrue表示测试集中图像原有的标注类别；
num(VALpred=VALtrue)表示前述2类相同的数量，即模型判断正确的数量；
num(VAL)表示测试集中的图像总数量。本文实验结果中的准确率均为实验过程中最高的分类精度。

3.2 权重系数分析实验

深度网络中不同层次特征对图像分类性能贡献不同，本文通过设置多分支网络结构输出不同特征的权重系数来体现。为了探索不同权重系数组合对图像分类性能的影响，本文设计了自适应权重融合和固定权重融合2种实验方案。

3.2.1自适应权重融合实验

自适应权重融合实验探索通过网络自适应学习的权重系数是否能使特征信息更好地融合，从而提升网络的分类效果。实验设计有2个：1) 基准实验(benchmark)，采用基准网络ResNet18；
2) 自适应实验(adaptive experiment)，采用图3所示特征融合网络结构。

图3 自适应权重融合实验网络结构图

特征融合网络结构采用网络自适应学习权重的权重赋值方法，即：1) 在ResNet18主干网络中加入多分支网络结构和特征融合结构，提取网络训练过程中图像在不同层次输出的特征信息；
2) 单独提取主干网络中最后一个层次输出的特征信息，通过其产生权重系数α、β、γ、δ，权重系数在训练过程中自适应修改；
3) 将不同层次的特征信息通过权重系数进行融合，得到新的特征信息，再对新生成的特征信息进行分类。自适应实验过程中产生的权重系数分析如表1，基准实验和自适应实验在华为生活垃圾图像数据集上的分类精度如表2和图4所示。

表1 自适应权重融合实验权重分析

表2 自适应权重融合实验准确率

图4 自适应权重融合实验收敛曲线

由表1可知，自适应权重融合实验的权重系数组合α、β、γ、δ的平均值(average)中γ的数值远大于其他权重系数的数值。权重系数α、β、γ、δ的标准差(standard deviation)和方差(variance)的数值都很小，表明权重系数在网络学习过程中比较稳定。由表2可知，自适应权重融合实验的网络模型参数量大于基准实验，但分类准确率优于基准实验；
由图4可知，在收敛过程中，自适应权重融合实验的收敛速度慢于基准实验的收敛速度，且收敛曲线波动幅度较大，但是精度高于基准实验。实验结果表明，在特征融合过程中，通过网络自适应学习得到的权重系数能够使图像特征信息更好地融合，进而使得网络的分类效果有一定程度的提升。

3.2.2固定权重融合实验

上述自适应权重融合实验的学习过程中，权重系数是变化的，因此特征信息的融合过程不稳定，波动幅度较大；
但在网络收敛时，权重系数趋于稳定。固定权重融合实验探索在特征融合之前对权重系数赋以固定值，是否提升特征融合过程的稳定性，进而提升网络分类效果。

通过分析自适应权重融合实验，得到权重系数α、β、γ、δ的9种组合：1) 全部平均系数(total average)，对网络自适应学习过程中产生的所有权重系数取平均值；
2) 部分平均系数(partial average)，对网络模型收敛之后产生的权重系数取平均值；
3) 平滑系数(smoothing)，对全部平均系数进行平滑操作，进而得到在同一量级的权重系数；
4)δ=0的平滑系数(δ=0 smoothing)，在平滑系数的基础上将δ赋值为0；
5) 相似平滑系数(similarity smoothness)，在平滑系数的基础上保持相似分布得到的权重系数；
6)α-γ交换的全部平均系数(α-γtotal average)，在全部平均系数的基础上交换α和γ的数值；
7)β-γ交换的全部平均系数(β-γtotal average)，在全部平均系数的基础上交换β和γ的数值；
8)δ-γ交换的全部平均系数(δ-γtotal average)，在全部平均系数的基础上交换δ和γ的数值；
9) 只有γ系数(onlyγ)。在华为生活垃圾图像数据集上的分类效果如表3和图5所示。

表3是每一组权重系数的具体数值及其网络模型的分类准确率，分析可知：

1) 全部平均系数和部分平均系数有着同样的分布规律，即权重系数γ值远大于α、β、δ值，但部分平均系数中的γ值大于全部平均系数中的γ值。对比可见，全部平均系数的准确率高于部分平均系数的准确率。

2) 平滑系数、相似平滑系数均是在全部平均系数的基础上经过平滑操作且保持相似分布得到的，权重系数组均在同一个数量级。观察2组系数可知，平滑系数的γ值大于相似平滑系数的γ值。对比可见，平滑系数的准确率大于相似平滑系数的准确率。

表3 固定权重融合实验准确率

图5 固定权重融合实验收敛曲线

3)α-γ交换的全部平均系数、β-γ交换的全部平均系数和δ-γ交换的全部平均系数均是在全部平均系数上进行系数间的交换。对比4组实验结果可知，γ值最大的全部平均系数的准确率大于系数交换后的3组系数的准确率。

4)δ=0的平滑系数是在平滑系数的基础上将δ赋值为0，即将第四层次的权重系数赋值为0。对比可知，δ=0的平滑系数的准确率低于平滑系数的准确率，但差值较小。

5) 只有γ系数是将α、β、δ系数均设置为0。对比可知，只有γ系数的准确率低于全部平均系数、部分平均系数、平滑系数和相似平滑系数的准确率。

图5对比了不同权重系数的收敛曲线，从图5(a)可见网络模型都在迭代周期为40之前达到了收敛状态，图5(b)为迭代周期在0～40范围内的准确率曲线。图中可见，α-γ交换的全部平均系数、β-γ交换的全部平均系数和δ-γ交换的全部平均系数波动较大，且精度低于全部平均系数。平滑系数的波动幅度最小，且精度最高。

3.2.3自适应权重融合实验和固定权重实验对比分析

1) 通过对表2、表3分析可知，固定权重融合实验的实验结果(表3中平滑系数的实验结果)优于自适应权重融合实验的实验结果(表2中自适应实验的实验结果)。自适应权重融合实验通过网络自适应产生权重系数，虽然效果比基准网络好，但是在特征融合过程中需要通过学习来确定最适合特征融合的系数，因此特征融合过程不稳定。而固定权重融合实验中的权重系数是直接手动赋值，在训练过程中固定权重系数，从而特征融合过程也更稳定。

2) 对表3分析可知，γ值最大的全部平均系数的准确率大于系数交换后的3组系数的准确率，说明在华为生活垃圾图像分类任务中，第三层次产生的特征信息更有用。过于增大γ的值来强调第三层的特征信息而忽视其他层次的特征信息，反而会对分类准确率产生抑制。将全部平均系数进行平滑操作后得到的平滑系数的分类准确率大于全部平均系数的分类准确率，说明权重系数满足相似的分布，且不过于增大γ的值，网络模型的分类准确率就能达到较好的效果。

3)δ=0的平滑系数将第四层次，即最深层次的权重系数赋值为0，由表3可知，其分类准确率低于平滑系数的分类准确率，但是差值较小，说明在华为生活垃圾图像数据集中第四层次的特征信息对图像分类任务的贡献较小。

4) 只有γ系数是将α、β、δ系数均设置为0，在特征融合过程中只有γ系数，即只采用第三层次的特征信息。通过对比表2可知，其分类准确率高于基准实验的分类准确率；
由表3可知，其分类准确率低于全部平均系数、部分平均系数、平滑系数和相似平滑系数的准确率，说明在华为生活垃圾图像数据集中，只采用第三层次的特征信息优于基准实验的分类准确率，但是较差于采用全部层次特征信息进行特征融合后的分类准确率。

3.3 消融实验

本文提出的算法包含2个消融因素，即多分支网络结构(multi-branch network architecture)和特征融合结构(feature fusion structure)。为了验证本文算法的有效性，消融实验在华为生活垃圾图像数据集上构建了4个网络模型：1) 不含有多分支网络结构和权重特征融合结构的基准结构(Benchmark)，即基准网络ResNet18；
2) 只含有多分支网络结构的多分支结构(only multi-branch)；
3)只含有特征融合结构的加权融合结构(only weighted fusion)，权重的赋值方式采用网络自适应学习权重系数；
4)含有多分支网络结构和权重特征融合结构的多级特征加权融合结构(multi-stage feature weighted fusion structure)，权重特征融合结构中权重系数采用固定权重融合实验中分类准确率最高的平滑系数。4个模型在华为生活垃圾图像数据集上的图像分类实验结果如表4所示。

表4 消融实验结果

从表4可知，多级特征加权融合结构取得了97.53%的最优准确率。分析可知，将网络训练过程中不同层次的特征信息进行提取处理，分类准确度会有所提升，但没有达到最优的效果。提取不同层次的特征信息，但不对其进行处理，加权融合后的分类准确度不升反降。只有对不同层次的特征信息进行处理和加权融合的多级特征加权融合结构分类精度明显超过基准网络，且达到了最优精度。可见，本文算法中的多分支网络结构和特征融合结构单独使用，均不能达到最优分类效果，只有将两者相结合在华为生活垃圾图像数据集上的分类精度才能达到最优效果。

3.4 对比实验

为了进一步验证本文提出算法的有效性，将算法与其他最近的相关研究进行对比。在最近针对生活垃圾图像分类的工作中，GCNet[17]、GANet[18]、Lin[20]均完全采用华为生活垃圾图像数据集作为实验数据集，为保持数据集的一致性，更好地体现本文算法的有效性，故选择GCNet[17]、GANet[18]、Lin[20]作为参照进行对比实验。同时，为了更好地体现本文提出算法的优势，也与当前常用的图像分类算法DenseNet-169[14]、EfficientNet-B5[19]、ResNeXt-101[21]进行对比实验。为保证对比实验的公平性和准确性，所有网络均采用华为生活垃圾图像数据集为实验数据集，且将各网络中的超参数设置为相同值：初始学习率0.01，100个迭代周期，每30个迭代周期学习率衰减0.1倍。实验准确率对比如表5所示。

表5 对比实验结果 %

从表5可见，GCNet、GANet、Lin的网络模型和当前常用的图像分类算法DenseNet-169、EfficientNet-B5、ResNeXt-101与本文提出的算法在相同数据集上的分类准确率对比。分析可知，本文算法在华为生活垃圾图像数据集上的分类精度高于其他最近相关研究的分类精度，具有较好的性能，证明本文提出算法的有效性。

针对垃圾图像分类复杂且精度低的问题，提出了一种面向生活垃圾图像分类的多级特征加权融合算法，该算法基于ResNet网络的特征提取框架，通过多分支网络结构提取图像不同层次的特征信息，并将多级特征进行加权融合。在特征融合过程中，综合考虑自适应权重融合和固定权重融合对图像分类性能的影响，选取更优的加权融合算法对多级特征进行融合，获取更丰富的生活垃圾图像特征信息，提高垃圾分类准确率。

本文进行了权重系数分析实验、消融实验和对比试验，得出以下结论：

1) 固定权重融合实验的分类准确率高于自适应权重融合实验的分类准确率。在特征融合前设定权重系数可以使图像特征信息融合的效果更好，更有利于图像分类。

2) 在针对不同数据集的深度网络学习过程中，每个层次的特征信息对图像分类任务贡献不同，最深层次的特征信息不一定是最重要的。在华为生活垃圾图像数据集的分类任务中，网络的第三层次的特征信息贡献最大，过于强调第三层的特征信息而忽视其他层次的特征信息会对分类效果产生抑制作用。

3) 本文提出的算法在华为生活垃圾图像数据集上达到了97.53%的准确率，超越了最近在该数据集上的相关研究。

本文提出的算法在华为生活垃圾图像数据集上具有较好的分类性能，且通过实验验证了不同层次的特征信息对图像分类性能的影响不同，对后续研究具有指导意义。当前国内公开的、在垃圾分类领域的数据集较少，本文只在华为生活垃圾图像数据集上进行实验分析，今后将搜集更多的生活垃圾图像数据，以便进一步验证本文算法的有效性。

猜你喜欢 准确率权重系数 权重望寡：如何化解低地位领导的补偿性辱虐管理行为？*心理学报(2022年5期)2022-05-16乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析健康之家(2021年19期)2021-05-23多层螺旋CT技术诊断急性阑尾炎的效果及准确率分析健康之家(2021年19期)2021-05-23不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨医学食疗与健康(2021年27期)2021-05-13颈椎病患者使用X线平片和CT影像诊断的临床准确率比照观察健康体检与管理(2021年10期)2021-01-03权重常思“浮名轻”当代陕西(2020年17期)2020-10-28为党督政勤履职 代民行权重担当人大建设(2018年5期)2018-08-16权重涨个股跌 持有白马蓝筹证券市场红周刊(2018年3期)2018-05-14小小糕点师娃娃乐园·3-7岁综合智能(2017年9期)2018-02-01苹果屋娃娃乐园·3-7岁综合智能(2017年8期)2018-02-01