基于近红外光谱和深度学习算法的羊毛混纺废旧纺织品定性分析
时间：2023-04-15 17:20:03 来源：柠檬阅读网 本文已影响 人 
邱 迅，刘媛媛，郭晟材，刘冬志，王 翀，刘 俊，徐淑华，杨 莉，龚 龑,,8
(1.新疆大学 纺织与服装学院，新疆 乌鲁木齐 830017；
2.北京服装学院 材料设计与工程学院，北京 100029；
3.天津九光科技发展责任有限公司，天津 300450；
4.新疆环疆绿源环保科技有限公司，新疆 乌鲁木齐 830019；
5.乌鲁木齐海关，新疆 乌鲁木齐 830011；
6.新疆如意纺织服装有限公司，新疆 石河子 832000；
7.新疆如意时尚服装有限公司，新疆 石河子 832000；
8.塔里木大学 机械电气化工程学院，新疆 塔里木 843300)
纺织品在生产的过程中会消耗大量的水[1-2]，并排放出带有有害物质的废气和废水。未处理的废旧纺织品不容易在自然环境中降解，因此为实现绿色环保的发展理念，针对废旧纺织品进行回收再利用十分必要。通常情况下，废旧纺织品由不同比例的纤维混纺而成，其中回收羊毛含量大于70%的废旧羊毛纺织品是经济价值较高的一种回收方式。
为了精准地分拣出羊毛纤维含量达到一定比例的废旧纺织品[3]，可以采用近红外光谱仪(NIR)进行定性分析。依据不同物质近红外吸收光谱的差异性，可使用合适的算法对近红外光谱的数据进行建模，常用的算法有最小二回归(PLS)、支持向量机(SVM)、逻辑回归(Logistic Regression)等。近红外光谱数据反应物质在700～2500 nm光谱波段的吸收强度、光谱数据的维度大小与光谱仪的分辨率成正比。在建模的过程中，有的波段与标签相关性低，用相关性低的特征建立分类或回归模型，会降低模型的效率和准确率，因此，在建模前需要对光谱特征进行降维、选择光谱的特征波段、提取光谱的高级特征等。光谱特征降维常用主成分分析法(PCA)和T分布随机邻域嵌入算法(TSNE)；
特征选择算法有遗传算法(GA)和竞争性自适应重加权采样法(CARS)；
高级特征有极差、方差、偏度、峰度、自相关系数等。降维、特征选择和高级特征设计是一个迭代过程，需要不断的设计特征、选择特征、建立模型、评估模型，最终得到最优模型，这会导致训练模型的过程繁琐。而卷积神经网络的卷积层利用输入数据中的局部空间相关性，让输入数据在共享参数时具有较少的权重，并且可以较低的计算成本提取相关特征，免去了繁琐的特征选择等操作。
因此，本文提出以一维卷积残差网络(NIRS_1D-Resnet)对废旧纺织品的光谱进行分类，通过比较不同归一化层的模型的准确率，选取准确率最高的模型，而后对比不同预处理方法对模型准确率的影响。此外，为了克服红外光谱数据集较小导致模型准确率不高的问题，引入迁移学习以期提升模型准确率。
1.1 实验材料
实验收集377个由不同纤维混纺的布料样品(苏州布料博物馆提供)，每个面料样品都有对应的成分标签，在实验开始前，记录各个面料样品的成分含量，按照面料中羊毛的含量将其分为5类标签，如表1所示。
表1 不同羊毛含量面料样品分布表Tab. Distribution table of cloth samples with different wool content
1.2 实验流程
使用Y802N型烘干机(常州市第一纺织设备有限公司)对面料样品进行干燥处理，设定烘干温度为65 ℃，持续烘干25min。经过干燥处理后，放置在温度20 ℃和相对湿度50%～60%的环境中，而后使用DA200通用型在线近红外光谱仪(天津九光科技发展有限责任公司)逐一对面料样本进行扫描，光谱范围为950～1 650 nm，分辨率为5 nm。
1.3 实验方法
调试近红外光谱仪的各项参数后，对每个布料样品扫描2次光谱，正反面各扫描1次。针对较薄的面料样品，折叠成2层或3层后进行扫描，扫描后得到各个面料样本的原始光谱，原始光谱曲线堆叠图见图1。
图1 光谱堆叠图Fig.1 Spectrum stack diagram
面料样本的近红外光谱数据的收集过程受到测试环境和面料样品表面不均的影响，导致原始光谱数据包含噪声，因此建模前需要对近红外光谱进行预处理以消除噪声。
在建模过程中，通过对比各类近红外光谱预处理方法、数据均衡算法和迁移学习方法对于分类模型准确率的影响，选择最合适的方案来优化模型。
一般的，近红外光谱序列数据定义为：
X=[x1,x2，…，xm]
(1)
式中：X为1个面料样本所对应的近红外光谱数据序列；
m是波长点数；
xm为m对应的吸收率。
因此，面料样品光谱数据集定义为：
S=[X1,X2，…，Xn]T
(2)
式中:S为面料样品的近红外光谱数据集;n代表样品编号;Xn是编号为n的面料样品对应的光谱数据序列。
常用的近红外光谱预处理方法有多元散射矫正(MSC)和标准正态变换(SNV)。其中，基本的多元散射矫正的步骤如下。
①求解近红外光谱的平均光谱曲线作为标准光谱，公式如下：
(3)
(4)
③代入求解得的系数Ki和θi，修正近红外光谱的每一个波点：
(5)
同时也使用标准正态变换作为数据预处理的手段进行光谱矫正，公式为
(6)
因为MSC与SNV的处理结果是线性相关的，处理后得到光谱数据有较强的一致性[12]，对比这2种前处理方法对数据前处理阶段的效果意义不大，故在实际建模过程中使用MSC的扩展算法——扩展多元散射校正(EMSC)算法替代MSC对光谱数据进行矫正。EMSC已经被证实是有效的数学矫正算法，可以纠正加性基线效应、乘法标度效应和干扰效应，已经被用于校正样品的厚度、温度，以及水蒸气、二氧化碳带来的影响[10]。初始各类别的原始平均光谱如图2所示，EMSC矫正后的谱线如图3所示，SNV矫正后的谱线如图4所示。
图2 原始各个类别的平均光谱Fig.2 Average spectrum of original Spectra
图3 EMSC预处理后的平均光谱Fig.3 Average spectra after EMSC pretreatment
图4 SNV预处理后的平均光谱Fig.4 Average spectra after SNV pretreatment
同时还使用SG平滑算法(savizkg golag smooth)对光谱进行预处理，SG平滑算法的流程如下。
①选取光谱的1段区间(滤波窗口)的相等波长间隔的w个点，把w个点的吸收强度值和对应的波长点数记入集合。则：
Xwin={x1,x2,…，xw},Ywin={y1,y2,…，yw}
(7)
式中：Ywin为选取区间的吸收率数值集；
Xwin为选取区间的波长数值集。
②然后对谱线的每一点i进行k-1次的多项式回归，其中ai是求解多项式回归中待确定的系数：
(8)
通过上式可以得到下面的线性方程组：
(9)
使用矩阵可表示为：
Y=CA
(10)
然后，利用最小二乘法对A系数矩阵进行估计：
(11)
使用预测值替换原始吸收强度值(SG预处理后的谱线如图5所示)：
(12)
图5 SG预处理后的平均光谱Fig.5 Average spectra after SG pretreatment
3.1 残差块
废旧纺织品的光谱识别任务可以表示为1个M元假设检验问题，设面料样品对应的近红外光谱类型的集合为L=[1,2,…，M]，M代表类别数。Xi样品类型的识别任务可以表示为：
γ(Xi)=t,t∈L
(13)
式中：γ(Xi)代表Xi光谱的类型。
使用由一维卷积层以及整流线性单元(Rectified Linear Unit,ReLU)构建的残差单元作为卷积神经网络模型的主干结构。残差单元结构如图6所示，该结构使得模型更容易训练，解决了卷积神经网络模型训练过程中随网络的层次结构的加深而导致梯度消失问题[6]。在此基础上构建更深的网络结构有利于提取近红外光谱数据更高级的特征，增强模型识别性能。
图6 残差单元结构Fig.6 Residual block
3.2 网络结构
设计的神经网络结构如图7所示。对输入的近红外光谱图谱数据先进行一维卷积和池化操作，然后再将处理后数据输入主干网络。主干网络结构参考深度残差网格(ResNet-18)的结构，使用了6个3.1节提到的残差单元作为神经网络的主干结构。
图7 网络结构图Fig.7 Network structure diagram
数据经过主干网络的处理后，通过全局平均池化层减小特征尺寸，通过平铺层和全连接层后输出预测结果。为了避免模型过拟合，在最后1层残差块和平铺层后加入随机失活层(Dropout)，提升模型的泛化能力。建模任务是近红外光谱数据多分类任务，所以采用交叉熵损失函数(Cross Entropy Loss)作为模型的损失函数，其公式为
(14)
式中：q(t)是神经网络预测Xi光谱序列为t类别的概率；
p(t)是Xi为t类别时的实际的概率。
3.3 归一化层选择
为了使网络模型更容易训练，提升模型的性能，在上述网络中的卷积层后加入归一化层。为了能够挑选出最适合此网络和任务的归一化层，在同等超参数和网络结构的条件下，对比了常用的批量归一化(Batch Normalization)、组归一化(Group Normalization)、实例归一化(Instance Normalization)和层归一化(Layer Normalization)加入模型卷积层后的训练曲线和10次交叉验证的准确率的评分(均设定训练轮次为200个)。如表2所示，在使用实例归一化方式时，10次交叉验证的准确率评分的均值和组间标准差是最优的，故在图7所示的网络中的每一个卷积层后面，使用实例归一化层做归一化处理。如图8所示，可以看出使用实例归一化方式时，曲线更稳定且验证集准确率更高。
表2 不同归一化方式下的模型交叉验证准确率Tab.2 Model cross validation accuracy under different normalization methods %
图8 不同归一化方式下的训练曲线Fig.8 Training curve of different normalization methods(a)Batch normalization；
(b)Group normalization；
(c)Instance normalization；
(d)Layer normalization
4.1 迁移学习
要训练出表现良好的监督学习模型需要大量的近红外光谱标注数据，但是近红外光谱数据收集较为困难。为了解决这个问题，可以使用迁移学习技术。迁移学习的流程如图9所示，在预训练阶段，先使用大量的开源近红外光谱数据集对模型进行预训练，调整模型超参数进行多次训练直到得到满足精确度要求的预训练模型。在迁移训练阶段，导入预训练模型，冻结模型的一部分卷积层，修改输出的全连接层，进行多次训练，根据训练的结果多次调参，最终达到理想的模型。
图9 迁移学习流程图Fig.9 Transfer learning process
4.2 数据均衡
由表1所示，废旧纺织品中各类羊毛纺织品的数据样本数量少于非羊毛纺织品的数量，这导致训练集的类别不均衡，为了能获取良好的模型，采用合成少数类过采样技术(SMOTE)，自适应合成(ADASYN)，支持向量机合成少数类过采样技术(SVMSMOTE)以及边界合成少数类过采样技术(Borderline SMOTE)对训练集数据进行预处理，使得数据类别均衡，为了避免过采样导致的过拟合现象，在使用过采样算法时，多次训练模型，根据训练的结果，多次调整Dropout的参数，直到模型准确率最优。
在模型训练过程中，使用分层抽样法随机地把近红外光谱图谱数据集按照数量比8∶1∶1划分为训练集、验证集和测试集3个子集，测试集的近红外光谱图谱数据不参与模型训练的过程。批量大小设置为20，训练过程持续500个轮次，训练过程中的损失值和准确率的变化如图10所示，可以看到使用一维卷积的残差单元作为主干结构构建的卷积网络模型取得不错的效果。如表3所示，在非迁移学习的情况下，模型10次交叉验证的准确率均值为94.69%，在迁移学习的处理下，模型10次交叉验证的准确率均值达到了97.67%，且10次交叉验证准确率的标准差仅为1.11%，证明迁移学习对于模型的提升非常明显。通过对比图10非迁移学习和迁移学习的训练曲线，可以发现，在使用迁移学习后，模型在验证集上的准确率表现高于非迁移学习，且训练过程中的准确率曲线更加平滑稳定。
图10 训练过程曲线Fig.10 Curve during training.(a)Non transfer learning;(b)Transfer learnnig
表3 非迁移学习和迁移学习交叉验证准确率比较Tab.3 Comparison of cross validation accuracy between non transfer learning and transfer learning
在测试中比较了常见的机器学习建模算法——决策树(Decision Tree)，Logistic Regression，随机森林(Random Forest)，自适应增强分类器(AdaBoost)，SVM，最近邻节点算法(KNN),反向传播神经网络(BPNN)以及NIRS_1D-Resnet模型在不同的近红外光谱预处理和数据均衡的方法下的模型精度评分，结果如表4(评分为10次交叉验证准确率的均值)。可以看到不同的近红外光谱的预处理操作对机器学习模型精度均有较大的影响，但是NIRS_1D-Resnet模型有较好鲁棒性，在不同的预处理方法下都保持较好的准确率。在预处理和数据均衡算法处理后，并没有使NIRS_1D-Resnet模型的准确率有较大提升，甚至在有些预处理和数据均衡算法下降低了NIRS_1D-Resnet模型的准确率。
表4 在不同预处理和数据均衡方法下的常见机器学习和深度学习分类模型准确率评分表Tab.4 Accuracy scoring table of common machine learning and deep learning classification models under different preprocessing and data balancing methods %
本文使用在线近红外光谱仪采集废旧纺织品的近红外光谱图谱，然后使用残差单元为主干的一维卷积残差网络(NIRS_1D-Resnet)对采集的废旧纺织品的近红外光谱图谱数据集进行学习。NIRS_1D-Resnet经过训练后，对模型进行测试，测试结果显示：使用预处理方法对数据处理并没有使得深度学习模型准确率大幅度提升反而使得模型性能降低；
使用数据均衡算法时，对模型产生了较大的负面影响；
使用迁移学习方法对模型提升最高，且泛化性能最好。因此在近红外光谱数据集较小时，引入迁移学习技巧是最合适的方法。
使用NIRS_1D-Resnet和其他常用的机器学习模型进行对比，结果显示：深度学习模型的泛化性能和准确率较其他模型更好；
在小样本的情况下，使用迁移学习方法能在数据样本有限的情况下使得模型取得十分优秀的准确率，证明深度学习算法可以替换常用的机器算法对近红外光谱进行建模；
可以使用深度学习算法和近红外光谱仪在废旧纺织品的开环或闭环回收过程中能对羊毛混纺的废旧纺织品进行定性分析。
