基于高光谱图像与光谱特征融合技术的鸡蛋新鲜度无损判别模型的建立

刘翠玲， 秦 冬， 孙晓荣，*， 吴静珠， 杨雨菲,2， 胡 昊，李佳琮， 昝佳睿，

(1.北京工商大学 人工智能学院/食品安全大数据技术北京市重点实验室， 北京 100048;2.北京工业大学 信息学部， 北京 100124; 3.浙江省农业科学院 数字农业研究所， 浙江 杭州 310021)

鸡蛋新鲜度等级评价是鸡蛋品质检测研究中一项重要的工作。近年来，国内外学者运用介电特性、电子鼻、机器视觉、近红外光谱分析等技术在鸡蛋新鲜度无损检测领域进行了相关理论研究。研究表明，可以通过介电特征建立鸡蛋的电磁特性与其内部成分含量的关系，建立鸡蛋新鲜度无损判别模型[1-2]。在鸡蛋腐化过程中，营养物质会被微生物分解而产生NH3、H2S、CH4等特殊气体，然后通过蛋壳上的气孔排出，可通过电子鼻气敏传感器对挥发性气体的组成及浓度进行分析，实现鸡蛋内部品质的检测，但电子鼻分析技术[3-4]对传感器灵敏度要求较高。用机器视觉对鸡蛋检测无须对样品进行特殊处理，但在应用过程中，鸡蛋摆放位置、表面亮斑、鸡蛋表面杂质以及鸡蛋的蛋壳形状等因素都会对机器判别准确率产生较大影响[5]。近红外光谱分析法[6-7]通过采集鸡蛋样本的透射或者反射光谱图，建立待测目标与吸光度之间校正模型来实现对未知样本的预测，但近红外光谱不能体现鸡蛋的外在图像特征。蛋壳是鸡蛋的重要组成部分，尽管其本身很少用于食用，但是对鸡蛋的运输、保存,乃至内部品质的影响至关重要。鸡蛋新鲜度无损检测的现有方法，各自都有局限和不足，且检测效率较低。

近年来，高光谱成像技术在农畜产品品质检测方面得到了广泛应用。高光谱成像技术获取的样本信息具有更广的维度，集光谱分析和图像分析于一体。光谱信息可用于表征检测物质内部属性，图像信息可用来代表检测物质的外观特征。杨晓玉等[8]用可见/近红外高光谱成像技术建立鸡蛋新鲜度无损检测判别模型，表明基于高光谱成像技术的鸡蛋新鲜度无损检测是可行的。王巧华等[9]采用近红外高光谱技术对白壳蛋新鲜和不新鲜两个等级进行成功判别。目前高光谱应用于鸡蛋新鲜度的研究主要应用其光谱信息，忽略了高光谱成像独有的图像信息，进而丢失了样本的外在图像特征。

应用高光谱成像技术评价鸡蛋新鲜度具有良好的理论基础和可行性，满足快速、无损、准确检测鸡蛋新鲜度的需求。本研究拟采用高光谱透射成像技术，以鸡蛋为研究对象，采用哈夫单位为鸡蛋新鲜度评价标准，采集不同新鲜度等级鸡蛋的500～1 000 nm波比的高光谱信息，利用连续投影法(successive projections algorithm，SPA)筛选出特征波长，对特征波长对应的高光谱图像进行图像主成分提取，并提取前三维主成分图像的灰度共生矩阵(gray level co-occurrhence matrix，GLCM)纹理参数，建立基于并行式特征融合的粒子群算法(particle swarm optimization，PSO)寻优支持向量机的新鲜度判别模型。在并行式特征融合模型的基础上，提出递进式特征融合方法，采用方向梯度直方图(histogram of gradient，HOG)算法提取特征波长对应高光谱图像的图像特征，分别建立基于方向梯度直方图特征的多模型共识策略和深度残差网络(ResNet)50模型的鸡蛋新鲜度判别模型。通过比较不同的特征融合方法和建模方法对鸡蛋新鲜度等级的判别效果，选出最优模型，以期为鸡蛋新鲜度等级快速、高效无损判别提供理论支撑与应用实例。

1.1 样本来源及储存条件

江苏泰州某大型养鸡场当日生产的鸡蛋，共计90枚。为使实验样本更具有代表性，控制用于实验的鸡蛋处于不同的新鲜度等级。取等时间间隔的不同生产日期的鸡蛋，使鸡蛋新鲜度呈阶梯状递进分布；
对于同一产蛋日期的鸡蛋改变储存的环境，分别置于室温(浙江省农科院实验室，室内温度25 ℃、湿度68%)和冷藏(恒温恒湿冷藏箱，恒温10 ℃、恒湿60%)条件中。实验鸡蛋的生产日期与检测日期的时间间隔、数量、储存条件统计结果见表1。

表1 实验样本储存情况

1.2 实验仪器与参数设置

Pika XC2型高精度VNIR机载高光谱成像仪，Resonon公司。

采用高光谱成像仪对鸡蛋样本进行采集，仪器扫描方式为线性推扫式扫描，光谱覆盖波长范围为400～1 000 nm，其中可见光波段为400～780 nm，近红外波段为800～1 000 nm，光谱分辨率为2.3 nm，光谱通道数为231个；
高光谱相机空间分辨率为1 600，最大帧频为165 Hz。实验仪器参数设置：帧频为30 Hz，曝光时间为31.886 ms，扫描速度为4.09 mm/s。ENVI软件为遥感领域图像处理平台，可以用来提取鸡蛋高光谱信息和主成分图像。

1.3 实验方案

1.3.1鸡蛋新鲜度等级判定方法

根据我国农业行业标准文件[10-11]，鸡蛋的哈夫单位值是衡量鸡蛋新鲜度的关键性指标。

哈夫单位值的国标测定方法：通过高精度天平称量鸡蛋质量，打破鸡蛋壳倒出鸡蛋液于干净的玻璃平面上，游标卡尺测量蛋黄周围浓蛋白的厚度。哈夫单位计算公式[12]见式(1)。

HU=100×lg(H+7.57-1.7G0.37)。

(1)

式(1)中，HU为哈夫单位；
H为蛋白高度，mm；
G为鸡蛋质量，g。

共测得90枚样本的哈夫单位值，根据测得的哈夫单位值范围不同，依据国标定义4种鸡蛋等级，分别为特级、一级、二级、三级。“特级鸡蛋”和“一级鸡蛋”合并为可食用类别，“二级鸡蛋”为不建议食用类别，“三级鸡蛋”为不可食用类别。具体分类见表2。

表2 90个鸡蛋样本的新鲜度测定结果

1.3.2高光谱数据采集

1.3.2.1 高光谱系统校正

高光谱成像系统在数据采集过程中，受到光源在各波段强度分布不均匀以及存在暗电流噪声的影响，会造成采集的高光谱图像质量降低。为了降噪及修正图像，可对原始高光谱系统进行黑白板校正[13]。

高光谱照相机扫描到的鸡蛋高光谱原始图像，经黑白板校正转换为相对透射图像，校正公式[14]见式(2)。

(2)

式(2)中，R′为校正后的光谱图像，S为采集到的暗场原始光谱图像，W为拍摄光源得到的白板图像，D为关闭镜头后的全黑图像。

1.3.2.2 数据采集

分别采集90枚不同新鲜度鸡蛋样品的高光谱图像，为保证实验数据不受非系统光线干扰，所有实验均在常温暗室中进行。

1) 光谱采集前预热20 min，待照明系统稳定开始检测工作。

2) 检查软件与仪器的连接状况，连接成功进行下一步操作。

3) 放置样品于载物台，粗调成像光谱仪的扫描速度和曝光时间。

4) 黑板校正：遮盖镜头，采集多个暗电流噪声。

5) 白板校正：将光源移至镜头下，采集光源信号谱图作为白板信号。

6) 经反复调整，确定仪器设置参数：帧频为30 Hz，积分时间为31.886 ms，扫描速度为4.09 mm/s。

1.3.2.3 鸡蛋原始高光谱信息采集

采集到的鸡蛋透射高光谱伪彩色(red green blue，RGB)图像如图1。提取90个不同新鲜度鸡蛋的感兴趣区域(region of interest，ROI)的平均光谱，见图2。

图1 鸡蛋高光谱伪彩色RGB图像

图2 90个不同新鲜度鸡蛋的ROI平均光谱

1.4 光谱与图像特征提取方法

1.4.1光谱特征提取

由于高光谱数据维度较大，存在信息重叠、共线性度高等问题，故采用连续投影算法[15]进行光谱特征提取。SPA是一种前向循环选择特征方法，是将某一个单波长作为起始波长，进行多次循环选取计算，在每次循环中计算选中波长在未选中波长上的投影，将最大投影向量对应的波长自动选入特征波长组合。经SPA算法选出的特征波长组合中的每一个波长的共线性关系最小。

1.4.2图像特征提取

图像信息是高光谱成像技术的特有特征，采用灰度共生矩阵算法[16-17]和方向梯度直方图算法[18-19]提取其图像特征信息。GLCM以图像像素的灰度值和位置信息作为参考量，通过分析图像空间中相邻区域间像素点的灰度值组合情况来描述图像的纹理特征。HOG算法应用在计算机视觉和图像处理领域中，是通过计算局部图像梯度方向信息的统计值，来实现物体检测的。

1.5 数据分析方法

为了建立适用于鸡蛋新鲜度的等级判别模型，通过并行式和递进式两种方法进行图谱特征融合。采用支持向量机(suport vector machine，SVM)算法[20-21]建立并行式特征融合的鸡蛋新鲜度等级判别模型，采用多模型共识策略和深度ResNet算法建立递进式特征融合的鸡蛋新鲜度等级判别模型，并对两种等级判别模型结果进行对比分析。

1.5.1基于粒子群算法优化支持向量机分类模型

采用SVM算法对鸡蛋的图谱特征融合信息建模，通过对鸡蛋样本数据学习，得到不同等级鸡蛋的一个最大边距超平面，进而寻找不同等级鸡蛋之间的最佳分类超平面。为了避免局部最优，采用粒子群优化算法对鸡蛋新鲜度等级判别模型参数惩罚系数c和核函数参数g寻优。

1.5.2基于多模型共识策略的分析方法

为了联合多个单特征波长用于分析鸡蛋图像的模型，采用多模型共识判别策略[22-23]，通过统计分析多个单特征波长模型的结果，综合判别鸡蛋新鲜度。假设子模型个数为n，采用n个子模型预测同一样本可以得到n个识别结果，当识别结果中识别为真的比率>50%，则判定样本为真，反之则为假。

1.5.3基于深度残差网络建模的分析方法

采用残差网络(ResNet)分析方法[24-25]对鸡蛋特征图像进行深度卷积网络建模学习。为了避免残差网络模型出现过拟合问题，采用深度ResNet 50结构进行建模分析。深度ResNet 50模型采用跨层连接传递的方式，将经过卷积处理后的鸡蛋图像特征与鸡蛋原始图像特征进行合并。该连接方式不会增加鸡蛋等级模型的计算复杂度，同时通过充分训练底层网络，可增加网络的训练深度，提高模型的判别准确率。

2.1 不同新鲜度等级鸡蛋的光谱信息分析

任意提取3个不同新鲜度等级鸡蛋的光谱信息，见图3。

图3 不同新鲜度等级鸡蛋的光谱

从图3可知，3种不同新鲜等级度的鸡蛋分别在620、700、800 nm波长附近的波峰呈现明显差异。620 nm附近波峰变化为橙色可见光的透射信息，主要是由于蛋壳颜色和蛋黄颜色的不同引起的。700 nm 附近处的波峰变化表征红色可见光的透射信息，3类新鲜度鸡蛋的透射率差别较大且可食用鸡蛋的透射率最高，不建议食用的鸡蛋次之，不可食用的鸡蛋透射率最低。产生这种现象的主要原因是3种新鲜度鸡蛋的浓厚蛋白稀化程度依次增大，蛋清的黏度和透明度依次减小，蛋清的酸碱度依次变大，且蛋黄的形态逐渐变成液态，内部变得浑浊，导致鸡蛋的透射率依次降低。800 nm附近的波峰变化为近红外光的透射信息，主要是由于N—H键振动和能级的跃迁引起的变化。鸡蛋内部的蛋白质部分发生裂解和变质现象，N—H键的稳定性被破坏，N—H键的含量下降导致此波段内透射率升高。该处透射率差异主要是3种新鲜度等级的鸡蛋内部蛋白质等营养物质的含量不同所引起的。

2.2 SPA特征波长提取结果

从图3可知，3种新鲜度等级鸡蛋在3个波峰附近有较大差异，采用SPA算法提取表征差异的特征波长(见图4)。SPA筛选的特征波长数量与均方根误差(RMSE)变化见图4(a)。经SPA算法提取的特征波长有6个，分别为606.83、676.27、740.62、807.91、880.88、905.27 nm，特征波长位置见图4(b)。

图4 SPA算法特征波长提取结果

从图4(a)可知，当筛选的特征波长数为6个时，SPA的均方根误差最小，为0.3843，表明这6个波长对鸡蛋等级判别的效果最佳。图4(b)中，606.83 nm处的波长是橙色可见光有效波段，该波段处的差异主要是由鸡蛋壳颜色和蛋黄颜色的不同引起的；
676.27、740.62 nm处的波长是红色可见光的有效波段，该波段的差异主要是由鸡蛋壳的颜色不同造成的差异；
807.91 nm处的波长为N—H键伸缩振动敏感波段，该处透射率的差异主要由鸡蛋内部的蛋白质等营养物质的含量不同所引起的；
880.88 nm附近波段为C—H键4倍频伸缩振动活跃波段范围，该处表征鸡蛋内部的脂肪等含量的差异；
905.27 nm附近波段处于O—H键伸缩振动波段范围，该波段的差异受鸡蛋内部水分含量不同的影响。

2.3 主成分图像提取结果

特征波长对应的高光谱图像见图5。利用ENVI软件对图像进行主成分分析，根据主成分分量重构前三维图像，见图6。前三维图像的累计贡献率为95.75%。

图5 特征波长对应的高光谱图像

图6 前三维主成分图像

2.4 并行式高光谱图像与光谱特征数据融合建模结果

提取的主成分分析(PCA)前三维图像的GLCM纹理特征参数，取其平均值作为该样本的高光谱图像特征，将光谱特征波段下的透射率与图像特征首尾相连，得到90个样本组成的并行式融合数据矩阵。

2∶1划分样本集：训练样本60个，包括“可食用”样本20个、“不建议食用”样本22个和“不可食用样本”18个；
预测样本30个，包括“可食用”样本11个、“不建议食用”样本10个和“不可食用样本”9个。建立基于SVM鸡蛋新鲜度判别模型，采用PSO算法对模型径向积参数c和g全局寻优。参数初始化设置，局部搜索能力为1.5，全局搜索能力为1.7，最大进化数量为200，初始种群为20，SVM参数c和g为2，通过迭代寻优得出最佳参数c和g，建模结果见表3。

表3 基于PSO-SVM算法的鸡蛋新鲜度判别模型的判别结果

2.5 递进式高光谱图像与光谱特征融合建模结果

2.5.1基于HOG-SVM的多模型共识策略方法建模结果与分析

针对SPA提取出的6个特征波长下的鸡蛋图像，应用HOG算法对鸡蛋图像进行特征提取，提取后的结果见图7。首先分别建立基于HOG图像特征的6个单波长模型，随机2∶1划分样本集，训练集样本60个，预测集样本30个，则单波长模型对应的训练集图像60张，预测集图像30张。单波长模型的HOG-SVM建模结果见表4，单波长模型训练集的图像误识别数见图8，单波长模型预测集的图像误识别数见图9。

图7 鸡蛋HOG特征图像

从表4可知，单波长模型的预测集最高准确率为80.00%，其他单波长模型的预测集准确率等于或低于70.00%。从图8和图9可知，单波长模型对可食用鸡蛋类别的判别效果较好，对不可食用鸡蛋和不建议食用鸡蛋类别的判别效果不佳。

图8 单波长模型的训练集图像误识别数

图9 单波长模型的预测集图像误识别数

表4 基于HOG-SVM算法的单波长模型的判别结果

为了保证不同单波长模型对同一个样本判别为真和假的概率不相同，采用子模型联合建模策略，设定子模型联合个数为4和5。根据表4中单波长模型的识别率从高到低进行排序，固定判别准确率最高的前3个波长，即807.91、606.83、740.62 nm；
依次联合第4个单波长模型和第5个单波长模型进行建模判别。

联合第4个单波长模型进行判别，随机以2∶1的比例划分样本集，预测集30个，则4个单波长对应的训练集60个，训练集样本图像240张、预测集样本图像120张。4个单波长联合的HOG-SVM建模结果见表5，4个单波长联合模型的训练集图像误识别数见图10，4个单波长联合模型的预测集图像误识别数见图11。

表5 基于HOG-SVM算法的4个单波长联合模型的判别结果

图10 4个单波长联合模型的训练集图像误识别数

图11 4个单波长联合模型的预测集图像误识别数

从表5可知，4个单波长联合模型的预测集最高准确率达82.50%，相对于单特征波长模型有小幅提升。从图10和图11可知，4个单波长联合模型的误识别比例有明显下降，表明联合模型比单波长模型整体识别效果更好。

固定判别准确率最高的前4个单波长，即807.91、606.83、740.62、880.88 nm。联合第5个单波长模型进行判别，随机2∶1的比例划分样本集，训练集60个，预测集30个，则5个单波长对应的训练集样本图像300张、预测集样本图像150张。5个单波长联合的HOG-SVM建模结果见表6，5个单波长联合模型的训练集图像误识别数见图12，5个单波长联合模型的预测集图像误识别数见图13。

表6 基于HOG-SVM算法的5个单波长联合模型的判别结果

图12 5个单波长联合模型训练集图像误识别数

图13 5个单波长联合模型预测集图像误识别数

从表6可知，5个单波长联合模型的预测集最高准确率达88.00%，较单波长模型和4个单波长联合模型的判别准确率提高了8%左右，判别准确率有了明显提升，且误识别比例有了大幅降低。对比表4、5和6可得，当5个单波长联合时，即807.91、606.83、740.62、880.88、676.27 nm建模判别效果最好，训练集判别准确率达89.00%，预测集判别准确率达88.00%。

2.5.2基于深度残差建模结果与分析

将SPA提取的特征波长下的高光谱图像作为输入，以3∶1的比例划分数据集，将90个样本的540张图像作为输入，随机选取180张图像作为预测集。建立ResNet 50鸡蛋新鲜度判别模型，设置Epoch为50，设置batch size为10，学习率(lr)设置为e-4，分类数设置为3。模型在训练过程中，有两项模型性能评价指标，分别是loss值和模型分析准确率。迭代50次训练时间为258 s，训练集判别准确率在89%附近波动，损失值收敛于0.30；
预测集判别准确率可达86.67%，损失值收敛于0.54。ResNet 50的建模结果见表7，ResNet 50模型的判别准确率变化见图14，ResNet 50模型的损失值变化见图15。

图14 ResNet 50模型的判别准确率变化

图15 ResNet 50模型的损失值变化

表7 ResNet 50模型的判别结果

对比并行式特征融合方法，基于递进式融合方法的模型判别性能有了明显提升。改善原因：一方面，递进式特征融合是在模型学习了光谱特征后又对其相应图像进行数据挖掘，获取的信息更能够表征样本的属性；
另一方面，对判别方法进行改进，引入多模型共识策略可以更好地解决单模型出现的偶然性误判问题，多模型共识的结果更具有代表性；
深度残差网络增加了数据特征提取的层数，使得参与建模的数据特征更显著，同时ResNet 50中引入残差的概念提升了模型的性能。

通过采用高光谱透射成像仪无损采集不同新鲜度等级鸡蛋的高光谱信息，提取其光谱特征和图像特征，分别采用并行式图谱特征融合和递进式图谱特征融合方法进行数据分析和建模，得出适用于鸡蛋新鲜度的判别模型。

1) 在并行式特征融合方法中，建立基于SPA-GLCM特征融合的SVM等级判别模型，采用PSO优化模型，结果为训练集准确率为85.00%，预测集准确率为76.67%。

2) 在递进式特征融合方法中，建立基于SPA-HOG特征提取方法的多模型共识策略模型和深度ResNet 50模型，其中两种模型的训练集准确率都能达到89.00%；
多模型共识策略模型的预测集准确率为88.00%，深度ResNet 50模型的预测集准确率为86.67%。对比并行式融合方法，基于递进式融合方法的模型精度和性能有了明显提升。

图像与光谱融合方法能实现对不同新鲜度等级的鸡蛋较为准确的判别，其中递进式融合方法的模型性能更好，且递进式融合方法中的多模型共识策略对不同新鲜度等级的鸡蛋判别准确率最高。由于鸡蛋种类和数量会对其准确度造成一定的影响，后期可以通过扩大实验样本的种类和数量，进而提高模型的判别精度和泛化性。

猜你喜欢 新鲜度波长光谱 基于三维Saab变换的高光谱图像压缩方法北京航空航天大学学报(2022年8期)2022-08-31稻谷新鲜度测定影响因素分析及优化粮食储藏(2021年4期)2021-12-15杯中“日出”阅读（科学探秘）(2021年8期)2021-09-01高光谱遥感成像技术的发展与展望空间科学学报(2021年1期)2021-05-22基于频域分析方法的轨道高低不平顺敏感波长的研究中南大学学报（自然科学版）(2016年2期)2017-01-19日本研发出可完全覆盖可见光波长的LED光源中国照明(2016年4期)2016-05-17星载近红外高光谱CO2遥感进展中国光学(2015年5期)2015-12-09RP—HPLC波长切换法同时测定坤泰胶囊中6个成分的含量中国当代医药(2015年26期)2015-03-01你在异性眼中的“新鲜度”现代妇女(2014年9期)2014-09-09苦味酸与牛血清蛋白相互作用的光谱研究食品工业科技(2014年23期)2014-03-11