IrisBeautyDet：虹膜定位和美瞳检测网络
时间：2023-02-28 16:00:06 来源：柠檬阅读网 本文已影响 人 
陈旭旗，沈文忠
上海电力大学 电子与信息工程学院，上海201306
当下生物特征识别已经发展成为一门成熟的技术，广泛用于许多政府机构和民事应用中，如电子护照、身份证、边境管制、移动支付、门禁系统等等。常见的用于生物特征识别的生理特征主要有视网膜、掌纹、指纹、静脉、人脸、耳廓、虹膜等，常用的行为特征主要包括步态、笔迹、声纹等。相比指纹和人脸，虹膜具有较为明显的优势。虹膜具有稳定性，在胚胎阶段发育之后终生稳定不变；
虹膜具有受保护性，其结构天然受到外部角膜保护，同外界隔离因而不易受伤害；
虹膜识别具有非接触性，虹膜采集设备无需同人体进行肢体接触；
虹膜具有较高的防伪造性，通过外科手术对人眼中的精细化结构进行修改难度极大、危险性极高，伪造代价极为昂贵。
呈现攻击是指恶意的用户向生物识别系统的传感器非法地呈现伪造的生物测定学特征来实施各类攻击，企图绕过该身份认证安全系统。该攻击的形式主要包括三类：一是在认证阶段冒充他人身份；
二是在识别阶段隐藏自己真实身份；
三是在注册阶段伪造虚假身份[1]。活体检测（liveness detection）又称为呈现攻击检测（presentation attack detection，PAD），其任务旨在检测这种攻击的存在性，以此保证系统在复杂、苛刻的条件下仍能进行正确身份识别，确保生物识别系统的安全性和可靠性[2]。随着虹膜识别的流行和广泛部署，虹膜活体检测变得越来越重要，并受到广泛关注。
虹膜活体检测的方法主要分为两类：一类是基于硬件的方式，通过采用额外硬件设备采集人眼的物理特征（人眼组织的密度、颜色或者光学特性等）和生理特征（瞳孔放大、虹膜震颤、普尔钦反射等）来检测；
另一类是基于软件的方式，主要是通过分析图像和视频中的静态或动态特征来进行检测[1]。
2000年，Daugman[3]率先提出PAD的一种方法，该方法可以检测打印在纸张上或者打印在隐形眼镜上的虹膜，主要通过分析傅里叶频谱中的异常值、检测角膜的普尔钦反射以及通过探测眼睛自发的虹膜震颤和受光照刺激的瞳孔收缩来实现活体检测。McGrath等[4]提出了一种基于BSIF（binary statistical image features）和分类器集成学习的虹膜美瞳检测方法。Czajka等[5]利用光度立体特征估计法，通过提取虹膜区域的三维结构来实现虹膜活体检测。Trokielewicz等[6]基于深度卷积神经网络，实现对尸检虹膜的活体检测，同时利用导向反向传播技术和梯度加权类激活热力图来进行可视化，检测模型是否能够提取虹膜图像中的有效区域来进行分类判断和决策。Soleymani等[7]提出使用小波分解来防御伪造虹膜图片的攻击。Kuehlkamp等[8]利用多个预训练的BSIF滤波器来有效训练轻量级卷积神经网络，采用分类器的多视图集成学习来进行虹膜活体检测。Czajka[9]使用支持向量机，利用光照变化条件下的瞳孔动态特性来进行虹膜活体检测。宋平等[10]利用人眼区域的三维结构，提出了一种基于计算光场成像技术的虹膜活体检测方法。贾皓丽等[11]对归一化后的虹膜图像进行滤波，计算其特征区域的图像熵值，提出了一种基于Gabor滤波的虹膜活体检测方法。李志明[12]采用深度学习算法，在归一化后的虹膜图像上自动提取隐藏特征，提出了一种基于卷积神经网络的虹膜活体检测算法。刘明康等[13]基于含有增强型灰度空间生成器的三元组网络，利用空间分析与变换的方式解决真假虹膜样本的分类问题。文献[1-2，14-15]指出，美瞳检测是虹膜活体检测领域里最具难度和挑战性的研究课题，因此本文重点以美瞳检测作为活体检测来研究。
随着卷积神经网络在计算机视觉和图像处理领域取得的成功，一系列语义分割算法以及目标检测算法也陆续引入到虹膜识别领域。周锐烨等[16]提出了一种基于Unet的神经网络模型，实现异质虹膜图像的精确语义分割。在虹膜识别过程中，为了实现人眼的精确定位，基于方向梯度直方图和支持向量机，晁静静等[17]实现了双眼虹膜图像的人眼定位算法，为改进该定位算法，陈金鑫等[18]基于YOLO算法提出了一种人眼快速定位与分类算法，同时实现模型的轻量化。滕童等[19]基于级联神经网络，设计出一个多任务虹膜快速定位模型，并有效实现虹膜关键点的检测。
本文将端到端单阶段目标检测算法SSD（single shot multibox detector）[20]应用于人眼图片的虹膜定位，并提出美瞳检测算法IrisBeautyDet。实验表明，该算法在中科院CASIA-Iris数据集和圣母大学NDCLD数据集上具有优异的性能。对于头发遮挡、眼镜遮挡、光斑干扰等严苛条件下，仍具有较好的鲁棒性。为了验证算法的有效性，利用神经网络可视化方法获得特征可视化图。特征可视化图中细粒度的丰富梯度信息有力地证明了本算法对虹膜特征和美瞳特征的优异提取能力，并能够充分学习到虹膜区域与美瞳区域的语义信息。
本文的工作包含以下内容：
（2）使用MobileNet[21]，将原有SSD网络轻量化。引入注意力机制，分别采用通道注意力模块[22]、空间注意力模块[22]、CBAM模块（convolutional block attention module）[22]以及SE模块（squeeze-and-excitation）[23]进行美瞳检测，探索引入模型的最佳注意力机制，进一步提高模型的准确度和泛化能力，弥补模型参数量减少后模型表达能力不足的缺陷。
（3）利用神经网络的可视化技术，确定网络对输入图片的敏感区域，验证网络的有效性和可信度。利用guided backpropagation[24]技术提取输入图片中梯度显著的区域，揭示了网络能精准检测美瞳的可解释性。
2.1 网络模型原理
作为一种单阶段虹膜定位和美瞳检测网络，Iris-BeautyDet算法借鉴了SSD的思想，采用先验框进行区域生成，并利用多层的特征信息，进一步提升了虹膜定位和美瞳检测的精度。IrisBeautyDet网络采用MobileNet作为主干网络（backbone），取代原SSD中的VGG16。IrisBeautyDet网络共生成6个具有不同感受野和不同尺度的特征图，并且将特征图输入注意力模块，以提高网络的有用信息提取能力。深层的特征图具有更大的感受野，能够提取大尺寸目标的语义信息，用于检测大尺寸的虹膜和美瞳，而浅层特征图感受野更小，用于检测小尺寸的虹膜和美瞳。与此同时，针对不同尺度的特征图需要生成不同尺寸和长宽比的先验框。
由于正常的虹膜形状近似呈圆形，因而相应的边界框呈正方形，宽高比为1。然而在真实场景下，根据用户眼睛睁开闭合程度的不同，虹膜区域相应的边界框呈现矮宽型而非高窄型。从数据集中随机抽取2 000个样本的边界框，统计其宽高比的分布规律，发现其宽高比主要分布在1至2.5之间（如图1），因此先验框所使用的宽高比设置为0.5、1.0、1.5、2.0、2.5、3.0。而先验框尺寸的选择则依据SSD算法[20]的处理方式，根据相应感受野大小不同，第k层特征层的尺寸Sk的选择如公式（1），其中Smin=0.2，Smax=0.9。
图1 边界框的宽高比统计Fig.1 Aspect ratio statistics of bounding boxes
下一步，将已提取的特征图分别送入检测模块。检测模块分为两个分支，分别用于计算虹膜或美瞳的定位信息和置信度信息以得到预测框的完整信息。在IrisBeautyDet算法的训练阶段计算损失函数时，首先需要通过交并比（intersection of union，IoU）筛选出正样本，并为正样本匹配真值框。
先验框经过与真值框匹配之后，得到能匹配的正样本与未能匹配的负样本，由于得到匹配的正样本数量较少，正样本将会被数量庞大的负样本淹没，网络训练的误差反向传播中，正样本的作用将会变得微乎其微。因此，在训练过程中只使用部分置信度排名靠前的负样本，将负样本数量限制为正样本数量的3倍。根据文献[20]，使用该难负样本挖掘可以使优化速度更快，训练更加稳定。
之后为正样本计算定位损失，为筛选出的正负样本计算置信度损失。本文所采用损失函数依照SSD算法[20]，损失函数由两部分加权求和构成，分别是定位损失Lloc和置信度损失Lconf，如公式（2），其中N是正样本的数量，本文取α=1。定位损失Lloc用于对正样本计算位置预测误差（公式（3）），包括该样本的中心点坐标（lcx i和lcy i）和边框的宽高（lw i和lh i）。其中l和g分别对应预测框和真值框。为了更好地用于训练，计算误差之前需要对真值框数据进行编码获得ĝ，如公式（4），然后使用smoothL1计算偏移量的回归。在定位损失Lloc部分（公式（5）），对于正样本计算相应检测类别的softmax损失，对负样本计算背景类别的softmax损失。
采用SPSS 19.0统计学软件对数据进行处理，计数资料以百分数（%）表示，采用x2检验，以P＜0.05为差异有统计学意义。
IrisBeautyDet网络在推理阶段，将检测阶段得出的预测框信息输入到非极大值抑制算法（non-maximum suppression，NMS）中，最终得出模型的虹膜定位预测结果与美瞳检测置信度信息。IrisBeautyDet网络的结构如图2所示。
图2 IrisBeautyDet算法的网络结构Fig.2 Network structure of IrisBeautyDet algorithm
2.2 网络轻量化与注意力机制
为了避免原始SSD网络繁杂的计算量，减小模型复杂度并提高计算速度以应用于实时场景，对原始网络做轻量化。将主干网络VGG16替换为更轻量的MobileNet[21]，可以使原网络的参数量（params）、浮点计算量（FLOPs）大幅降低，因此显著提高网络计算速度。VGG16网络与MobileNet网络的参数对比如表1所示。
表1 VGG16和MobileNet的对比Table 1 Comparison of VGG16 and MobileNet
引入MobileNet网络之后，虽然显著减少计算量并轻量化模型大小，但付出的代价是模型表达能力的降低，其表现为模型的准确率下降。为了有效缓解模型的复杂度和表达能力之间的矛盾，本文引入注意力机制（attention mechanism）。注意力机制是受人类视觉机制的启发而提出，它可以看作是一种资源分配优化方案，旨在面对大量低效信息中集中有限数量的计算资源来处理更有价值更有效的少量信息，因此其也常用于解决信息超载的问题。
SE模块[23]采用全局平均池化来计算各通道的权重，首先通过Squeeze模块进行全局平均池化得到一个具有全局感受野的通道分布嵌入，然后经过Excitation模块。通过调整特征图中各通道的权重，从而重新线性组合原特征，以提高网络的表达能力。
CBAM模块[22]由通道注意力模块（CAM）和空间注意力模块（SAM）构成。通道注意力模块用于提取通道上的语义信息，它使得网络关注图片中特征本身的语义信息。与通道注意力模块不同，空间注意力模块用于提取输入特征在空间上的语义信息，使得网络更关注输入特征中语义信息所在位置。因此通道注意力模块和空间注意力模块相互取长补短，优势互补。
通道注意力模块[22]同时使用了全局最大池化和全局平均池化，之后将池化结果送入一个由多层感知机构成的权值共享网络，最后使用Sigmoid函数作为激活层。通道注意力模块能够从特征图的整体出发，不受空间局部性信息的影响，合理引导网络去关注或者抑制在通道维度上的全局性信息。根据特征可视化实验，guidedbackpropagation结果说明通道注意力模块通过编码通道维度上的注意力，略微提高网络对虹膜和美瞳纹理的感知能力。
空间注意力模块[22]对特征图在通道维度上执行平均池化操作和最大池化操作，然后将池化操作结果在通道维度上进行特征融合，经过卷积层后，输入到Sigmoid激活函数。因此，空间注意力可以辅助网络聚焦到图像中语义信息最丰富的区域，同时也构成对通道注意力的互补。对特征可视化实验进行对比分析，guidedbackpropagation可视化结果证明，空间注意力模块能够显著提高网络对虹膜和美瞳纹理的感知能力，同时也扩大了对输入图片纹理区域的感知范围。
3.1 数据集和数据增强
本实验中使用的数据集由8 388张虹膜图片构成，其中包含5 000张活体虹膜图片和3 388张美瞳虹膜的呈现攻击图片，在这些对抗样本中，美瞳眼镜的纹理遮挡或叠加在虹膜纹理的全部或部分区域。其中活体虹膜图片来自中科院CASIA-Iris数据集，数据采集对象包括各个年龄阶段的成年男性和女性，此外数据集中还包含采集对象佩戴眼镜而受眼镜镜框或者头发干扰的图像，因此本数据集具有一定的代表性和多样性。其中美瞳虹膜图片中除来自CASIA-Iris数据集外还包括圣母大学NDCLD数据集的1 400份美瞳虹膜数据，数据采集对象的人种覆盖欧美和亚洲。数据采集所使用的装置包括OV7725在内的多种类型传感器，美瞳的品牌包括博士伦、海昌和卡洛尼。因此该数据集具备一定的丰富性和多样性，各类别图片如图3所示。
图3 实验所用虹膜及美瞳数据示例Fig.3 Example of iris and cosmetic contact lens data used in experiment
实验中数据集按照8∶2的比例被划分成训练集和测试集。训练阶段采用的数据增强方法包括对图像的随机水平翻转、图像的色调、饱和度和明度的随机调整以及图像的随机缩放和平移，以此来扩展数据集，提高模型的泛化能力和鲁棒性，降低过拟合发生的概率。数据集的标注采用Python第三方库LabelImg，数据的标签包括虹膜的位置信息和分类信息并以XML文件的形式保存。其中，位置信息包括标注框的左右边界和上下边界的坐标，类别信息包括LiveEye和FakeEye两类，分别对应活体虹膜和美瞳虹膜。
3.2 实验平台和评价指标
实验所使用的平台及运行环境配置如表2所示。在模型测试阶段，对于虹膜定位任务，利用精确率（precision）和召回率（recall）作为模型评价衡量指标。对于活体检测和呈现攻击，通常采用正确分类率（correct classification rate，CCR）、攻击呈现错误分类率（attack presentation classification error rate，APCER）和真实呈现错误分类率（bona fide presentation classification error rate，BPCER）作为评价指标，公式如下：
表2 实验平台及运行环境配置Table 2 Experimental platform and running environment con-figuration
其中，TA和TB分别表示正确分类的攻击呈现数量和正确分类的真实呈现数量，AP和BP分别表示攻击呈现的数量和真实呈现的数量，FB表示攻击呈现中被错误归类为真实呈现的数量，FA表示真实呈现中被错误归类为攻击呈现的数量。
3.3 消融实验
实验表明，置信度阈值（设为τ）的不同取值将会对模型推理准确度产生影响，提高置信度阈值，精确率将会提升，相反召回率将会相应下降。为了兼顾精确率和召回率，实验采用F1分数作为评价最佳置信度阈值的依据。统计各个模型在不同置信度阈值下的活体类和美瞳类的F1分数，并求两者的算术平均值，统计结果如表3。综合分析各指标，选择0.9作为置信度阈值较为合适。
表3 不同置信度阈值下各模型的F1分数结果对比Table 3 Comparison of F1 score results of each model under different confidence thresholds
以0.9作为置信度阈值，在测试集上对多个不同模型分别进行测试评估，统计分析模型的定位指标和美瞳检测指标，统计结果如表4和表5所示。在定位阶段，原始SSD网络具有较高的准确率和召回率，对于活体类和美瞳类的准确率和召回率均达到97%以上，体现了SSD算法的强大性能。针对原始SSD网络计算量和参数量庞大的缺点，引入MobileNet网络进行轻量化。实验表明，轻量化后能显著降低计算量和网络参数量，但付出的代价是精度的大幅损失。为了在一定程度上提高模型准确率和召回率，引入两种注意力机制，SE模块和CBAM模块。实验表明，引入这两种注意力机制对精确率和召回率都有明显的提升。消融实验的结果表明，引入的CBAM模块中，空间注意力子模块（SAM）相比通道注意力子模块（CAM）具有更好的提升效果。这意味着模型中间层的特征数据在空间上的区分性比通道上的更显著。最终，引入CBAM模块的网络将CCR从95.71%提升到了98.75%，APCER从5.77%减小到1.06%，BPCER从3.34%减小到1.37%。此外，模型大小从91.1 MB下降到26.1 MB，同时将处理速度FPS（frames per second）从29.68 frame/s，提升到41.88 frame/s，满足实时应用的处理速度。
表4 在τ=0.90条件下各模型的定位结果对比Table 4 Comparison of localization results of models with τ=0.90
表5 在τ=0.90条件下各模型的美瞳检测结果对比Table 5 Comparison of cosmetic contact lens detection results of models with τ=0.90
对比图4中不同算法的损失函数曲线，网络轻量化处理后，计算开销和参数量的减少可以大大加快网络训练阶段的收敛速度。同时，注意力机制的引入会放缓网络损失函数的收敛速度，避免损失函数的急剧波动，利于网络充分学习到更多特征，使得训练更加稳定有效。
图4 各网络模型训练损失曲线Fig.4 Training loss curve of each model
3.4 IrisBeautyDet及其特征可视化
选取本文提出的所有网络中性能最佳者，即SSD+MobileNet+CBAM，并将其命名为IrisBeautyDet，其检测效果如图5所示（红色框和蓝色框分别表示检测结果为美瞳类和活体类）。实验表明，对于睫毛遮挡、眼镜遮挡、镜片光斑干扰、头发遮挡等极端条件，IrisBeautyDet具备一定的抗干扰能力。使用该网络模型在测试集上进行测试实验，通过选取不同置信度阈值，绘制PR（precision-recall）曲线，如图6，结果显示该网络模型活体类与美瞳类的平均精确率（average precision，AP）分别达到99.86%和99.96%。
图6 SSD+MobileNet+CBAM的PR曲线Fig.6 PR curve of SSD+MobileNet+CBAM
在计算机视觉的很多领域中，卷积神经网络虽然都取得了卓越的成功，但是其内部机理和工作机制以及决策逻辑迄今尚且不能为人类所理解。为解决卷积神经网络模型中的不可见问题，研究人员陆续提出一系列神经网络可视化技术，试图解释模型学习到的内容和规则。本实验主要采用了guided backpropagation[24]算法进行可视化分析。可视化结果如图7所示，第一、二列是活体类虹膜图片，第三、四列是虹膜受美瞳的不同类型纹理混淆干扰的图片，在第五列图片中，虹膜的部分区域被不透明美瞳完全遮挡；
第一行是原图，第二行是guided-backpropagation可视化结果。
图7 IrisBeautyDet模型的可视化结果Fig.7 Visualization results of IrisBeautyDet model
可视化实验结果显示，IrisBeautyDet网络模型能够准确地提取出虹膜纹理中的有效信息，例如虹膜纹理中的褶皱和隐窝，因此能高效准确地完成美瞳检测。相比原图，guided-backpropagation生成的图像更加突出地展现出虹膜和美瞳的不同纹理特征模式。其中，虹膜的纹理更加具有随机性，纹理的变化更加自然，而美瞳的纹理更加具有规律性。这表明本网络模型对虹膜的细粒度特征具有高度敏感性，印证了模型的有效性。此外，不同的注意力机制对网络的表达能力具有不同程度的影响。图8为用guided-backpropagation可视化结果来分析四个不同注意力模块的影响效果。图8中的可视化结果表明，SE模块和SAM模块较为显著地提升了网络模型对在空间维度上分布的微观特征的提取能力，进而提升了模型感知美瞳纹理的能力。当网络模型同时使用空间和通道注意力，即采用CBAM模块时，具有更强的细粒度纹理提取能力，图8（b）和图8（f）的对比结果，清晰直观地展现了CBAM的优势。同时，该可视化结果也印证了表4和表5中所反映出的各模型的性能差异。综上，通道注意力模块对本网络模型性能影响相对微弱，但是将通道注意力和空间注意力模块结合或者使用SE模块，都能够较为显著地提高模型对细粒度小尺度特征的提取能力，进一步验证模型的可靠性并揭示其可解释性。
图8 不同注意力模块的guided-backpropagation可视化效果Fig.8 Visualization of guided-backpropagation with different attention modules
本文提出了一种基于SSD的网络模型IrisBeautyDet，能够实现单阶段端到端的快速虹膜定位与美瞳检测。引入MobileNet网络对模型进行轻量化，将模型大小从91.1 MB下降到26.1 MB，同时将检测速度从29.68 frame/s提高到41.88 frame/s。通过添加注意力机制，克服了由于参数量减少造成的特征提取能力不足的问题，保持原有的高精确率和高召回率。实验表明，本模型在眼镜遮挡和镜片光斑等严苛条件下，仍拥有一定的鲁棒性，对复杂条件具备较强的抗干扰性。IrisBeautyDet检测活体类和美瞳类的平均精确率分别达到99.86%和99.96%，在置信度阈值选取为0.9的条件下，活体类的精确率和美瞳类的召回率（实际应用中活体检测更需关注精确率，美瞳检测更需关注召回率）分别达到了99.21%和99.09%。Guided-backpropagation可视化实验也进一步表明，本模型具备有效提取虹膜信息并准确完成定位与美瞳检测的能力，充分验证了本模型的有效性和实用性；
此外也表明，注意力机制可以通过提高模型对美瞳和虹膜纹理的特征提取能力来提高模型准确率，其中SE模块和CBAM模块的改进效果较为显著。综上，本文提出的虹膜定位和美瞳检测网络IrisBeautyDet为虹膜识别系统的安全性提供了支撑，具有一定的应用前景。
