基于注意力机制多特征融合的虚假信息检测

地力夏提·阿布都热依木，马 博*，杨雅婷，王 磊

(1.中国科学院新疆理化技术研究所 新疆民族语音语言信息处理实验室，新疆 乌鲁木齐 830011；
2.中国科学院大学计算机科学与技术学院，北京 100049)

网络和社交媒体的快速发展，降低了传播信息的成本，使得人们之间的交流更加频繁.但这也给虚假信息的迅速传播提供了机会.微博、推特(Twitter)等社交媒体因为能迅速和全面的提供世界各地的新闻，所以已经成为各种事件中重要的新闻媒体和舆论平台.而在突发事件发生时，虚假信息的数目也会明显增多.例如新冠肺炎疫情在世界各地爆发期间，社交媒体中关于肺炎起源、预防、诊断、治疗和传播的虚假信息随处可见.虚假信息在打破真实信息生态系统平衡的同时也会影响人们理解和回应真实信息的方式[1].因此，若不及时识别出虚假信息，可能会造成大规模的负面影响，甚至会造成不可挽回的损失.

虚假信息检测主要分为基于单模态和基于多模态的方法，而基于多模态的虚假信息检测方法由于可结合多线索，准确率更高，已开始成为研究重点.现有的多模态深度学习模型由于其优越的特征提取能力，在性能上优于传统的深度学习模型.Jin等[2]首次提出了基于循环神经网络(recurrent neural network,RNN)[3]的多模态模型，提供了通过融合不同模态的特征以进行虚假信息检测的思路.

现有的多模态虚假信息检测用于分类的特征多为从文本、社交背景和图像中提取的文本和视觉特征.近年来，有一些研究开始关注文本特征和视觉特征以外的特征，例如情感、传播和社交上下文、写作风格等.Zhang等[4]利用帖子文本和评论内容提取用户情感特征、发布者情感特征和两者差值组成的双重情感特征，结合文本特征进行谣言检测.Bian等[5]基于双向图卷积神经网络(Bi-GCN)，自顶向下和自底向上挖掘虚假信息的传播和散布模式，并进行识别.Przybyla[6]通过学习专家标注的大量文档的写作风格，基于风格特征进行虚假信息检测.因此，为了更加准确地识别虚假信息，本文将文本、视觉和情感特征融合并用于分类.

为了提取文本特征用于虚假信息检测，Ma等[7]引入了基于RNN的模型捕获相关帖子的社交上下文特征随时间的变化.之后在此工作上，Chen等[8]将注意力机制[9]加入RNN中以选择性地提取时间表征.Wang等[10]提出基于卷积神经网络(convolutional neural networks,CNN)[11]改进的Text-CNN模型提取文本特征.Zhang等[12]提出BDANN模型，模型中采用BERT(bidirectional encoder representations from Transformers)[13]预训练模型提取帖子中的文本特征，性能得到显著提高.因此在本文中，为提取帖子中的文本特征，使用预训练模型BERT提取文本特征.

视觉特征是多模态虚假信息检测中的重要指标.已有研究[2-3,14]表明：从社交帖子的图片中提取的视觉特征也包含关键的信息，可以通过深度神经网络提取高度复杂的图像表示，能显著改善虚假信息的识别结果.本文中，采用VGG19[15]提取图像特征，并与文本、情感特征进行融合.

为吸引读者和快速扩散的目的，虚假信息中通常包含较多夸张的情感词汇，因此情感特征也作为虚假信息检测中重要的判别依据.Ajao等[16]指出，虚假信息的内容和它们的情感词之间存在联系，基于这一思想，其构造了一个情感特征(负面和正面词的计数之比)来辅助检测虚假信息.Guo等[17]从情感角度探索虚假信息的传播模式，观察发现虚假内容编造者偏好使用带有强烈情感的语句和容易引起关注的热点话题传播虚假信息.因此，该文献提出了基于文本内容和评论情感的双重情感融合模型.之后，Zhang等[4]发现虚假内容的文本和用户评论之间存在着明显的情感反差，所以将文本情感、用户情感、文本情感和用户情感差值组成双重情感特征模型，进行虚假信息检测.在本文中，受文献[4]中情感特征提取方式的启发，构造了情感特征提取器，用于提取不同的情感子特征，融合后形成最终的情感特征.

现有的多模态模型融合特征时多数采用拼接或相加的方式，导致模态信息冗余，不能有效地结合不同模态的优势.Xu等[18]基于注意力机制提取模态间的交互信息，证明了不同模态的特征通过注意力机制融合可以获得更全面的特征表示.Guo等[17]设计了三种门(gate)在不同级别进行特征融合，与拼接特征的融合方式相比有进一步的提升.因此，本文将文本特征和情感特征基于注意力机制进行融合，以获取更加丰富的多模态特征.

为增加模型的鲁棒性，在其他自然语言处理任务中会引入生成对抗学习(generative adversarial networks，GAN)[19].Li等[20]在多模态融合过程中加入双鉴别器，识别多个模态共同的特征并进行学习.在虚假信息检测领域，Wang等[10]提出事件对抗神经网络(event adversarial neural network，EANN)模型，利用事件分类器来消除不同事件的中的特殊特征，提高新事件有关的虚假信息的检测准确度.因此，受文献[10，12]的启发，本文加入了一个事件分类器，从多模态特征中去除事件独有的特征，引导模型学习事件的通用特征.

综上所述，本文提出了一种端到端模型，即基于注意力机制多特征融合神经网络(attention based multi-feature fusion neural network for fake news detection,att-MFNN)的虚假信息检测，由多模态特征提取器、事件分类器和虚假信息识别器组成.为了验证att-MFNN的性能在微博和推特(Twitter)数据集上进行实验.

图1为att-MFNN模型的总体架构：利用BERT和情感分类器提取文本特征Ft和情感特征Fe，送入注意力融合层进行融合,得到特征Fte；
再与视觉特征Fv拼接，形成最终的多模态特征Ff；
再将多模态特征送入事件分类器和虚假信息识别器中，获取分类结果.本文中，虚假信息识别器由两个全连接层和softmax函数构成，为了提高未知事件和突发事件中的识别能力，引入事件分类器.

图1 att-MFNN的框架图Fig.1 Frame diagram of att-MFNN

1.1 多模态特征提取

1.1.1 文本特征提取

为了捕捉潜在的语义和上下文含义，本文中使用包含12个编码器层的BERT预训练模型进行文本特征提取.将输入的含有n个单词的文本表示为T=[T0,T1,…,Tn],T0表示[CLS]嵌入.将Ti输入BERT预训练模型并进行均值池化运算获得文本特征Rt∈Rdt,其中dt表示从BERT获得的文本特征的维数,随后输入全连接层，以确保文本特征的最终输出(表示为Ft∈Rp)具有与视觉特征相同的维度(表示为p).因此,

Ft=σt(Wt·Rt),

(1)

其中，Wt∈Rp×dt是文本特征提取器中全连接层的权重矩阵，σt是文本特征提取器中使用的Leaky RELU激活函数.

1.1.2 情感特征提取

情感特征由情感类别、情感词汇、情感强度以及辅助特征组成.

1) 情感类别：使用情感分类器(Twitter数据集使用NVIDIA的开源模型情感分类模型(https:∥github.com/NVIDIA/sentiment-discovery)，微博数据集使用百度AI平台的情感识别(https:∥ai.baidu.com/tech/nlp_apply/emotion_detection))来获取情感类别特征.将文本T输入到情感分类器f中，得到情感类别特征Ec∈Rdf,df表示情感类别的维数.

Ec=f(T).

(2)

2) 情感词汇：并不是所有的词汇都能表达情感，所以通过情感词典计算出的结果去判断文本是否具有情感色彩.假设情感词典中包含df种情感，情感词典记为E=[e1,e2,…,edf].设有l个词汇表示第i种情感，则其情感词列表为εei={ti,1,ti,2…ti,l},其中ti,j(1≤j≤l)表示第i个情感第j个词汇.若单词Ti在此列表中,表示与情感词列表匹配成功记为1，否则为0.

(3)

对于文本T与情感类别ej的相关程度s(T,ej)可表示为：

(4)

其中，n表示文本T中的单词数，N(Ti)和D(Ti)表示第i个词前两个词(人为设定)的否定值和程度值.最后，将不同的情感类别拼接形成该文本的情感词汇特征.

EL=[s(T,e1)，s(T,e2)，…，s(T,edf)].

(5)

3) 情感强度：类似情感词汇特征，通过将所有情感的分数相加形成文本的情感强度特征.文本T的第j类情感程度值I(T,ej)可表示为

(6)

其中，i(Ti)表示若Ti在情感词典列表中，则按照表中值进行计算，否则i(Ti)=0.最后将不同类别的情感程度值组成情感强度特征.

EI=[I(T,e1),I(T,e2),…,I(T,edf)].

(7)

4) 情感辅助特征：许多研究在数据处理过程中会将文本中的表情和标点符号清洗掉，而事实上这些符号在社交媒体中也是重要的情绪表达.分别统计不同类别的表情符号出现的频率.另外，通过情感词典或公共工具包还可以计算一条文本的正/负极性程度，将以上辅助信息统一称为情感辅助特征，记为EA∈Ra.

最后上述4种特征拼接后得到文本情感特征ETO∈Rde,如式(8)所示：

ETO=[EC,EL,EI,EA].

(8)

获得的情感特征维数为de=3df+a，情感特征提取器最后一层添加全连接层，得到与文本特征维度一致的情感特征Fe,

Fe=σe(We·ETO).

(9)

其中，We∈Rp×de是情感特征提取器中全连接层的权重矩阵，σe是情感特征提取器中使用的Leaky RELU激活函数.

1.1.3 视觉内容特征提取

CNN已经成功应用于各种视觉理解问题.本文中使用预训练的VGG-19，从帖子所含图像中提取视觉特征.将获得的图像特征的维数表示为dv.为了使视觉特征的最终输出(表示为Fv)与文本和情感特征的维度一致，在VGG-19的最后一层添加一个全连接层.因此，

Fv=σv(Wv·Rv),

(10)

其中，Wv∈Rp×dv是视觉特征提取器中全连接层的权重矩阵，Rv是VGG-19最后一层的输出，σv表示是视觉特征提取器中的Leaky RELU激活函数.

1.2 特征融合方式

本文中特征融合方式分别采用两种方式：直接拼接和注意力机制融合.

1) 特征拼接

将Ft,Fe和Fv3种特征连接成一个维数为3p的向量，记为Rf∈R3p.因此，融合特征为

Rf=[Ft,Fe,Fv].

(11)

在本文中，基于3种特征拼接的模型记为MFNN，在2.4对比试验中将作为与att-MFNN模型进行实验的对比模型.

2) 注意力机制融合

如图1所示，将文本特征Ft=[h1,h2,…,hp]和情感特征Fe,分别设置为K=V=Ft和Q=Fe后，按照如下方式进行特征融合：

i) 计算Q和K的相似度，得到注意力分数

s=(si)=F(Q,Ki)=KiTQ.

(12)

ii) 用softmax函数对注意力得分进行数值转换，进行归一化得到所有权重系数和为1的概率分布

(13)

iii) 根据权重系数对V进行加权求和得到注意力机制的输出.

(14)

将文本特征Ft和情感特征Fe输入注意力层，得到文本情感特征Fte∈Rp的过程形式化表达为如下：

Fte=A(Ft,Fe).

(15)

将Fte和Fv两种特征连接成一个维数为2p的向量，记为Ff∈R2p.

1.3 训练损失函数

(16)

所有帖子真实标签yi的集合记为Y.为了计算分类损失，本文中采用交叉熵损失函数如式(17)所示：

(17)

(18)

事件分类器映射函数表示为D(Ff;θd),θd表示事件分类器的参数集合，D为映射函数.设共有M个事件，将多模态特征Ff输入到事件分类器中，会将帖子pi分类到第m个事件中的一个.用Z来表示不同事件标签的集合，并且用交叉熵损失函数定义事件分类器的损失，如下：

lgD(E(pi;θE);θD)].

(19)

1.4 模型参数

多模态提取器倾向于通过最大化的事件分类损失Ld来提取事件通用的特征，而事件分类器倾向于通过最小化事件分类损失Ld来从多模态特征中发现事件独有特征.因此，定义最终损失为：

L(θE,θC,θD)=LC(θE,θC)-λLD(θE,θD),

(20)

其中，进行模型参数优化λ∈R,用于平衡两个分类器的损失，使其达到两种损失对抗的效果.引入梯度反转层(GRL)[10]的目的是在正向传播期间利用GRL充当恒等变换，在反向传播期间将梯度乘以λ传递给前一层.因此，模型参数的优化过程描述如下:

(21)

其中，η为梯度系数，一般设为1.

虚假信息识别器的参数更新：

(22)

事件分类器的参数更新：

(23)

2.1 实验参数选取

在文本特征提取器中，从BERT获得的文本特征的维数dt为768.视觉提取过程中，首先将图像的大小调整为224×224×3,输入到预训练模型VGG-19中.VGG-19的图像特征维数为4 096.通过情感特征提取器中情感特征维数为56.文本、情感和视觉提取器中全连接层的隐藏状态维数p为32.为避免过拟合，模型中对BERT和VGG-19的参数均进行了冻结.事件分类器中两个全连接层的维数分别设置为64和32.

模型中批处理(batchsize)设置为32，训练次数为100轮(epoch)，学习速率为10-3,优化算法为Adam，每个连接层的激活函数为Leaky RELU，dropout概率为0.5.

2.2 数据集

微博数据集：微博数据集由Jin等[2]提出，并被应用于许多多模态虚假信息检测的研究.在这个数据集中，真实信息从中国的权威新闻来源收集，比如新华社.另外，通过微博官方辟谣系统还收集了2012年5月到2016年1月的虚假信息.该系统鼓励普通用户报告可疑帖子，并由可信用户检查可疑帖子.因此这个系统也作为收集谣言新闻的权威来源.当预处理这个数据集时，首先删除重复和低质量的图像，以确保整个数据集的质量.然后，应用单程聚类方法[21]从帖子中发现新出现的事件.最后，将整个数据集以7∶1∶2的比例分成训练集、验证集和测试集，并确保它们不包含任何常见事件.

Twitter数据集：Twitter数据集来自Boididou等[22]发布的数据集，用于检测Twitter上的虚假内容.Twitter数据集包含开发集和测试集，将Twitter开发集用作训练集，测试集用作测试集.Twitter数据集中的推文包含文本内容，附加的图像/视频和其他社交环境信息.在本文工作中，专注于通过结合不同模态信息来检测虚假信息.因此，删除了没有任何文本或图像的推文，并且保证训练集与测试集之间没有重叠事件.表1列出了这两个数据集的详细统计数据.

表1 微博和Twitter数据集统计信息

数据实例：为了更清晰地描述两种数据集中图片、文本以及通过文本得到的情感特征(以情感类别特征为例)之间关联性，从数据集中挑出4个实例，如表2所示.

表2 微博和Twitter数据集中的实例

在两个公开数据集中，既包含图像又包含帖子文本信息.通过构造情感特征提取器，提取文本中的情感构成了模型的输入.

2.3 基线模型

本文中，从先前的研究中挑选出3个经典模型，作为对比试验的基线模型.

EANN[10]模型：EANN 结合文本和视觉特征通过拼接组成多模态特征，并引入事件鉴别器消除特定事件的依赖关系，最后进行虚假信息检测.本文中也引入了事件分类器，进行事件通用特征的学习.

MAVE[14]模型：MVAE旨在学习文本和视觉模式之间的共享表示，以检测虚假信息.利用变分自动编码器对输入数据进行重构得到共享表示，并利用二值分类器对虚假信息进行检测.

BDANN[12]模型：采用BERT提取文本特征与视觉特征进行拼接融合的多模态虚假信息检测模型.

2.4 对比实验

为了评估本文模型att-MFNN的性能，在微博和Twitter数据集进行了如表3所示的实验.(表3中P表示精确度，R表示召回率，A表示准确率)

表3 微博和Twitter数据集上att-MFNN和基线模型对比实验结果

在微博数据集中，仅对文本、情感和视觉特征进行拼接，MFNN模型已经优于所有基线模型，其准确率比基线模型中性能最好的BDANN高3.8个百分点，且其他指标也普遍更高.加入了注意力机制后，att-MFNN总体性能进一步提高，准确率提升1.3个百分点(共提升5.1个百分点)，准确率可以达到89.2%，所有指标优于所有基线模型.

在Twitter数据集中，att-MFNN与基线模型中性能最好的BDANN模型相比，准确率提高了4.5个百分点，达到了87.5%.除了在真实信息中召回率低于MFNN模型的93.0%，att-MFNN模型在准确率、总F1值、总召回率等指标中均优于MFNN模型，并且所有指标优于所有基线模型.

与基线模型相比，无论是基于拼接的MFNN模型还是基于注意力机制融合的att-MFNN模型都有显著提高.att-MFNN和MFNN中包含3种特征，多个不同的特征的有效利用，可以发挥多模态的优势，更好地去进行虚假信息识别.

2.5 消融实验

为了更清晰地了解模型中各个特征的作用，在微博和Twitter数据集中进行了消融实验.结果如表4所示.

表4 微博和Twitter数据集上att-MFNN消融实验结果

根据对比试验和消融实验结果可以得出以下结论：

1) 多模态模型优于单模态模型

在微博数据集中：单独基于文本特征的模型准确度为80.3%，而从MFNN模型去除文本特征后模型准确下降到65.3%，直观地说明了文本特征对于模型性能的影响相比较其他两个特征更大.与基于单模态的模型相比，基于两种特征的多模态模型都有了提升.视觉特征和情感特征单模态情况下，准确率为63.9%、62.1%，而将这两个特征融合后准确率提高到65.3%.情感特征和视觉特征分别与文本特征融合后性能大幅度提高到84.6%和84.1%.Twitter数据集中：文本、视觉和情感单模态模型准确率分别为70.6%、59.6%和52.6%，将3种特征两两组合后的多模态模型相比较单模态有了进一步提升，最后当3种特征融合时，准确度高于基于单模态和基于两种特征的多模态模型.

2) 情感特征能带来性能提升

在两种数据集中，单模态的文本特征模型、视觉特征模型以及多模态的文本视觉模型加入情感特征后最低有0.9个百分点的提升，最高提升能达到7.2个百分点.具体为：微博数据集中，(Vision+attention) w/o(准确度:84.6%)高于Text only(准确度:80.3%) 4.3个百分点，Text w/o(准确度:65.3%)高于Vision only(准确度:63.9%) 1.4个百分点，MFNN(准确度:87.9%)高于Emotion w/o(准确度:84.1%)3.8个百分点.Twitter数据集中，(Vision+attention) w/o(准确度:71.5%)高于Text only(准确度:70.6%) 0.9个百分点，Text w/o(准确度:66.8%)高于Vision only(准确度:59.6%) 7.2个百分点，MFNN(准确度:86.6%)高于Emotion w/o(准确度:80.4%)6.2个百分点.微博数据集中情感特征带来的性能提升高于视觉特征.这可能与微博数据集中图片含有较多的噪声有关.现实生活中数据噪声不可避免，因此单一模态或者仅靠文本和视觉特征在这种情况下性能会遭遇瓶颈甚至下降.利用文本所含的丰富情感，结合文本和视觉特征，学习更全面的特征能有效改善这一问题.

3) 基于注意力机制融合方式优于特征拼接的方式

如表3和4所示，通过注意力机制将情感特征与文本特征进行融合的方式普遍优于基于拼接的模型.具体为：微博数据集中，Vision w/o(采用注意力机制融合)准确度为86.4%，高于(Vision+attention) w/o(采用拼接)的准确率1.8个百分点；
att-MFNN模型的准确率为89.2%，高于MFNN模型的准确率1.3个百分点.在Twitter数据集中，Vision w/o准确率为73%，高于(Vision+attention) w/o的准确率1.5个百分点；
att-MFNN模型的准确度为87.5%，高于MFNN模型的准确度0.9个百分点.

另外，本文对引入的事件分类器也进行了消融实验.微博数据集中MFNN模型和att-MFNN模型去除事件分类器后准确率有一定的降低，分别由87.9%和89.2%降低到85.7%和87.4%.在Twitter数据集中，去除事件分类器后，MFNN模型和att-MFNN模型准确率分别下降1.0个百分点和1.1个百分点.与微博数据集相比较，Twitter数据集中单个事件关联的文本较多，不利于模型学习不同事件之间的共同特征，这也可能是在Twitter数据集中文本特征的准确度较低以及事件分类器对模型性能提升有限的原因所致.

本文中主要研究多模态虚假信息检测.通过观察发现，社交媒体中的虚假内容除了图文结合，还伴随着强烈的情感煽动.因此，提出了文本、情感、视觉特征基于注意力机制融合的虚假信息检测模型—att-MFNN.在微博和Twitter两大数据集进行对比实验和消融试验表明，att-MFNN的模型有效且优于现有的模型.未来的工作聚焦于更多特征的融合过程，例如传播特征、社交特征、评论的文本及情感特征如何融合才能使不同模态间信息互补，发挥多模态优势.

猜你喜欢 分类器特征提取模态 同步定位与建图特征提取和匹配算法研究导航定位学报(2022年5期)2022-10-13少样本条件下基于K-最近邻及多分类器协同的样本扩增分类现代电子技术(2022年15期)2022-07-28联合仿真在某车型LGF/PP尾门模态仿真上的应用汽车实用技术(2022年10期)2022-06-09学贯中西（6）:阐述ML分类器的工作流程电子产品世界(2022年4期)2022-04-21基于老年驾驶人的多模态集成式交互设计研究汽车工程师(2021年12期)2022-01-17基于朴素Bayes组合的简易集成分类器①计算机系统应用(2021年2期)2021-02-23模态可精确化方向的含糊性研究成长·读写月刊(2018年8期)2018-08-30基于MED—MOMEDA的风电齿轮箱复合故障特征提取研究电机与控制学报(2018年9期)2018-05-14基于AdaBoost算法的在线连续极限学习机集成算法软件导刊(2017年4期)2017-06-20基于曲率局部二值模式的深度图像手势特征提取计算机应用(2016年10期)2017-05-12