音乐经验对噪声下言语精细结构识别的影响
时间：2023-01-17 19:10:10 来源：柠檬阅读网 本文已影响 人 
吴迪 李葆明 胡旭君
音乐与言语在信息加工、认知和声学层面上有许多相似性，音乐训练能够提高大脑自上而下(top-down)和自下而上(bottom-up)的言语加工，改善噪声下的言语识别[1]。同时，音乐训练也能提高时域处理能力，即听觉系统对声信号频率的精细结构进行分析和处理的能力，这对语音识别尤其是噪声中的语音识别意义重大[2]。声音信号可以通过数学方法分解成缓慢随时间相位变化的波形幅值，即时间包络(temporal envelope，TE)以及瞬间变化的相位信息，即精细结构(temporal fine structure，TFS)，TFS在噪声环境下的语音识别中起主要作用[3]。感音神经性听力损失患者就是由于其听觉系统处理精细结构的能力出现障碍，导致噪声环境下言语识别表现不佳[4]。经过音乐训练具备音乐经验能否促进大脑对噪声下言语精细结构的分析和拾取，从而提高噪声下的言语识别率，值得探讨。
本研究通过对业余音乐爱好者的音乐经验多维方面的量化值，与对融合不同时间包络信噪比(signal-to-noise ratio in temporal envelope，SNR in TE)和不同精细结构信噪比(signal-to-noise ratio in temporal fine structure，SNR in TFS)声信号的言语识别率(speech recogniton socres，SRS)进行相关分析，从而探讨积极的音乐活动对提高噪声下言语识别的重要意义及相应的认知机制，以期为增强听力障碍患者的言语感知提供一种更有趣味性的、更加日常的康复训练方法。
1.1研究对象 以浙江中医药大学听力正常、日常生活中对音乐有不同程度兴趣的学生52例为研究对象,男25例，女27例;平均年龄21.12±0.12岁;500、1 000、2 000和4 000 Hz纯音气导听阈均小于20 dB HL，无听觉或言语方面的病史，没有受过专业的音乐训练。
1.2研究方法
1.2.1环境及设备 本研究使用MADSEN Astera纯音听力计, 在本底噪声小于30 dB A、符合国家标准的隔声室中进行测试。通过计算机声卡将言语材料输入听力计的Channel1中，受试者坐位于隔声室内，佩戴TDH-39气导耳机进行测试，播放声音强度为65 dB HL。
1.2.2噪声下的言语测试 刺激声为固定言语声，SNR in TE为-18 dB，选择SNR in TFS分别为-18、-12、-6、0、6 dB五种条件下(分别对应为条件1、2、3、4、5)时长相同的/fu/、/ji/、/ma/、/qi/、/wan/5种单音节词，其中/fu/、/ma/代表低频刺激，/wan/代表中频刺激，/ji/、/qi/代表高频刺激；
每个词有4个音调，由男女播音员各朗读1遍(声音刺激材料录音播放)。每个信噪比下共有40个单音节词(5个单音节×4种音调×2个播音员)，合计200个单音节词(5个单音节×4种音调×2个播音员×5种信噪比)，掩蔽声为语谱噪声，由白噪声经过言语谱滤波处理获得[5]。应用E-prime软件在电脑显示屏上呈现4个音调，让受试者在4个音调中选出所听到的正确音调。初始有50次的练习测试，让受试者熟练操作与材料；
正式测试时，每50试次有休息间隔，减少测试产生的疲劳效应。每个试次提供2次重听机会，在播放声音后如没听清，受试者可以自行点击重听按钮，重新聆听，选择音调后，方能进入下一个试次。测试结果在E-prime软件中自动保存，不反馈给受试者。
1.2.3金·史密斯音乐多维指数(Goldsmiths musical sophistication index, GOLD-MSI)量表测试 Gold-MSI量表[6]是一种音乐能力自陈量表，是用来测量音乐态度、行为和技能的心理测量工具，共有5个分量表、1个总量表，已经过汉化验证，有良好的信效度[7]。分量表1为“积极参与”(例如，“我持续关注新音乐”)；
分量表2为“音乐感知”(例如，“我可以比较和讨论2个表演或音乐作品之间的差异”)；
分量表3为“音乐训练”(例如，“我定期每天练习1种乐器”)；
分量表4为“歌唱能力”(例如，“听过一首新歌两三次后，我通常可以自己唱出来”)；
分量表5为“音乐情感”(例如，“我能够谈论一段音乐在我身上唤起的情感”)。总量表为“一般能力”，它是驱动所有维度音乐行为表现的一般因素(例如，“我花了很多空闲时间做与音乐有关的活动”)，代表受试者音乐方面的成熟度，也就是音乐的综合能力。参与者对每个陈述的回答均以7分制利克特量表进行评分(“完全不同意”计1分、“强烈反对”计2分、“不同意”计3分、“既不赞成也不反对”计4分、“同意”计5分、“非常同意”计6分、“完全同意”计7分，有些题目需要反向计分)。音乐态度与行为通过“积极参与”、“音乐训练”分量表测得；
音乐技能通过“音乐感知”、“歌唱能力”、“音乐情感”分量表测得；
通过这两种性质不同的项目，可以评估受试者在音乐方面的综合能力。量表材料来源于http://www.gold.ac.uk/music-mind-brain/gold-msi/，可免费下载。
1.3统计学方法 本研究采用SPSS 22.0统计软件进行数据分析。K-S检验表明，除条件1(SNR in TFS为-18 dB)情况下的言语识别率和Gold-MSI量表中“音乐训练”分量表得分外，其余测试条件下的数据均成正态分布。随后，将条件1和条件2 (SNR in TFS分别为-18、-12 dB)下的言语识别率进行符号秩和检验分析；
将噪声下言语测试结果按照信噪比、性别因素划分的正确率进行双因素方差分析；
将噪声下言语测试结果按照声调、性别因素划分的正确率进行双因素方差分析；
将Gold-MSI不同分量表得分与噪声下言语测试成绩进行Pearson相关分析。
2.1噪声下言语测试及GOLD-MSI量表测试结果分析 SNR in TE固定为-18 dB，在SNR in TFS分别为-18、-12、-6、0、6 dB时，测得的噪声下言语识别率平均值分别为0.266±0.060、0.276±0.060、0.330±0.086、0.461±0.131、0.625±0.126,随精细结构信噪比升高而升高；
在条件1、2的情况下，言语线索较微弱，受试者大多报告只听到了噪声，噪声下言语识别率接近机会概率(0.25)(图1)。一声调、二声调、三声调、四声调测得的噪声下言语识别率分别为0.510±0.156、0.510±0.135、0.210±0.089、0.328±0.108。
应用符号等级检验法(Wilcoxon signed-rank test)分析条件1和条件2情况下的言语识别率，发现两者差异无统计学意义(P=0.192>0.05)，表明这两组数据均为受试者在言语信号极其微弱条件下的语音识别情况，因此不分析-18 dB SNR in TFS条件下的言语识别率，仅对其余4种条件下的言语识别率进一步的分析。
信噪比×性别两因素方差分析结果表明，不同信噪比条件下，受试者的言语识别率差异有统计学意义(F(3,150)=202.3，P<0.05)，且随信噪比提升，言语识别率逐渐升高，事后多重比较(multiple comparision procedures)结果表明，每两组之间差异均有统计学意义(P<0.01)；
不同性别受试者的言语识别率差异无统计学意义(F(1,50)=0.303，P>0.05)；
信噪比与性别的交互作用不显著，差异无统计学意义(F(3,150)=0.762，P>0.05)(表1、2)。
表1 信噪比×性别两因素噪声下言语识别率方差分析
表2 SNR in TE为-18 dB时不同SNR in TFS下言语识别率事后多重比较
音调×性别两因素方差分析结果表明，不同音调条件下，受试者的言语识别率差异有统计学意义(F(3,150)=75.742，P<0.05)，且在四声调中，受试者最易听清一、二声调，最难辨别三声调，事后多重比较结果表明，除一声调与二声调外，其余两组之间差异均有统计学意义(P<0.01)；
不同性别受试者的言语识别率差异无统计学意义(F(1,50)=0.514，P>0.05)；
音调与性别的交互作用不显著(F(3,150)=0.671，P>0.05)(表3、4)。
表3 音调×性别两因素噪声下言语识别率方差分析
表4 噪声下不同音调言语识别率事后多重比较
在GOLD-MSI量表测试中，除“音乐训练”分量表外，其余4个分量表及1个总量表得分符合正态分布，没有出现天花板及地板效应，表明受试者具有分布较为广泛的音乐经验(图2)。由于实验受试者的纳入标准是未接受过专业音乐训练的大学生，所以“音乐训练”分量表得分仅作为该标准的验证，而没有纳入进一步分析处理。
2.2噪声下言语识别能力与音乐能力的相关分析 条件2(SNR in TFS为-12 dB)的情况下，由于语言线索微弱，受试者得分均较低，噪声下言语识别能力与音乐经验(GOLD-MSI音乐能力自陈量表中的“积极参与”、“音乐感知”、“歌唱能力”、“音乐情感”和“一般能力”)之间无显著相关性(图3、表5)。
表5 不同SNR in TFS下言语识别率与GOLD-MSI量表得分的相关性分析
条件3、4、5(SNR in TFS分别为-6、0、6 dB)的情况下，噪声下言语识别率与 “积极参与”、“音乐情感”和“一般能力”得分呈弱至中等强度的正相关(图3、表3)，且在条件4的情况下相关性最高(“积极参与”：r=0.49，P<0.01；
“音乐情感”：r=0.46，P<0.01；
“一般能力”：r=0.46，P<0.01)。
条件4、5(SNR in TFS分别为0和6 dB)的情况下，噪声下言语识别率与“音乐感知”和“歌唱能力”得分呈弱至中等强度的正相关(图3、表5)；
与“音乐感知”得分的正相关性在条件4的情况下最高(r=0.32，P<0.05)；
与“歌唱能力”得分的正相关性在条件5的情况下最高(r=0.47，P<0.01)。
但是，经过Bonferroni校正后，仅在条件4(SNR in TFS为0 dB)的情况下，噪声下言语识别率与“积极参与”、“音乐情感”和“一般能力”得分呈中等程度的正相关，相关系数分别为r=0.50、r=0.46、r=0.46(P<0.01)；
在条件5的情况下，噪声下言语识别率与“歌唱能力”呈中等程度的正相关(r=0.47，P<0.01)(图3、表5)。
本研究探究了大学生的噪声下言语识别能力与音乐经验之间的相关性。有报导大学生隐性听力损失者的心理声学测试及噪声下言语测试结果均未见异常[8]，基于此，本研究没有特别考虑隐性听力损失这种情况，结果表明，受试者噪声下言语识别能力与音乐经验之间显著正相关，提示积极的音乐参与和强力感知能够增强噪声下的言语识别能力。
3.1信噪比及音调对噪声下言语识别能力的影响 本研究结果表明，在SNR in TE为-18 dB、SNR in TFS为-12 dB时，言语识别率接近猜测率，表明在极低信噪比条件下，绝大多数受试者都不能识别语音，超过了听觉识别的客观阈限；
在SNR in TE为-18 dB、SNR in TFS为-6 dB或0 dB时，言语识别率在客观阈限与主观阈限之间，部分受试者可能产生了无觉察知觉；
在SNR in TE为-18 dB、SNR in TFS为6 dB时，大部分音调较易分辨，但成绩最好的受试者言语识别率依然未能达到100%，表明时间包络信息对噪声环境下的言语识别依然重要，或者说要达到更好的噪声下言语识别率，精细结构信息需要更高的信噪比。
从声调识别的角度来看，本研究结果显示一、二声调较易识别，三、四声调较难识别。究其原因可能有两方面：①三声调的时间包络中含有更多的音调辨别相关信息，而本研究设计削弱了包络信息，所以导致三声调识别率最低；
②声音材料处理时，平衡了所有音调的时长，导致本来可以依靠时长信息判断的三、四声调，识别难度加大，识别率较低。
3.2音乐经验对噪声下言语识别能力的影响 本研究结果表明，噪声下言语识别率与音乐“一般能力”量表得分之间具有显著的相关性，且在较低信噪比条件下，音乐经验丰富的受试者能获得噪声下聆听的最大优势。Whitton等[9]设计了一款音乐训练游戏，对老年受试者训练8周之后发现，其语音识别能力显著提高，且增强效应发生在 “可懂度悬崖”中，即在言语清晰度S型曲线的拐点附近，在这个范围内随语音信噪比升高，言语识别率急速增加。本研究结果显示在语音识别率为50%左右的范围内(在TFS为0 dB时，受试者的言语识别率为0.461)，言语识别与音乐经验的相关性最强，音乐经验给较低信噪比环境下的语言理解带来最大增益；
而在极低信噪比的条件下，受试者只能依靠猜测选择答案，因此音乐经验与能力很难发挥作用。
3.3音乐多维能力对噪声下言语识别的影响 GOLD-MSI量表中，“积极参与”分量表测试的是受试者对音乐活动的积极参与程度。本研究结果表明，对音乐有浓厚兴趣、积极参与音乐活动(例如，听音乐、参加演唱会)能够增强受试者对声音精细结构信息的拾取能力，从而在一定程度上提高他们噪声下的言语识别能力。有研究通过记录言语声听性脑干反应(speech-ABR)和噪声下言语词表测试(HINT)得分发现，长时间参加音乐社团的学生，其噪声下言语识别的神经响应潜伏期缩短了0.25 ms，多数学生的信噪比阈值提高了1 dB及以上[10，11]。本研究结果也表明，音乐业余爱好者能够通过日常的音乐参与提高噪声环境下的听觉能力。
“音乐感知”分量表测量的是音高(频率分辨)、节拍这类音乐基本元素的觉察和分辨能力；
“歌唱能力”分量表测量的是旋律的感知与记忆能力；
“音乐情感”分量表测量的是理解音乐中的模式和节奏线索的能力。本研究中，受试者的噪声下言语识别率与“音乐感知”、“歌唱能力”、“音乐情感”量表得分均呈正相关，这或许表明了某些具体音乐能力的增强，是音乐参与导致噪声下言语识别能力提高的潜在机制。
从认知加工的角度来说，音乐参与能促进大脑对噪声下言语信号自上而下及自下而上地加工，从而提高噪声下的言语识别能力。研究发现音高处理能力的提高可能是噪声下言语知觉变佳的机制之一[12]；
对节拍的敏感知觉使得受试者产生预期注意，从而能预测每个音节的开始，并将注意力集中在语音重要信息部分的时间节点上[13]；
Yoo等[14]发现，相比普通受试者，音乐家在选择性注意、工作记忆、噪声下言语测试任务上均有更好的表现；
也就是说大脑通过自上而下地分析和监控，增强对言语信息的音高处理、预期注意、工作记忆，从而提高噪声下的言语识别。Strait等[15]通过FFRs研究发现，相比普通受试者，音乐家对婴儿哭声中最能表达情感的声音片段反应增强；
Slater等[16]发现，打击乐手能更好跟踪音符序列节奏和觉察微小的时间偏差，所以有更好的噪声下言语感知；
对应的也就是大脑通过自下而上地表征与加工，增强对言语信息的情感表达、节奏跟踪，从而提高噪声下的言语识别能力。这两种认知加工在本研究中的具体任务表现为对噪声下言语精细结构的分析和拾取。但是，由于研究采用的是对音乐知觉与技能的自陈测试，并不能完全代表实际的能力高低，因此，音乐参与导致噪声下言语能力提高的具体机制还需要进一步研究。
综上所述，丰富的音乐经验有利于促进大脑对言语精细结构信号的分析和拾取，从而提高听觉能力；
在较低信噪比的情况下，改善效应最为明显；
积极的音乐参与可能更好的促进噪声下言语听觉能力；
该结果可为提高助听器戴者、人工耳蜗植入者及双模式助听者的噪声下语音识别、音调识别开拓新的思路。
