
与他人交谈最简单的方式就是面对面。如果你能看到一个人嘴唇和面部肌肉的运动,就能更容易地弄清楚他们在说什么。如果你在嘈杂的环境中试图交谈,这一点就显而易见了。这些视觉线索能让我们的‘大脑’知道如何最好地解读我们耳朵接收到的信号。

但是,当这种情况不可能发生时,比如你在打电话或听一段录音信息时,会发生什么呢?新的研究表明,如果你以前和某人说过话,你的大脑会利用他们面部的记忆来帮助解码他们不在你面前时正在说什么。基于过去的经验,它会模拟说话者的面部,以填补仅凭声音流 alone 缺失的任何信息。
这些结果与关于听觉的一个经典理论——“仅听觉模型”——相矛盾,该模型认为大脑仅使用从耳朵接收到的信号来解析口语。该模型此前也受到过反对,因为早期的研究发现,如果人们之前短暂地看到过某人说话,他们就能更好地通过声音识别出说话者。伦敦大学学院的 Katherina von Kriegstein 扩展了这些发现,表明先前的经验也有助于我们弄清楚说了什么,以及谁说的。
Face-offs
她训练了34名志愿者通过声音和姓名识别六名男性说话者。志愿者们看到了其中三名说话者说话的视频,而另外三名则没有面孔,只用他们职业的图画来代表。更进一步的挑战是,一半的志愿者患有 面容失认症 或脸盲症,这使他们无法识别面孔,但对他们识别物体的一般能力没有影响。
训练结束后,Kriegstein 将志愿者们置于磁共振成像 (MRI) 扫描仪中进行测试。他们听了这六名说话者中的一名录制的简短录音,并需要弄清楚是谁在说话(“说话者识别”)或他们在说什么(“语音识别”)。
Kriegstein 发现,无论是有面容失认症的还是对照组,在看到说话者面孔后,语音识别能力都会略微提高。这种提高很小——在1-2%之间——但考虑到该任务典型的成功率超过90%,这仍然是显著的。但在两组中,只有对照组在事先看过视频后,在识别说话者方面表现更好。他们准确率提高了5%,而面容失认症患者则完全没有受益。
面部模拟
使用fMRI扫描仪,Kriegstein 发现这些“面部优势”体现在大脑两个部分的神经活动强度上。第一个是上颞沟 (STS),它负责检测面部运动(以及其他生物运动),这有助于我们辨别面前说话者的话语。他们在STS的活动越强,志愿者在语音识别任务中从看到说话者视频中获得的好处就越多。
第二个区域是梭状回面孔区 (FFA),它专门负责识别面孔,并且在面容失认症患者中经常受损。与STS不同,它在说话者识别任务中扮演着更重要的角色,但只有对照组在FFA活动较强的情况下才能更准确地识别说话者。因此,即使没有面孔需要处理,两个参与面部处理的独立网络也会被激活。
Kriegstein 得出结论,人们在观看陌生人说话不到两分钟后就能捕捉到他们说话的关键视觉元素,并利用这些元素来存储新说话者的“面部特征”。大脑有效地利用这些特征来运行“说话面部”模拟,以更好地解读听到的任何声音。这也是为什么之前见过对方本人的人,在电话交谈时会更容易一些。
参考文献: 10.1073/pnas.0710826105
图片: 作者 Xenia













