读心术通常会让人联想到水晶球占卜师,但旧金山的一群神经科学家和工程师正在开发一种无需水晶球即可实现读心术的设备。他们的研究旨在通过研究患有瘫痪或脑损伤的人尝试移动嘴部时的情况,来解读他们想要表达的意思。通过解码大脑中控制嘴唇、舌头、下颚和喉咙运动的区域的模式,这个机械读心器——一个语音假体——将通过计算机驱动的语音合成器赋予这些人发声的能力。
短期内,该设备将帮助那些大脑无法驱动口腔发声器官的患者。这包括成千上万名脑创伤、脊髓损伤、中风或肌萎缩侧索硬化症患者,他们意识清醒但无法表达自己的想法。(目前大多数人依赖需要物理输入的设备。)该团队在《自然》杂志上发表了一篇论文,以前所未有的精度绘制了相关大脑活动的图谱,并已开发出该设备的通用设计。在修复bug并获得资金后,研究人员预计将在两到三年内开始人体试验。
从长远来看,这项假体技术可以推动更广泛的脑机接口领域的发展。加州大学旧金山分校的神经外科医生 Edward Chang 表示,该设备的关键不在于其物理机制,而在于其背后的算法。正是这些算法赋予了设备解读大脑复杂“语言”的能力,这种语言通过大量神经元的电信号来表达。
学习“读懂”大脑
Chang 是加州大学伯克利分校和加州大学旧金山分校合作的神经工程与假体研究中心的联合主任,他既是脑外科医生,也是神经科学家,熟悉该领域深厚的计算前沿。他说,他的研究环境是“世界上最 privilegié 的研究环境:人类大脑的内部。”
这个环境很复杂,但语音假体实际上并没有您想象的那么棘手。“控制和协调一个人说话时的嘴唇、舌头、下颚和喉咙的运动皮层区域产生的信号,本来就是为了控制外部设备:嘴部,”加州大学伯克利分校语言学教授 Keith Johnson 说,他是 Chang 去年在《自然》杂志发表的论文的合著者,该论文首次描述了控制言语的神经机制。“让相同的信号控制一个不同的物理设备,即语音假体,比试图弄清楚一个人想表达什么想法并试图赋予这种想法声音,是一个更容易解决的问题,”Johnson 说。
读取控制嘴部运动的大脑指令可能比读取认知内容要简单,但这绝非易事。“就运动活动而言,人类的言语是最复杂的,”Chang 说。即使是一个简单的短语,对于说话者的舌头、嘴唇、下颚和喉咙来说,也相当于一次奥林匹克体操表演。正如体操运动员的扭转、翻腾、跳跃和落地都需要精确的肌肉控制和完美的时机,舌头卷曲或喉咙发声前的延迟哪怕只有零点几秒,也可能造成说出“snappy”(尖锐的)和“crappy”(糟糕的)之间的关键区别。
除了首次绘制出控制这些运动的大脑区域的精确位置外,Chang 和他的同事还记录并分析了这些区域的神经元活动模式。通过编目这些动态的“高阶”模式,显示每组神经元何时以及以何种强度开启,Chang 的实验室学会了直接从大脑读取意图的言语。
大脑内部
“言语是最能定义人类行为的特征之一,”Chang 说,“但直到现在,我们还没有能力研究人脑是如何协调它的。”功能性核磁共振成像和其他非侵入性成像技术虽然揭示了大脑其他部位和功能的大量信息,但对于测量负责言语的确切神经活动来说,其精度不足。动物研究也无济于事;我们是唯一真正会说话的物种。为了弄清楚人脑如何协调言语,研究人员必须在人身上进行研究。
作为一名专攻癫痫的神经外科医生,Chang 已经能够接触到活体大脑。为了研究癫痫发作的性质以及手术切除导致癫痫发作的大脑区域的最佳路径,Chang 会移除患者的一大部分头骨,露出下面的大脑。然后,他将一层薄而密的敏感电极网格直接放置在大脑裸露的表面上;这些传感器可以读取其下方神经元柱激活行为的变化。
这些电极网格会保留长达两周,在此期间患者会经历几次癫痫发作,之后电极网格会被移除。但在 Chang 的患者等待癫痫发作期间,在安装了电极网格并已开始收集数据的过程中,许多患者自愿让 Chang 收集更多关于大脑功能的信息,本研究中关于言语和语言的研究就是如此。
为了绘制言语中枢的图谱,Chang 和他的同事记录了约 12 名患者在发出各种声音(如“bah”、“dee”和“goo”)时的电活动。他们分析了数据,以确定腹侧感觉运动皮层(vSMC)中到底发生了什么——该大脑区域的布局方式,以及神经元激活的顺序。
随后,Chang 实验室的博士后研究员 Kristofer Bouchard 应用了状态空间分析,这是一种用于理解 vSMC 这种高维复杂系统结构的数学技术。该分析使研究人员能够识别和分离出当一个人说话时,该大脑区域中发生的特定神经活动模式,从而有效地使他们能够解码大脑的信号。换句话说,他们现在可以通过机械化的读心术将思想转化为语言。
很快,一个永久嵌入的电极网格将识别这些模式,并同时将其发送到一个外部处理器,该处理器会将大脑信号转换为合成的语言。

Alison Mackey/Discover;Brain and computer images reprinted with permission from Macmillan Publishers Ltd: Nature Vol 495 Pg 327-332 Copyright 2013
自言自语
帮助失声患者表达自己的想法已经是一个值得称赞的目标,但这个设备可以做得更多。这项技术有一天可能会让健康的人用意念控制电子设备。
加州大学圣地亚哥分校的神经科学家 Bradley Voytek 认为,这类言语读取脑机接口(BMI)可以作为各种设备的优秀控制界面,不仅仅是语音合成器,因为言语非常精确。我们对我们说的话(甚至是我们对自己说的话)的控制能力,远比对我们思考内容的控制能力要强。
前景诱人。您只需在脑海中默念“手机控制:关闭铃声”,即可在影院中静默关闭手机的铃声。或者在泳池中,无需中断划水动作,即可撰写并发送电子邮件:“邮件:Toni,我还在游泳,晚餐会迟到15分钟。发送。邮件关闭。” Voytek 的梦想更大:“将这项技术与谷歌自动驾驶汽车配对,您就可以用意念让汽车来接您。可以说是云端的电信和遥控术。”
问题来了。即使 Chang 的语音假体 1.0 版本能在两三年内投入使用,植入该设备也需要进行大手术,这会让即使是坚定的早期采用者也望而却步。要让商业化的言语读取 BMI 主流化,需要发生以下两种情况之一:脑植入手术必须变得更安全、更便宜、更常规,或者无创传感设备必须变得更强大。
但为大众触发一波新颖便捷的小工具浪潮将仅仅是锦上添花。这项技术已经有望为那些失去声音的患者带来改变。这一点,无需读心术也能看出来。
[本文最初以“你脑子里在想什么?”为题刊登在印刷版上]















