30岁时，安患上了脑干中风，导致她严重瘫痪. 她失去了对全身肌肉的控制，甚至无法呼吸. 它是在一天下午突然出现的，原因至今仍是个谜.
在接下来的五年里，安每晚上床睡觉时都担心自己会在睡梦中死去. 经过多年的物理治疗，她才能够移动面部肌肉，笑或哭. 然而，能够让她说话的肌肉仍然一动不动.
“一夜之间, 我的一切都被夺走了,安写道, 使用一种设备，使她能够在电脑屏幕上通过头部的微小运动来缓慢地打字. “我有一个13个月大的女儿，一个8岁的继子，26个月的婚姻.”
今天, 安正在帮助正规欧洲杯买球网站旧金山分校和正规欧洲杯买球网站伯克利分校的研究人员开发新的脑机技术，有朝一日，这种技术可以让像她这样的人通过一个类似人类的数字化身更自然地交流.
这是第一次从大脑信号中合成语言或面部表情. 该系统还能以每分钟近80个单词的速度将这些信号解码成文本, 与她目前的通讯设备每分钟14个单词的速度相比，这是一个巨大的进步.
爱德华常, M.D., 正规欧洲杯买球网站旧金山分校神经外科主席, 谁在研究这项技术, 被称为脑机接口, 或BCI, 十多年了, 希望这一最新研究取得突破, 8月出版. 23, 2023, in 自然在不久的将来，美国食品和药物管理局(fda)将批准一种能够从大脑信号中发出语音的系统.
“我们的目标是恢复一个完整的, 具身沟通方式, 我们与他人交谈的最自然的方式是什么,张说, 谁是…的成员 正规欧洲杯买球网站旧金山分校威尔神经科学研究所 以及珍妮·罗伯逊杰出教授. “这些进步使我们离为患者提供真正的解决方案更近了一步.”
解码语音信号
安在2005年中风之前是加拿大的一名高中数学老师. In 2020, 她在一篇论文中描述了她此后的生活, 费力地一封接一封地打字, 在心理学课上.
“闭锁综合症，简称LIS，就像它的名字一样，”她写道. “你有完全的认知能力, 你有充分的感觉, 五种感官都起作用, 但你被锁在一个没有肌肉活动的身体里. 我又学会了自己呼吸, 现在我的脖子可以完全活动了, 我又笑了, 我可以哭，可以读书，多年来，我的微笑又回来了, 我眨眨眼，说几句话.”
当她康复的时候, 她意识到她可以用自己的经历来帮助别人, 她现在渴望成为一名物理康复机构的顾问.
安，这项研究的参与者.
“我希望那里的病人看到我，知道他们的生命还没有结束，”她写道. “我想告诉他们，残疾不需要阻止我们，也不需要放慢我们的脚步.”
2021年，在阅读了一个名叫潘乔的瘫痪男子的故事后，她了解了张的研究, 谁帮助了这个团队 当他试图说话时，把他的大脑信号翻译成文字. 多年前，他还经历过脑干中风, 目前还不清楚他的大脑是否还能发出说话的信号. It’s not enough just to think about something; a person has to actually attempt to speak for the system to pick it up. 潘乔成为第一个证明有可能将言语大脑信号解码成完整文字的瘫痪患者.
张德昌，M.D.
和安, Chang的团队尝试了更有野心的东西:将她的大脑信号解码成丰富的语言, 以及在谈话中使一个人的脸活跃起来的动作.
要做到这一点, 研究小组在她的大脑表面植入了一个由253个电极组成的薄如纸的矩形，覆盖了他们之前发现的对语言至关重要的区域. 电极截获了大脑的信号, 如果不是因为中风, 会变成安嘴唇上的肌肉, 舌头, 颌骨和喉部, 还有她的脸. 一根电缆插入安头上的一个端口，将电极连接到一组计算机上.
好几个星期, 安与团队一起训练系统的人工智能算法，以识别她独特的大脑信号. 这包括从1开始重复不同的短语,一遍又一遍地重复24个单词的会话词汇，直到计算机识别出与所有基本语音相关的大脑活动模式.
“看到她从, “我们要试着这么做,然后看到它发生得比任何人想象的都快,安的丈夫说, 比尔, 和她一起从加拿大来陪护她的人. “他们似乎在互相推动，看看自己能走多远.”
而不是训练人工智能去识别整个单词, 研究人员创建了一个系统，可以从被称为音素的较小组成部分解码单词. 这些是构成口语单词的语音亚单位，就像字母构成书面单词一样. 例如，“Hello”包含四个音素:“HH”、“AH”、“L”和“OW”.”
使用这种方法，计算机只需要学习39个音素就可以破译任何英语单词. 这不仅提高了系统的准确性，而且使其速度提高了三倍.
“精度, 速度和词汇量至关重要,肖恩·梅茨格说, 谁和亚历克斯·席尔瓦一起开发了文本解码器, 他们都是正规欧洲杯买球网站伯克利分校和正规欧洲杯买球网站旧金山分校联合生物工程项目的研究生. “这给了安潜力, 在时间, 几乎和我们的交流速度一样快, 进行更自然、更正常的对话.”
加上一张脸和一个声音
合成安的演讲, 该团队设计了一种合成语音的算法, 他们使用了安在婚礼上的讲话录音，使其听起来像她受伤前的声音.
“当我的大脑听到我合成的声音时，感觉很有趣，”她在回答一个问题时写道. “就像听到一位老朋友的声音.”
她期待着有一天，她的女儿-谁只知道人情味, 她现在的通讯设备也能听到英国口音的声音.
“我受伤的时候，我女儿才1岁, 就像她不认识安一样，她不知道安的声音是什么样的.”
该团队在软件的帮助下为安的化身制作了动画，软件可以模拟面部肌肉的运动, 由语音图形学开发, 这家公司制作人工智能驱动的面部动画. 研究人员创建了定制的机器学习流程，使该公司的软件能够与安试图说话时大脑发出的信号相匹配，并将其转换为她化身脸上的动作, 使下巴张开和闭合, 嘴唇突出和收缩，舌头上下摆动, 以及表示幸福的面部动作, 悲伤与惊喜.
“我们正在弥补因中风而切断的大脑和声道之间的连接,凯洛·利特尔约翰说, 与Chang和Gopala Anumanchipalli一起工作的研究生, Ph.D.他是正规欧洲杯买球网站伯克利分校电子工程和计算机科学教授. “当安第一次使用这个系统来说话和移动化身的脸时, 我知道这将会产生真正的影响.”
该团队下一步的重要工作是创建一个无线版本，不需要安物理连接到BCI.
“用这项技术让像安这样的人能够自由地控制自己的电脑和手机，将对他们的独立性和社交互动产生深远的影响。,共同第一作者说 大卫·摩西, Ph.D.他是神经外科兼职教授.
对安来说，帮助开发这项技术改变了她的生活.
“当我在康复医院的时候, 语言治疗师不知道该拿我怎么办,她在回答一个问题时写道. “成为这项研究的一部分给了我一种使命感, 我觉得我在为社会做贡献. 感觉我又有工作了. It’s amazing I have lived this long; this study has allowed me to really live while I’m still alive!”
