客观日本

现代读脑术,AI将大脑听到或想象的声音传递给对方

2021年02月09日 信息通信

想说的话只要浮现在脑海中即可传递给对方——2030年,这种经由人工智能(AI)的对话和写作可能会成为日常。日本东京工业大学的吉村奈津江副教授和硕士生(研究当时)明石航等人开发出了将电极佩戴到头部测量脑电波,并再现听到或想到的声音的方法。在一个简单的实验中,AI以约80%的精度复原了受试者的声音。

title

分析听到或想到声音时的脑电波(图片由东工大的吉村奈津江副教授提供)

大脑会随着神经细胞的活动产生电和磁,脑血管的血流等也会随之发生变化。利用脑电波仪和磁共振成像装置(MRI)等捕捉这种变化,调查活跃的大脑区域等的研究正在进行中。

研究人员还积极推进了利用AI分析并“解读”复杂的大脑活动模式的研究。虽然尚处于研究阶段,但已经可以猜中人看到的物体,以及转换大脑的动手指令操作机械。

此次,研究团队开发出了被认为难以准确再现的听觉相关的解读技术。可以利用AI分析脑电波仪取得的数据,读取并复原听到的声音或想到的声音。

在实验中,研究团队向10位受试者播放了频率成分振幅相等的“白噪声”,让其从音源中辨认“a”和“i”两种元音。通过佩戴在头皮上的32个电极读取了听的过程中以及之后回忆时的大脑活动。

研究人员利用名为“卷积神经网络”的AI分析了脑电波。让另外19位参与者聆听根据AI的分析结果合成的声音发现,能以约80%的精度分辨出“a”或“i”。表示合成声音和原声音特征的波形也高度一致。

研究团队调查AI解读声音时利用的大脑区域发现,主要使用了名为“What Stream”的听觉相关区域。人脑中也是相同的区域比较活跃,有望利用该技术调查大脑的活跃部位。

关于AI解析时使用的大脑区域,在聆听声音和回忆声音时往往存在差异,此外还存在个体差异。研究团队今后还打算调查不同母语以及各种听觉障碍者之间的差异。

读取脑内声音的研究最近取得了很大的进步。美国加利福尼亚大学的研究人员开发出了通过脑电波再现其他人说的由多个英语单词组成的句子的技术,已于2019年发表相关论文。

这些研究主要采用在颅骨内侧的大脑皮质表面贴电极的方法。大多都是在需要贴电极治疗癫痫等疾病的患者的协助下开展的研究,很难以广泛的人群为对象调查整个大脑。

而此次研究团队在受试者的头皮上贴电极,测量了健康人的整个大脑的电信号。由于是隔着颅骨等传递神经细胞的信号,与以往的方法相比信号容易衰减。研究团队设法进行处理,减轻了这些影响。今后将继续进行改良,以再现单词和句子。

研究进行自然的沟通

如果能实时解读脑神经的活动,还可以将其转换为代替嘴或四肢操作机器人及屏幕上的物体的指令。这类技术被称为脑机接口(BCI)等。

20世纪下半期美国等推进了使用动物的基础研究,目前以医疗领域为中心,国内外仍在推进相关的技术开发。

吉村副教授等人还打算将该技术应用于因罹患肌萎缩性侧索硬化症(ALS)等而导致身体无法活动的“闭锁综合征”患者。预定近期与秋田大学共同启动以患者为对象的研究。

该研究已经取得进展,今后的课题是能否提高表达能力。例如,此次吉村副教授等人的研究成果可以再现的声音仅限于元音。AI如果能读取人类听声方式和说话方式的差异,还有望实现包含情感和方言等在内的自然沟通。

日本还在利用BCI开发针对脑卒中患者的走路康复训练法,以及减轻失去的肢体感觉到的“幻肢痛”的治疗方法等。要想加快研究速度,必须构建大脑活动记录的数据库,并以低成本开发高性能的脑电波仪等。

日文:Slevin大浜华、《日经产业新闻》、2021年1月29日
中文:JST客观日本编辑部