东京大学研究生院药学系研究科的山城皓太郎（博士生）和池谷裕二教授等人的研究团队发表研究成果称，通过记录大鼠（老鼠）大脑皮层的局部场电位，构建了一个基于神经活动的人工智能图像生成系统。该系统利用一种可以从噪声生成图像的生成式AI——“潜在扩散模型”，并将神经活动作为噪声成分使用。通过更改模型，图像类型还可以自由设置。这是全球首次将脑活动与人工智能相结合进行绘画的系统。相关研究成果已于9月7日发表在国际学术期刊《PLOS ONE》上。
图 根据老鼠大脑皮层的神经活动实时生成图像（供图：东京大学）
“Stable Diffusion”是Stability AI公司于2022年8月发布的一款开源模型，用户只需输入例如“骑马的宇航员”的文本信息即可输出相应图像。与此前公布的基于文字生成图像的服务模型不同，该模型开源，用户可以自由定制模型。
研究团队构建了一个框架，使系统能够直接将大鼠大脑皮层记录的局部场电位实时输入到Stable Diffusion模型中。
扩散模型通过学习如何去除图像中的噪声并恢复出原始图片，从而具备了从纯噪声中复原图像的能力。在训练过程中，扩散模型学习了一组预定图像的特征，通过向该模型输入高斯噪声等随机噪声，即可生成符合所学习的图像风格的全新图像。
在“Stable Diffusion”这类基于文本生成图像的模型中，通过将输入的文本作为从噪声恢复图像的参考依据，即可根据文本来生成图像。此类模型接受噪声和文字指令两种输入，并根据文字生成对应的图像。同时，如果故意不输入文字指令，模型也可以仅依靠噪声生成图像。
在此次开发的系统中，研究人员未输入任何文字指令，而是将记录的大鼠大脑皮层的局部场电位作为生成图像的噪声输入。局部场电位记录了神经元发出的信号，是一种波形的时间序列数据，但这种数据格式无法直接输入模型，因此需要进行压缩以符合模型的要求。
研究团队预计，如果能够将大鼠的内部状态反映在生成的图像中，未来就有可能实现根据大鼠的“情绪”生成图像。例如，当大鼠感兴趣时，可能生成明亮氛围的图像；而在大鼠感到困倦时，则可能生成宁静氛围的图像。
研究团队表示，此次开发的方法从原理上讲，不仅可以应用于神经活动，还可以应用于心脏、肠蠕动等多种生物信号，甚至可以扩展到风、海浪等自然现象的时序信号。
池谷教授表示：“将老鼠大脑活动应用于生成绘画的尝试，看似离奇，但这项研究不仅揭示了图像生成式AI的新的可能性，也大大拓展了艺术表现领域，是一项创新性尝试。展望未来，我们还考虑将此项技术应用于人类的生物信号。”
原文：《科学新闻》
翻译：JST客观日本编辑部
【论文信息】
期刊：PLOS ONE
论文：Diffusion model-based image generation from rat brain activity
DOI：10.1371/journal.pone.0309709
