日本的电气通信大学和东京电机大学3月11日发表研究成果称，成功研发出一种能够让操作者“附身”的虚拟化身机器人（android avatar）。通过远程操作虚拟化身机器人的头部单元及其操作界面，可再现操作者的视线和说话时嘴部动作及其表情，通过虚拟化身实现了如同对方就在现场一样的远程交流。这种再现操作者表情的同时给操作者带来高度临场感的系统，至今还未有过先例。
这款人形机器人是由电气通信大学研究生院信息理工学研究科机械智能系统学专业的仲田佳弘副教授和该专业硕士1年级学生新川馨子，东京电机大学未来科学部机器人与机电一体化学科的中岛瑞助教（开发当时为电气通信大学同专业的特任助教）组成的研究团队共同开发的。
图1：（a）（b）（c）为此次开发的虚拟化身人形机器人“Yui”：（a）为Yui头部整体图像以及摄像头、麦克风等位置；（b）为再现喜怒哀乐等表情；（c）为谈话演示中，Yui再现操作者的微笑表情。（供图：电子通信大学）
研究团队开发了虚拟化身人形机器人“Yui”的头部单元，包括颈部的活动在内，头部的28个部位可以变形和活动。此外，还开发了能够以可测量佩戴者表情的VR头戴设备，将操作者的表情再现到虚拟化身上，同时将通过虚拟化身上的多个摄像头和麦克风采集的影音呈现给操作者，让操作者获得高度临场感。
研究人员通过简单的实验和演示验证了所开发的虚拟化身和界面的有效性。相关研究成果已发表在IEEE（美国电气和电子工程师协会）的开放获取期刊《IEEE Access》上。
“Yui”通过其丰富的头部变形和活动能够做出人一样喜怒哀乐的表情。此外，它的双眼、双耳内置了作为感知器的立体摄像机和立体麦克风，可以采集“Yui”看到的影像和听到的声音。
这些包含视差的影像和包含空间音效的声音通过VR头戴设备呈现给操作者。VR头戴设备配备了用于视频显示的显示屏和用于声音播放的扬声器，让操作者在立体视频之外还能体验立体音效。这样，即使实际看不见，也可以通过声音信息知道呼唤声来自哪里。
而VR头戴设备则配备了可以采集操作者头部的旋转以及眼睛、眉毛、脸颊等面部部位变化的传感器，以及用于采集话语的麦克风。该设备依据操作者头部运动的信息使“Yui”活动，从而实现操作者和“Yui”的表情同步。
麦克风采集的声音是通过嵌入“Yui”胸部的扬声器播放的，由此操作者与虚拟化身对面的人可以进行交流。
该研究成果未来有望应用于远程的高满足感交流，以及需要细致关怀和信任的诊疗、面谈等场景。
据悉，通过根据操作者的特性和情景改变虚拟化身的情感传递特性，未来甚至可能实现超越面对面交流的交流。
原文：《科学新闻》
翻译：JST客观日本编辑部
【论文信息】
杂志：IEEE Access
论文：Development of the Lifelike Head Unit for a Humanoid Cybernetic Avatar 'Yui' and Its Operation Interface
DOI：10.1109/ACCESS.2024.3365723
