基于物理法则的神经网络(PINNs)是一种让神经网络学习表征物理法则的偏微分方程方法,近年来颇受关注。
日本长冈技术科学大学技学研究院机械系的横田和哉助教、电气电子信息系的原川良介副教授、机械系的马场将亮副教授、电气电子信息系的岩桥政宏教授组成的研究团队,利用PINNs开发出了一种结合声带振动与声道共鸣的新型语音合成方法。相关研究成果已发表在《IEEE Transactions on Audio, Speech and Language Processing》上。
图1 通过让神经网络学习人类发声的物理模型,实现语音合成与基于语音的声带状态推测(供图:长冈技术科学大学助教横田和哉)
研究团队引入了可让网络学习声带闭合时复杂运动的机制、基于神经网络学习从肺部压力推算音高低的方法,以及处理声带与声道相互作用所需的网络结构等。
为验证合理性,研究团队开展了正分析与逆分析。正分析中,研究团队成功合成元音“a”和“u”的语音波形,其合理性经与传统数值模拟方法对比得到确认。通过学习声带与声道物理法则的PINNs实现了语音合成,这一成果还是首次报告。逆分析结果显示,在声道形状与声带参数已知的条件下,可由模拟合成的语音波形推算声带运动、声门气流、声门下压等。
本研究提出的是一种结合观测数据与物理法则、用于理解人类语音如何生成的新型语音合成方法。未来,通过从语音中推算声带、声道等发声器官的状态,该方法有望作为一种新型语音合成与分析技术,在发声机制阐明、语音障碍解析、发声训练辅助等领域得到发展。
原文:《科学新闻》
翻译:JST客观日本编辑部
【论文信息】
期刊:IEEE Transactions on Audio, Speech and Language Processing
论文:Physics-Informed Neural Networks for Speech Production
DOI:doi.org/10.1109/TASLPRO.2026.3700036open_in_new

