九州大学的研究团队开发出了一种人工智能（AI）计算过程可视化的新方法。该方法有助于解决AI作出结论的依据不明的“黑箱问题”，这一问题的解决有望提高医疗领域的AI图像诊断工具的精度。
研究成果有助于解决AI的“黑箱问题”。（供图：九州大学）
对于模仿人类大脑的工作原理处理数据的“神经网络”AI技术，为了将AI整理数据的过程可视化，通常使用“t-SNE”或“UMAP”等工具。
然而，这些工具存在当信息量增加时，无法有效应对的问题。所以若需要准确掌握特定数据是如何被处理的，需要开发出更为精确的工具。
此次，研究团队新开发出了一种名为“k*分布”的方法，用于可视化神经网络是如何整理数据。比如，当图像中某些物体部分被遮挡时，AI可能无法正确辨别该物体。如果能够将AI在判断物体时的思维过程可视化，就有可能开发出即使部分遮挡仍能准确识别图像内容的AI系统。九州大学的Danilo Vasconcellos Vargas副教授强调了此次研究成果的意义并表示：“AI有时会因一些微小的差异，把公交车的图片误认为是鸵鸟。”
随着AI技术的快速发展，其应用范围正在不断扩大。在涉及医疗等关系到人类健康和生命的领域应用时，透明性尤为重要。为此，理解计算过程的手段成为必要条件。此次的研究成果已发表在神经网络领域的国际学术期刊《IEEE Transactions on Neural Networks and Learning Systems》上。
原文：《日本经济新闻》、2025/1/7
翻译：JST客观日本编辑部
【论文信息】
期刊：IEEE Transactions on Neural Networks and Learning Systems
论文：k* Distribution: Evaluating the Latent Space of Deep Neural Networks Using Local Neighborhood Analysis
DOI:10.1109/TNNLS.2024.3446509
