“创新日本走访”系列为大家介绍为实际应用于社会而进行研发的一线。本文为该系列的第二回，采访了熊本大学大学院先端科学研究部的上泷刚教授，他利用自主开发的图像匹配技术，为在2016年熊本地震中倒塌的熊本城石墙的修复工作提供了技术支持。
“森与水之都”遭严重破坏
恢复原状需10年以上
日本的熊本县熊本市东临阿苏外轮山，西眺有明海，市中心有发源于阿苏山根子岳的白川流过，被称作“森与水之都”。熊本市在自然环境的恩赐下得以发展。然而，2016年4月14日和16日，相继发生了里氏6.5级（震度为6弱）和7.3级（震度为6强）的两次大地震。这场被称为“2016年熊本地震”的震灾给熊本市带来了巨大破坏，包括住宅倒塌、泥石流以及避难生活压力导致的震灾相关死亡等。
其中，熊本城的倒塌给熊本市民带来了巨大的冲击。该城自1607年加藤清正建造以来，其天守阁（注：城堡中最高的城楼）一直深受人们的喜爱，但由于地震，天守阁的屋顶瓦片和鯱兽雕塑被损坏，环绕熊本城的石墙也约有30%出现石块坍塌，共计数万块。灾后，熊本市立即制定了熊本城修复基本计划，举全市之力开始修复。然而，石墙的修复面临巨大困难。出于保护重要文化遗产的考虑，必须将所有石块原位复原。要想通过目视来识别石块的形状、大小和颜色并进行修复，即使是经验丰富的石匠，也要花十年以上的时间。
图1 饭田丸5层哨楼的石墙倒塌情况。红线区域为地震导致的石块失落部分。
在此情况下，熊本大学研究生院先端科学研究部的上泷刚教授发挥了重要作用。在2016年5月震灾发生不久，熊本大学就成立了复兴支援项目，汇集各位教师的专业知识。当时，上泷教授正在研究图像处理技术，可以高速且准确地比较样本图像和现场拍摄的图像，判别它们是否相同。他回忆说：“之前这项技术是用来确定传送带上的零部件的，但是我想是否可还以将这项技术应用到石墙上，于是便开始开发石墙匹配系统。”
比较地震前后照片确定石块位置
“武者返回”结构带来巨大困难
上泷刚教授比较了震灾前后的石墙照片，尝试确定每块掉落的石材原来的位置，但在图像数据方面遇到了问题。震灾前的照片是为了记录维修情况而拍摄的低分辨率二维（2D）数据。上泷教授回顾当时的情况说道：“这些照片与我们新拍摄的高精度三维（3D）图片相比，图像质量差异很大，所以无法进行有效的比对。”
为此，他从熊本市熊本城调查研究中心获得了2006年维修熊本城北侧“百间石墙”的图纸以及石块掉落后的图像。同时，利用从不同位置拍摄的3D数据，使用迭代最近点（ICP）算法，构建了独自的图像匹配系统（图2）。在这个原型系统上验证了5块掉落的石材，全都成功找到了正确的位置。
图2 基于ICP算法的图像匹配
使用ICP算法，对由百间石墙的图纸（左上）经AutoCAD格式、DXF格式变化获得的坍塌前的轮廓数据，以及由坍塌后拍摄的石材照片获得的轮廓数据进行对比匹配。匹配时，计算两个点群的平移、旋转、比例，并以其中的最小误差作为评价指标（右图）。
在图像匹配过程中，最令人头疼的问题是熊本城独特的“武士返回”结构——石墙底部倾角偏小，越往上倾角越大的弯曲构造。这是熊本城作为易守难攻的名城的特点之一，却也成为了这次石墙匹配工作中遇到的一个巨大难题。上泷刚教授苦笑着说：“由于‘武者返回’部分的图像数据扭曲，导致与正确位置的石块不匹配。在与工作人员一起探寻原因的过程中，我才意识到之前没有考虑到这种弯曲结构的特点。”
此外，在散落的石块中，有些明显与坍塌前的照片不符。经过进一步检查，才发现这些是石墙内部不可见的“填充石”。在这次匹配中，还利用了坍塌前后石块的纬度和经度坐标。上泷教授表示他们尝试了一切可能用于匹配的方法：“由于石块很重，大部分石块都掉落在石墙的正下方。我们就通过这个位置来估计石块坍塌前的位置。”
2017年，上泷教授开发的技术入选与企业合作研究实现技术实用化的JST（日本科学技术振兴机构）A-STEP项目，由此开始与凸版印刷公司合作，致力于提高石墙匹配系统的精度。他们开发了一套新的系统，利用倒塌前石墙的数据创建一个数据库，并通过ICP算法自动匹配坍塌后的图像数据，从而确定石块的位置。使用这个系统匹配了以“奇迹石墙”而知名的哨塔“饭田丸五阶橹”南面的312块石材和东面的159块石材，达到了约90%的准确率（图3）。此外还找到了43块新的石材，以及17块候选石材。
图3 A-STEP项目中验证石墙匹配系统的结果
根据“饭田丸五阶橹”石墙坍塌后的照片（上图），利用石墙匹配系统进行匹配。 系统选出的候选石块排名越靠前，蓝色就越深。下图左为掉落前的石块与位置，通过人眼观察选出的石块并不正确（下图中），而系统则提供了正确的石块（下图右）。
A-STEP项目的成果不仅被用于熊本城的修复工程图纸，在学术领域也受到了高度评价，还在图像识别领域世界知名的科学杂志上发表了论文，但其发表之路并不平坦。上泷刚教授回忆当时说道：“由于这是为了尽早应用于修复工作而将现有技术结合起来的成果，因此杂志社认为缺乏新颖性。但我坚持不懈地多次解释这一成果的重要要点。最终，他们认可了该成果在实际修复中的应用效果。”
在项目的推进过程中，上泷刚教授深切感受到有许许多多熊本市民以熊本城为荣，对熊本城充满热爱，高度关注修复工作。他说：“对我个人来说，能够参与自己熟知的熊本城的修复是一次宝贵的经历。据说完全修复熊本城需要30年的时间，如果石墙匹配系统能为此做出贡献，我倍感荣幸。”熊本城的修复工作还在进行之中，上泷刚教授的挑战也仍在继续。（文：横井Manami，图：伊藤彰浩）
原文：JSTnews 2023年7月号
翻译：JST客观日本编辑部
