客观日本

产学合作开发山难者搜索系统,无人机与AI相结合发现遇难者发送定位信息

2023年07月03日 抗灾防灾

日本东北大学Tough Cyber Physical AI研究中心冈田佳都特任副教授、小岛匠太郎特任助教、Ranulfo Bezerra特任助教等人组成的研究团队与日本东北无人机公司(董事长桐生俊辅)于5月24日宣布,合作开发出了结合无人机自动飞行和人体识别AI的“山难者搜索系统”。无人机配备热成像摄像头、AI系统和定位系统,可实现空中搜索活动的全自动化。产品争取在2023年内完成。该系统有望在保护搜救人员和山难者双方的同时进行搜救。

title

在北海道上士幌町试飞无人机(供图:东北大学)

▼山难者增多

据日本警视厅统计,日本山难事件有逐年增加的倾向,2012年为1988起,2021年增加到2635起。一旦发生山难事件,警察和消防队会率先展开搜救行动。有时也有民间救助组织加入,进行人数众多的搜救行动,搜救过程充满了危险。此外,山难者及其家属有时还会被要求支付搜救费用。

对此,研究团队从2022年着手开发使用无人机的遇难者搜索系统。日本的东北无人机公司负责开发机体和通信,东北大学负责开发遇难者检测技术和定位技术。

此次所开发的系统,首先由无人机在事先设定的区域内自动航行,然后通过内置的热成像相机的影像自动捕捉疑似有人的地方,并发送其位置坐标。无人机从开机到数据传输的整个过程实现了全自动化。

▼红外线影像摄影

无人机起飞后用红外线摄像头拍摄红外线影像,由AI识别出比周围环境温度高(红外线影像中显示为白色)、具有人体特征的形状。之后将视频分割成图像,计算出AI识别物体的相关位置信息,在着陆后或通过搭载的可以在空中使用的SIM卡的终端发送定位信息。由于发送的数据是已通过AI识别的部分,所以可以很容易地确认信息。

为了从影像中检测出人,系统采用了物体检测模型YOLOv7。通过实施自我调谐,从红外线图像中检测出像人一样的物体后,用长方形和文本显示画面。

▼参加比赛

为了验证系统,研究团队参加了机器人山岳遇险救助比赛“日本创新挑战2022(JIC2022)”。在比赛中,该系统在夜间对实际模拟人类体温的模拟受灾者(人体模型)进行了搜索,但结果未能在规定时间内完成任务。另一方面,从自动航行返回的无人机的数据中成功确认到了人体模型,且定位误差很小。

此外,2023年1月在福岛机器人试验场,研究团队在针对JIC2022中存在的问题进行的改善实验中,确定了AI的评价指标,符合率达到了90.5%,但再现率才50.9%,说明系统还有待改善的地方。再现率是指在需检测的物体中正确检测出目标物体的概率,是考虑到误判,抑制漏检情况发生的有力指标。另外,符合率是指在系统检测出的物体中,正确检测出目标物体的概率,是减少误测等情况出现的有力指标。

今后,研究团队在寻求赞助商的同时,还将继续开展研究,以进一步提高系统性能。

冈田特任副教授表示:“今后,我们会努力提高基于AI识别的再现率,为此,将进行必要的AI追加学习。例如,遇难者体温下降的情况、身体的一部分被树木等物体遮挡的情况等,我们将考虑追加此前训练数据中没有的数据来进行AI学习。由此可能可以检测出与训练数据相似的广泛对象。”

原文:《科学新闻》
翻译:JST客观日本编辑部