无需手握方向盘和脚踏制动器，利用声音和视线就能自由操控的自动驾驶汽车问世了。
名古屋大学未来社会创造机构的武田一哉教授等人推进的产学合作项目开发出了兼具高级驾驶技术和人机交流能力的自动驾驶系统，为实现人与智能机器和谐共生的社会，项目成员正在向构筑平台发起挑战。
武田一哉 名古屋大学未来社会创造机构 教授
2009～2015年 CREST研究代表。
2016年开始担任“人机协作技术联盟”（OPERA）的领域总负责人。
用深度理解人类的技术，实现智能机器与人协作的社会
利用自动驾驶汽车享受驾车乐趣的未来社会就在眼前。识别行人和道路标识等周围环境的摄像头和雷达、准确掌握自车位置的全球卫星定位系统（GPS）和三维地图等以实现全自动驾驶为目标的技术，其精度正在飞跃性提高。
不过，能够让普通用户轻松操作自动驾驶汽车的人机界面却没有被充分研究。名古屋大学未来社会创造机构的武田一哉教授强调说：“要想让自动驾驶汽车真正渗透到人类社会，人与自动驾驶汽车之间的交流非常重要”。
自动驾驶汽车按照人的指示，沿着设定好的路线驶向目的地。但在此过程中，人与车没有交流。人与车处于彼此被分割的状态。武田教授表示：“就像出租车司机通过语言和手势与乘客交流那样，我们想制造出一台能够理解人类的心情和行为的自动驾驶汽车”。
这个想法并不仅限于自动驾驶汽车。通过配备人工智能（AI）和传感器，机器变得越来越聪明，人类通过劳动获得的报酬和幸福的内涵也在不断变化。智能机器被期待弥补少子老龄化导致的劳动力不足，同时也让人类产生工作机会被智能机器夺走的危机感，有时甚至会被认为智能机器与人类处于对立关系。
开创人类与智能机器和谐共生的新关系，正是武田教授担任领域总负责人的“人机协作技术联盟：Human machine harmonization system consortium（HMHS CONSORTIUM）”（OPERA基金项目*）的目标。所谓“协作”包含着让智能机器加深对人类的理解并提供合适的支援，与人类协作之意。武田希望“开发出一种能够让智能机器与人类交流沟通的技术，实现人与机器相互协调、共同劳动的社会”。
* OPERA全称为“产学共创平台共同研究推进项目”，是科学技术振兴机构（JST）的科研基金项目。在此项目获得基金资助的联盟(consortium)，将有为期5年，每年最大1000万元的研究经费补助。
目标是开发Harmoware，集结了6家研究机构和29家企业
这个由名古屋大学作为主管单位的“人机协作技术联盟”希望能开发出一款让智能机器与人类协作的基础软件“Harmoware”（图1）。
图1：OPERA将在以往的 “环境传感”、“环境理解”、“车辆控制”等自动化研究课题的基础上，增加“人类传感”（早稻田大学）、“标准数据库”（名古屋大学）、“服务互动”（名古屋大学、产业技术综合研究所）以及“行动理解”（名古屋大学、九州工业大学）等开发领域，构筑新的协作服务平台。Harmoware安全方面的研究由东京工业大学承担。
Harmoware的起始点是自动驾驶的基础软件“Autoware”。该软件是由武田教授领导的CREST研发小组成员、当时的名古屋大学信息科学研究生院的加藤真平副教授为核心开发出来的。只需将该软件安装到车载专用计算机上即可实现自动驾驶。Autoware配备了根据高精度三维地图识别周围环境和自车位置、规划准确的行车路线以及按照交通规则进行的驾驶控制等功能。武田介绍说：“在Autoware的自动化功能的基础上，追加了理解人类的功能后，形成的就是Harmoware”。通过开发能够捕捉人顺应环境而做出的种种变化的技术、构筑评测人状态时需要参考的数据库，使Harmoware发展成为能够活用智能机器的服务平台。
人机协作技术联盟的成员除了早稻田大学、东京工业大学、产业技术综合研究所、德岛大学及九州工业大学外，还包括大学多领域初创企业在内的29家企业。联盟成员将在共享专业知识及擅长技术的开放式创新体制下，开发可在Harmoware上运行的应用程序，也就是开发研制让智能机器理解人类的产品及服务。
武田表示“虽然开发的各类应用的性能指标属于各企业的机密，但通过应用获得的数据以及与Harmoware连接的技术则需要公开给联盟成员。凡是加入联盟的大学和企业都可以利用这些技术，以更低的成本开发新的产品和服务”。另外联盟还提供试制与评测的共用实验设施，支援联盟成员在短时间内开发新产品。
为促进创新，联盟还将积极活用和培养在读博士生。OPERA有效地推进了按照文部科学省和经济产业省制定的“强化产学官合作研究指南”进行的大学改革。名古屋大学建立了可以雇佣大学在读博士生作为全勤研究员的制度——如果学生的研究题目与企业的合作研究内容一致的话，过去被看作是学业研究的部分也可以支付酬劳，这可以说是一项具有开创意义的制度。
武田表示：“以前认为学生的本分就是学习，在与企业的合作研究中，学生只是被定位为实验的辅助者”。而在大学与产业界共同培养人才的新制度当中，学生直接参与产学合作项目，甚至还有可能激发学生创办企业的意愿。武田说：“我从心底里相信，OPERA能够扩大基础研究和人才培养的产学合作，是一个加速推进开放式创新的优秀系统”。
理想是像坐出租车一样，可以同自动驾驶汽车对话
Harmoware的代表性成果为多模态界面自动驾驶汽车（图2）。多模态是指有多种输入方式（模态）。2018年10月，名古屋大学与德岛大学和爱信精机发布了能通过声音、视线和手势操作的自动驾驶汽车，并在名古屋大学校内进行自动驾驶的公开验证实验（图3）。
图2：配备多模态界面自动驾驶系统的车辆。自动驾驶汽车利用摄像头和各种传感器获取行人及道路标识等周围环境信息，并与高精度三维地图相对照确定自车位置进行全自动驾驶。车顶安装的是雷达装置，通过发射红外线测量与周围物体之间的距离及物体的形状。
图3：座位上安装了摄像头和麦克风，通过影像识别车内人员是否在讲话（左上）。开发了除讲话声音外，还会检测唇部动作和视线方向等，结合多种输入方式高精度识别驾驶员意图的技术。各种颜色的点是用来识别面部各部分的参照点，黄色对应嘴部，淡蓝色对应眼部（右上）。针对“那是什么？”的指示语等，会根据视线的方向（粉色线）和地图信息判断具体的位置（左下）。车辆根据传感器收集的信息，利用Autoware进行自动驾驶（右下）。
自动驾驶汽车的座位上安装了摄像头和麦克风，输入方式为声音时，利用语音识别功能处理；输入方式为手势时，利用深度传感器处理；输入方式为视线时利用图像处理（图4）等不同的技术。人进入汽车后，车辆会主动询问：“是否仍像每天一样前往National Innovation Complex？”。人摇头的话，车辆会识别为需要变更目的地。“今天去‘野依纪念馆’”，“好的。是要去‘野依纪念学术交流馆’，对吧”——即便人使用简称或俗称，车辆也能推测出目的地。向车辆发出“右转”、“减速”等指示的话，车辆会按照指示改变方向和速度。
图4：多模态界面自动驾驶汽车的原理图。多模态理解部分会整合来自各类传感器的信息，推测人的状态和意图。对话控制部分根据推测的意图，启动自动驾驶系统和车载导航仪。通过这两种机制，成功实现了车辆、环境与人的协调。
另外，还可以同时处理多种输入。人在行驶过程中发出“在这里停下来”、在那里转弯”等指示语后，车辆会根据人的手势和视线方向判断具体指的是哪里。如果询问“那是什么”，车辆也会根据视线的方向和地图信息回答出建筑物的名称，比如回答“那是图书馆”等。
以前虽然确立了通过自动驾驶前往目的地的技术，但在行驶途中指定停车地点或变更路线的系统都存在了许多需要解决的问题。最理想的方式是像坐出租车那样，通过对话实现操控自动驾驶汽车。武田介绍说：“通过配备捕捉音声、视线和手势等人类状态的传感器，车辆能回答车内人员提出的问题及变更路线，实现了可以人机交流的自动驾驶系统。这就是Harmoware的成功实例之一”。
使餐饮和物流数据化，提高作业效率和服务
自然且便于使用的多模态界面是所有智能机器都需要的功能。另外，根据对环境的“认知”，“判断”前进的方向和速度，“控制”方向盘和制动器的自动驾驶功能与机器人也是相通的。目前，在工厂以外的场所工作的服务机器人越来越受人期待，而在服务领域，机器人与人的交流比传统制造业来得更加重要。
人机协作技术联盟正在日本劳动力严重短缺的餐饮及物流现场，对被希望追加到Harmoware中的应用进行验证实验。武田说：“复数个人和物体以多种方式移动的现场很难手册化，我们正在开发以Harmoware为平台，把人与智能机器在限定的空间内的协调作业数据化的技术”。
日本Ganko Food Service公司（大阪府大阪市）在该公司经营的日本料理餐厅导入了传菜用无人运送机器人（图5左）。虽然从厨房到包厢前的走廊经常有员工和顾客经过，但传菜机器人考虑到了安全方面的因素，当传感器检测到有人和障碍物接近时会自动停下来，避免碰撞。
图5：传菜机器人原本是用来搬运材料的工业机器人，作为传菜机器人使用时，为了与服务现场的氛围协调搭配，对其进行了改造，包括采用和风图案的外观、用古琴声作为运送提示音、使用竹帘门等。为便于餐厅的员工使用，把机器人的停止和前进等基本功能调整得非常容易操作。
武田表示：“由于传菜机器人能代替女服务员传送料理，女服务员可以用更多的时间来接待客人”。该系统还采用了产业技术综合研究所开发的室内定位系统测量餐厅员工与机器人的移动路线并将其数据化。其目的是通过使操作可视化，验证人与传菜机器人的协作能否提高服务质量和效率。
人机协作技术联盟还计划从2019年开始，通过包括初创企业在内的3家公司的合作，在物流现场实施验证实验。开发使用Autoware的全自动驾驶系统的Tier IV公司（爱知县名古屋市）将提供对工厂和仓库内的物流进行支持的小型搬运机器人（图5右）；构筑和销售物流系统的Frameworx公司（东京都千代田区）将对人的行动及机器的位置等进行测量和解析；物流AI领域的学生初创企业OPTIMIND公司（爱知县名古屋市）将利用AI分析获得的数据，找出更有效率的配送路线。
武田介绍说：“通过模拟员工与机器人的部署位置和移动路线，能发现哪个位置有多余的人手，员工的心情是怎样变化的”。根据分析结果，可以让二者分担不同的工作，相互协调，机器人能完成的工作就交给机器人去做，机器人无法完成的工作则由人来做等，从而提高服务的品质和机器人的运转率，改进作业系统。
以开源方式加速研发
Autoware已经作为自动驾驶领域的全球首个开源软件免费公开。只要是用于研发用途，不但谁都可以使用，还能自由地进行改进。武田期待Harmoware能像Autoware一样取得发展。
武田一哉 名古屋大学未来社会创造机构 教授
自动驾驶技术由许多种最先端的技术构成，因此一家企业以封闭的方式单独开发是无法在世界最前沿竞争的。Autoware的目标是早期就实现开源化，借助其他研究机构的力量加快开发速度，从而为尽快实现自动驾驶汽车做贡献。Autoware目前已经得到国内外近200家大学和企业的采用，配备到了30多款车型上。
武田说：“开源的优点是即使花很少的资金，也能尝试利用新技术。任何人都可以随心所欲地使用，也便于成立初创企业”。目前已经有以Autoware为基础技术的初创企业诞生，全球各地都在开发Autoware部件。初创企业将在推进Harmoware的持续开发和普及方面发挥重要作用。
武田把构成Harmoware的软件和传感器等部件比喻为乐高积木。他说：“只要给孩子们提供乐高积木，他们就能根据自己的喜好创作出不同的作品。我的梦想是，把Harmoware变为任何人都可以自由制造出产品的开发平台，从中不断诞生出新的企业、产品和服务。刚开始也许每个成果不大，但总有一天会诞生出优秀的作品，我非常期待那一天的到来”。「人机协作技术联盟」的科研基金项目OPERA预定2020年度将会到达5年的资助期限，不过武田坚信：“Harmoware会一直坚持开源方式持续下去”。
(日文全文)
出处：JSTnews 2019年5月号
翻译编辑：JST客观日本编辑部
