客观日本

日本英语检定协会导入科大讯飞AI自动打分功能,辅助人工打分

2018年10月31日 日本企业

2018年10月17日,公益财团法人日本英语检定协会(简称英检)联合中国科大讯飞(iFlytek)在日本的子公司Sinewave,在东京大学本乡校区工学部2号楼举行了成果发布会。会上,英检报告了与AI人工智能机构合作的情况以及写作测试的成果。这其中主要包含了和讯飞的共同研究成果。

英检的研究成果表明基于讯飞提供的AI自动打分已经等同或者匹敌于人工的打分结果。英检现拟定从2019年开始在实用英语技能检定CBT考试中,与通常的人工打分并行导入基于AI的自动打分,后者作为前者的辅助,提高打分的准确性和打分效率。

科大讯飞AI自动打分功能将导入日本实用英语技能检定,自动打分系统联合研究结果报告会现场

自动打分系统联合研究结果报告会现场

科大讯飞AI自动打分功能将导入日本实用英语技能检定,多家媒体采访发布会

多家媒体采访发布会

通过和讯飞的共同研究,英检的打分系统在口语的语音识别和打分精度方面得到了提高。英检将去除了个人信息的口语回答数据输入到讯飞的评价引擎进行机器学习,再将机器学习训练的结果用到英检的一部分打分业务中,提高了口语打分系统的精度和效率。英检的基于AI的自动打分有如下特点:

1 能保质保量地24小时工作

2 在辅助人工打分时能提高打分精度

3 缩短打分时间,从而缩短打分周期

4 减轻了打分人员批改白卷和空白答案的负担

科大讯飞AI自动打分功能将导入日本实用英语技能检定从2019年开始导入的自动打分的形式

从2019年开始导入的自动打分的形式

日本的英语教育对英语的四项能力(听说读写)的平衡性比较重视。大学或中学的入学考试中都逐渐采用英检等外语测试机构的资格证或水平测试,参加英检考试的人也不断增加,英检需要作出对策应对考试者增加的情况。相比于人工打分,基于AI的自动打分能为英检降低成本和提升打分速度。基于这个考虑,英检与讯飞进行了自动打分系统的联合验证,利用世界上最新的语音处理技术来推动日本的英语教育事业。

英检从2018年初就开始了验证实验。讯飞日本业务负责人王宁提到,在导入讯飞的语音识别引擎后,虽然自动打分系统的构建时间比较短,但在验证有效性方面花费了一定的时间,验证实验持续了半年左右。验证过程中,英检在4级和5级口语测试中进行了人工打分和机器打分的一致性检验,达到了95%的一致性的精度。为了能使系统能更自由地和舒畅地和打分者进行互动和辅助,英检和讯飞今后将通过收集和增加人工智能系统训练数据的方式来提高系统性能。

科大讯飞AI自动打分功能将导入日本实用英语技能检定多家媒体采访发布会

人工打分和机器打分的一致性检验

这次共同研究的技术提供方为科大讯飞公司,以注资Sinewave的形式进入日本市场,旨在通过在人工智能语音方面的优势打开日本市场。科大讯飞早在10年前就开始在中国的大学入学考试的英语口语考试中使用语音和语言评价系统。和英检的合作,再次展示了科大讯飞在人工智能系统方面的经验和技术积累。科大讯飞相关负责人表示,在继续推进自动打分业务的同时,还会在其他各个领域,比如外语面试和和外语对话软件方面开拓潜在市场。

文 余锦泽 东京大学 博士
编辑修改 JST客观日本编辑部