阿里人工智能连夺两项世界冠军,自然语言处理就服它!

文/ 天下网商记者 汪佳婧

不久前的云栖大会上,马云宣布成立“以科技,创新世界”的阿里巴巴达摩院。

最近,阿里巴巴在自然语言处理技术取得的两项新成绩:在全球顶级的知识库构建测评KBP2017中,斩获英文实体发现测评全球冠军;在中文语法错误自动诊断大赛(Chinese Grammatical Error Diagnosis,以下简称 CGED)三个level中全面夺得冠军,核心指标比其他参赛机构高出一倍。

阿里人工智能连夺两项世界冠军,自然语言处理就服它!

CGED官网

比赛中使用的分词、词性标注和句法分析等基础NLP工具都是由该团队自主研发的AliNLP 平台。这个平台支持阿里大生态的每天多达600亿次的自然语言处理需求。

这次参赛的是阿里巴巴iDST自然语言处理首席科学家司罗以及iDST自然语言处理团队。

司罗是全球权威机器智能学者,曾担任美国普渡大学计算机系终身教授,主持的20余个项目得到美国政府、工业界资助,先后获得美国国家科学基金会成就奖、雅虎、谷歌研究奖等。

阿里人工智能连夺两项世界冠军,自然语言处理就服它!

司罗

语法错误自动诊断大赛夺冠

中文语法错误自动诊断大赛(Chinese Grammatical Error Diagnosis,以下简称 CGED)是自然语言处理领域的权威赛事,由IJCNLP联办,今年已是第四届。阿里巴巴iDST在三个level中全面夺得冠军。即便是最难的level,核心指标F1(综合考虑准确率与召回率)依旧达到了 0.2693,比其他参赛机构高出一倍。

阿里人工智能连夺两项世界冠军,自然语言处理就服它!

参赛机构比赛成绩

“组办方给我们一个题目,然后由我们研发系统,然后测评,就是给我一个句子,我挑出出错的那个地方。” iDST自然语言处理团队主力成员李林琳表示,这次组办方给的比赛的背景是:学习中文的外国人数不断增加,由于中文的博大精深,外国友人在中文写作中会出现各式错误。主办方挑选了一些外国友人写的中文作文片段,希望参赛者用人工智能算法自动识别里面的语法语义错误。

赛题中包含的错误分为四种类型:多词(Redundant)、缺词(Missing)、错词(Selection)和词序错误(Word Order)。系统性能的评估也由易到难分为3个level:detection level(识别句子有没有错误)、identification level(识别错误句子的具体错误类型)和position level(识别错误的位置和对应类型)

阿里人工智能连夺两项世界冠军,自然语言处理就服它!

比赛要求诊断的四种错误类型

比如,“我要送给你一个庆祝礼物。要是两、三天晚了,请别生气”这句话,在第3个Level,AI需要明确指出“两、三天晚了”存在错误才能得分(正确用法应该是“晚了两、三天”)。此外,团队还结合了分词、词性、依存句法等特征,同时将language model等无监督的知识embedding到神经网络。依靠RNN结构以及词性、依存等特征,不光能识别短程的语法错误,比如“一头牛”好于“一只牛”;也能识别比较长程的语法错误,比如“虽然父母很辛苦,而且对孩子照顾得很好”中“虽然”和“而且“不搭配。此外,他们针对比赛的3个不同level,设计了不同的基于神经网络的snapshot emsembles方法。

基于深度学习的结果,将被用于这些方面

据了解,这次比赛中主力成员李林琳,谢朋峻,杨毅等通过在深度学习中引入无监督的语法知识,同时结合了集成学习等方法取得了好成绩。

李林琳说,中文语法诊断的挑战性在于,中文语言知识丰富、语法多样;人在判断一句话是否有错误的时候,会用到长期积累的知识体系(比如一句话是否通顺、两个词是否可以搭配、语义上是否成立等)。相比之下,比赛提供的训练数据非常有限,仅通过训练数据来识别错误是很困难的。

“这是一个基于深度学习的结果。”李林琳说,深度学习有很多基础模块,比如做了中文词汇切分的积累,就是让AI首先知道什么是一个词,比如给AI一句话“我是中国人”,AI可以将这句话切分成“我”“是”“中国人”三个词,然后要对词性做一个分析,知道“中国人”是一个名词,和动词“是”搭配就是“动词+名词”,即动宾短语。如果是副词+名次,就不对了。这哥基础模块就是让AI系统学习词性的使用方法。

“还有基于更深度的句法分析,就是要检查整个句子的语法输入是否正确。”李林琳举例说,如果整个句子里面,有个主语是名词,加动宾短语,就是名词+动词+宾语,这就是一个合理的句法结构,如果少了动词,语法上就不正确 。

“整体来说,这次比赛是我们长期在AliNLP方面的积累、能力方面的综合体现。” 李林琳说,比赛中使用的分词、词性标注和句法分析等基础NLP工具都是由该团队自主研发的AliNLP 平台。

中文语法错误自动诊断会被运用在什么地方?李林琳说,AliNLP 平台支持阿里大生态(新零售、金融、物流、娱乐、旅行等)的每天多达600亿次的自然语言处理需求。比如现在大家使用的SNS软件和对方语音聊天,在一些环境下,不方便听,或转换成文字,“这个转换成文字的过程中,经常会有很多语法错误,中文语法错误自动诊断就能自动纠错,使语音转换的文字更加好理解。” 李林琳说,还有很多网络媒体的内容质量审核,即需要审核文字内容时,也可以运用到这项技术,

AI不仅能看懂英文,还能做到对文章上下文的理解

另外一项比赛,KBP是由NIST(National Institute of Standards and Technology,美国国家标准与技术研究院)指导、美国国防部协办的赛事,主要任务为从自然书写的非结构化文本中抽取实体,以及实体之间的关系。

这项测评要求AI算法在“读完”一篇英文文章后,构建一个物理世界的命名实体和实体之间关系的知识库,如“克林顿和希拉里之间是夫妻关系”、“克林顿毕业于耶鲁法学院”这样一个个实体的关系。

司罗介绍,阿里的算法可以做到对文章上下文的理解。比如,文章出现了Apple,再出现Jobs,就可以辨别出这个Jobs指的是乔布斯,而不是工作。再比如,文章出现了Microsoft,那么Apple就更有可能是苹果公司,而不是一种水果。

“另外,我们构建了一个算法去学习不同领域之间共同的部分,通过迁移学习提升我们学习的准确度。对于不同领域数据,我们取其精华,去其糟粕,进行智能学习”,司罗说。

在这次测评中,iDST团队采用经过改良的深度神经网络架构对文本进行理解。改良的架构有三个主要特点:首先该模型可以自动阅读海量文章(如维基百科)并从中汲取经验;其次,该架构可以智能选择训练数据集以保证训练数据的准确性;最后,我们采用post regularization的办法保证模型结果的一致性。

对于KBP2017的成绩,司罗表示:“很荣幸能够同全球的同行分享阿里巴巴的研究成果,人工智能在机器阅读理解和知识库构建上还处在起步阶段,我们正在积极和同行业顶尖机构学习交流,推动行业发展。比如我们内部建设的信息抽取平台AliIE项目就在同斯坦福大学展开积极合作”。

阿里巴巴正在将这样的信息抽取技术广泛的应用到实际业务当中,并致力于让更多的中小开发者从中收益。他们搭建的信息抽取平台AliIE拥有最顶尖的AI技术,并从一开始的架构设计就考虑到平台的开放性和可扩展性。可以让更多的开发者、研究员共同开发,并将成果回馈给这个社区。

相关推荐