系统粉 > IT资讯 > 微软资讯

挑战机器阅读理解界的“ImageNet”, 微软亚洲研究院重回榜单第一

发布时间:2017-09-25    浏览数:

近日,斯坦福大学NLP小组发推特称,微软提交了最新一次SQuAD的测试成绩,再次夺回得了该数据集测试榜单第一的位置。

挑战机器阅读理解界的“ImageNet”, 微软亚洲研究院重回榜单第一(1)

自然语音理解长期以来被誉为“人工智能皇冠上的明珠”,让机器学会阅读和理解人类语言一直是研究者和业界关注的对象,今年以来更是受到了极大的追捧,热度不减。

由斯坦福大学李飞飞教授发起的ImagNet,是目前世界上图像识别最大的数据库,试图让冰冷的机器读懂照片背后的故事。而在斯坦福大学自然语言组发起的挑战赛SQuAD,行业内公认的机器阅读理解标准水平测试,也是该领域的顶级赛事,更是被誉为机器阅读理解界的”ImageNet”。

参赛者来自全球学术界和产业界的研究团队,包括微软亚洲研究院、艾伦研究院、IBM、Salesforce、Facebook、谷歌以及卡内基·梅隆大学、斯坦福大学等知名企业研究机构和高校,赛事对自然语言理解领域的学术进步和人才选拔都起到重要作用。

SQuAD比赛规则是怎样?对于机器的阅读理解,如何作答和评判?

SQuAD挑战赛通过众包的方式构建了一个大规模的机器阅读理解数据集(包含10万个问题),就是将一篇几百词左右的短文给人工标注者阅读,让标注人员提出最多5个基于文章内容的问题并提供正确答案;短文原文则来源于500多篇维基百科文章。

参赛者提交的系统模型在阅读完数据集中的一篇短文之后,回答若干个基于文章内容的问题,然后与人工标注的答案进行比对,得出精确匹配(Exact Match)和模糊匹配(F1-score)的结果。得益于SQuAD提供的大规模高质量的训练数据以及层出不穷的模型,该挑战赛的榜单一次又一次刷新。

以下是最新排名,MSRA位居第一:

挑战机器阅读理解界的“ImageNet”, 微软亚洲研究院重回榜单第一(2)

微软亚洲研究院常务副院长、NLP小组组长周明曾表示,从这个数据集成立之初MSRA就开始有所关注,这个数据集的规则是需要不停刷新排名,隔一段时间就要提交最新的测试成绩。MSAR连续多次位居数据集排名第一。

“虽然偶尔有一两天其它团队超过了我们的成绩,但我们也有最新的算法能够很快地进行更新,并取得更好的成绩,对于这一点我们的团队始终十分自信。”机器阅读理解研究的主要负责人、微软亚洲研究院自然语言计算研究组主管研究员韦福如曾这样说。

此外,国内业界代表科大讯飞也在关注并参与该数据集的比赛,7月份科大讯飞与哈工大联合实验室(HFL)提交的系统模型在测试中夺得第一名,同样实力不俗。足以可见自然语言处理领域竞争十分激烈。

自然语言处理领域一直是实现人机交互、人工智能的重要技术基石,机器阅读理解正是这一领域的一个研究焦点。如今异常火热的智能语音助手,最关键的除了“听清”就是“听懂”,语音技术在不断完善,而自然语言理解的进展则相对较为缓慢。万里长征可谓刚刚起步,NLP产业界和学术界均任重道远。

上一篇:微软Win10商店没那么简单,还要卖Surface/Xbox/HoloLens... 下一篇:微软发布企业人工智能解决方案: 廉价、快速、简单

相关资讯

最新热门应用

电脑问答