系统粉 > IT资讯 > 微软资讯

学界 | 机器理解中的迁移学习, 斯坦福联合微软提出SynNet网络

发布时间:2017-07-05    浏览数:
选自arXiv

机器之心编译

参与:李亚洲、Smith

近日,斯坦福大学、微软联合发表了一篇论文,提出了一种在机器理解(MC)中使用 2-阶段合成网络(SynNet) 进行迁移学习的技术。论文作者之一、前微软人工智能首席科学家邓力已经离职,加入对冲基金巨头 Citadel。

学界

我们开发了一种在机器理解(MC)中使用一个全新的 2-阶段合成网络(SynNet) 进行迁移学习的技术。在某个领域中给定一个高性能 MC,我们的技术旨在回答有关另一领域文档的问题,其中我们使用的是无标记数据问答对。不使用提供的注释的情况下,在 SQuAN 数据集预训练的模型上使用我们提出的 SynNet,能够在 NewsQA 数据集挑战赛上取得 46.6% 的 F1 测量结果,接近领域内(in-domain) 模型的表现(F1 结果为 50.0%),超过域外(out-domain) 基线 7.6%。

学界

图 1:2-阶段 SynNet 的图释。给定段落的情况下,训练 SynNet 的目的是对问题与答案进行合成。模型的第一阶段是一个答案合成模块,使用一个双向 LSTM 在输入段落上预测 IOB 标签,标记出可能是答案的关键语义概念。第二个阶段是一个问题合成模块,使用一个单向 LSTM 来生成问题,同时顾及段落中词汇与 IOB id 的嵌入。尽管段落中的多个跨度(span) 可以被认为是潜在答案,但我们只选择了一个 span 来生成问题。

学界

表 1:随机采样的段落和对应的来自 NewsAQ 训练集的合成问题与人类问题的对比。

学界

表 2:主要结果。使用我们的 SynNet 精调的 BIDAF 模型在 NewsQA 测试集上的精度匹配(EM)和 span F1 结果。

学界

表 3:NewsQA 到 SQuAD。在 SQuAD 上开发的一系列 NewsQA BIDAF 模型与使用由 2-阶段 SynNet 生成的数据精调的模型的 EM 和 span F1 结果对比。

学界

表 4:Ablations Studies。使用一个 2-阶段 SynNet 精调的 BIDAF 模型在 NewsQA 测试集上的精确匹配和跨距 F1 结果。

学界

图 2:在 SQuAD(黄色)上训练的 BIDAF 模型基准的 NewsQA 准确率对比使用我们方法精调的模型对比在 NewsQA 上从头开始训练的一个模型(深蓝)。

学界
上一篇:微软宣布小冰放弃创作版权, 上线人类与 AI“联合创作模式” 下一篇:Facebook如何笑傲微软和谷歌

相关资讯

最新热门应用

电脑问答