机器之心编译
参与:黄玉胜
近日,微软公布的一篇新论文提出了一种新架构,它的内部表征(在执行文本问答任务时通过端到端的优化来学习的表征)可以用语言学理论的基本概念来解释。这篇论文的作者之一邓力目前已经离开了微软,加入了对冲基金巨头 Citadel 任首席人工智能科学家。在机器之心将于 27-28 日举办的 GMIS 2017 大会上,邓力将带来主题为《无监督机器学习的最新进展》的演讲。机器之心在本文中对这项研究进行了摘要介绍,论文原文请访问:https://arxiv.org/abs/1705.08432
我们介绍了一种新架构,它的内部表征(在深度学习网络中通过执行文本问答任务来端到端优化而学习到的表征)可以用语言学理论的基本概念来解释。这种可解释性相对于新的基于原模型的准确度只有几个点的降低(BiDAF[1])。被解释的内部表征是张量积表示(Tensor Product Representation):对于每个输入词,模型选择一个符号来对词进行编码,一个放置符号的角色(role),然后将它们绑定起来。这种选择是通过软注意(soft attention)模型实现的,总体的解释是由符号的解释所构建的,与训练模型利用的一样,模型也利用对角色的解释。我们发现了对初始假设的支持,即符号可以被解释为词汇-语义词义(lexical-semantic word meanings),而角色可被解释为对语法角色(或类别)的近似,例如主语、问词、限定词等。通过非常详细的、细粒度的分析,我们发现了在学习到的角色和又标准解析器 [2] 分配的词性之间的特定对应关系,并且在模型的帮助下找到了几个差异。在这个意义上,该模型可以在仅有无语言学相关注释的文本、问题和答案的情况下学习到语法的重要方面:模型没有先验的语言学知识。该模型仅有使用符号和角色来进行表征的方式和以一种大致离散的方式有利于这种使用的归纳偏置。
图 1:该模型的系统框图
相关资讯
最新热门应用
zt交易所app安卓版
其它软件23.78MB
下载火网交易所app官方最新版本
其它软件175MB
下载非小号交易平台app安卓手机
其它软件47.76 MB
下载欧联交易所官网app苹果手机
其它软件26.6MB
下载bitkeep交易所中文版
其它软件287.27 MB
下载usdt交易app
其它软件273.24MB
下载芝麻交易平台官方苹果版
其它软件223.89MB
下载抹茶交易所软件
其它软件102.52 MB
下载必安交易所官网app苹果版
其它软件88.66MB
下载中币交易所ios苹果手机
其它软件77.35MB
下载