自然语言处理深度学习活跃研究

2019-03-26 10:44:53 浏览数 (1)

本文来源商业新知网,原文标题:自然语言处理深度学习活跃研究领域概览

深度学习中的活跃研究领域之NLP。

大多数6岁儿童都能处理的语言问题,现在机器还远远做不到……但是,我们正在快速进步中。

目录

目录:

词,字或词素?

Muti-hop 注意力和结构化记忆学习

深度增强学习

有效的句子表征学习

低资源学习

在词水平线上的无监督学习

可解释性

常识

词,字和词素的优势和劣势

词,字或词素

问题:我们如何把文本跨度表示为一个神经网络模型的输入或者输出?

换句话说:

编码器应该看到什么类型的符号

解码器应该产生什么类型的符号?

词语本身的问题?

优势:

  • 容易标记化
  • 与意义单元的基础相近

劣势:

词汇组成很大

词素?

优势:意义的基本单元

劣势:很难标记化

词汇组成依然很大

字节配对编码

优势

标注化比较简单

词汇构成可以自由条换

与意义的基本单元比较接近

劣势:

目前结果很混乱

字(字母)?

优势:

非常便于标注

没有生僻词的问题

最近的研究

1.字母 n-Gram 嵌入

2. 神经机器翻译的一个混合模型

3. 神经机器翻译的字母 池化

Multi-HOP Attention 和 结构化记忆

处理大型的输入

记忆网络框架

原始记忆网络

多变量:最近的研究,大多数都是关于阅读理解,包含了一些结构化的记忆。

故事理解中,超过5-Grams的记忆网络

Attention Attention 增加输入

深度增强学习

深度增强学习的定义和介绍

NLP 中的深度增强学习

一个例子:问答

问答其实是很难的,回报可能是非零(Non-zero),只有一小部分可能的行动;在一大串的动作之后,你可能只得到一个回报。

实际上,深度增强学习用于NLP是很难的

实时翻译

用于解释的语法分析,使用SPINN和SNLI

用重复的搜索命令进行信息提取

 其他议题

低资源学习

可解释性

常识,常识推理

能从语言学中学到什么

最后提醒:本研究中提到的所有神经元指的都是一种有用的工具,任何与真实的神经元形成的类比,都纯属巧合。

0 人点赞