大纲
- NLP基础概念
- NLP的发展与应用
- NLP常用术语以及扩展介绍
1.1 什么是NLP
- 基本分类
- 自然语言生成（Natural Language Generation,NLG）
指从结构化数据中以读取的方式自动生成文本，主要包括三个阶段：
- 文本规划：完成结构化数据中的基础内容规划；
- 语句规划：从结构化数据中组合语句来表达信息流；
- 实现：产生语法通顺的语句来表达文本；
- 研究任务
- 机器翻译
- 情感分析
- 智能问答
- 文摘生成
- 文本分类
- 舆论分析
- 知识图谱
1.2 NLP的发展历程
- 萌芽期（1956年以前） 贝叶斯方法、隐马尔可夫、最大熵、支持向量机……，主流仍为基于规则的理性主义方法；
- 快速发展期（1980~1999年） 基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展；
- 突飞猛进期（2000年至今） 神经网络与深度学习；
1.3 NLP相关知识的构成
- 基本术语
- 分词（segment）
- 词性标注（part-of-speech tagging）
- 命名实体识别（NER，Named Entity Recognition） 指从文本中识别具有特定类标的实体（常为名词），如人名、地名、机构名、专有名词等；
- 句法分析(syntax parsing) 目的是解析句子中各个成分的依赖关系；
- 指代消解（anaphora resolution）
- 情感识别（emotion recognition）
- 纠错（correction）
- 问答系统（QA system）
- 知识结构
NLP是一门跨学科科学，体系化与特殊化并存，其知识体系如下：
- 句法语义分析：针对目标句子，进行各种句法分析；
- 关键词抽取：抽取目标文本中的主要信息；
- 文本挖掘：主要包含对文本的聚类、分类、信息抽取、摘要、情感分析及对挖掘的信息和知识的可视化、交互式的呈现界面；
- 信息检索：对大规模的文档进行索引；
- 机器翻译：将输入的源语言文本通过自动化翻译转化为另一种语言的文本；
- 问答系统：针对某个自然语言表达的问题，由问答系统给出一个精确答案；
- 对话系统：系统通过多回合对话，与用户进行聊天、问答、完成某项任务；
1.4 语料库
- 中文维基百科
- 搜狗新闻语料库
- IMDB情感分析语料库
- fastText词向量
- 维基可比语料
1.5 探究NLP的几个层面
- 第一层面：词法分析
- 分词
- 词性标注 目的是为每个词赋予一个类别；
- 第二层面：句法分析 对输入的文本以句子为单位，进行分析从而得到句子的句法结构的处理过程；
- 第三层面：语义分析 语义角色标注（semantic role labeling）是当前较为成熟的浅层语义分析技术；
