3 天，我把 NLP 中的预训练模型、图神经网络、模型压缩、知识图谱彻底撸清楚了！

大家都知道NLP近几年非常火，而且发展也特别快。那些耳熟的BERT、GPT-3、图神经网络、知识图谱等技术实际上也就是这几年发展起来的，特别像图神经网络在这两年间取得了飞速的发展。

我们正处在信息爆炸的时代、面对每天铺天盖地的新的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。

为了迎合大家学习的需求，我们重磅推出了《自然语言处理训练营》（一定要看到最后），主要有两个目的：

1. 对于今后想从业NLP领域的人，这可能是最全面但同时最精简的课程，学完绝对可以满足相关岗位的要求（当然面试不仅仅看技术哦~），而且大概率在技术层面上能做到同行业TOP20%的水准。

2. 对于已经从业AI领域的人，可以帮助你利用最少的时间成本来加深对知识的理解和对前沿技术的理解。

2017年有一篇开创性的文章叫作"Attention is all you need"，那我们可以很自信地说“This course is all you need”，覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱到图神经网络所有必要的技术。

课程已经过10期正式开班的迭代优化，不需要任何AI基础，唯一的要求是较好的编程基础。

NLP算法工程师培养计划

助你成为行业TOP10%的工程师

对课程有意向的同学

扫描二维码咨询

本课程适合谁

在读学生

理工科相关专业的本科/硕士/博士生，毕业后想从事NLP工作的人
希望能够深入AI领域，为科研或者出国做准备
希望系统性学习NLP领域的知识

在职人士

目前从事IT相关的工作，今后想做跟NLP相关的项目
目前从事AI相关的工作，希望与时俱进，加深对技术的理解
希望能够及时掌握前沿技术

课程导师团介绍

李文哲

贪心学院CEO，曾任凡普金科集团首席数据科学家、美国亚马逊和高盛高级工程师，是金融行业开创知识图谱做大数据反欺诈的第一人。美国南加州大学博士，先后在AAAI、KDD、AISTATS、CHI等发表高水平学术论文15篇以上。

Frank Max

香港城市大学博士, 加州大学博士后，师从领域大牛。主要从事于数据分析，机器学习，图卷积，图嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等发表高水平学术论文

王老师

毕业于QS世界综合排名TOP20名校计算机学院。研究方向为机器阅读理解，信息检索，文本生成等。曾多次于新加坡国立大学，南洋理工大学等世界名校访学交流。先后在AAAI, ICLR等发表高水平学术论文，拥有多项国家发明专利。

【课程辅导导师】高老师

数据科学家，中国科学院博士，曾发表多篇高水平学术论文。曾参与简历信息抽取与匹配项目、机器阅读理解、问答系统无监督文本匹配、业务场景分类识别和BD交流、微博博文品牌识别、微博博文评论句子级情感分析、微博博文微信文章文本分类、微博博文微信文章关键词提取、KOL和微博周榜榜单人群画像等项目，具有十分丰富的项目经验。

【答疑导师】闫老师

某国家研究院NLP算法工程师，中国人民大学硕士，曾就职于网易，阿里巴巴等互联网大厂。负责过高阶NLP3，4，5，6，7，8，9期、高阶机器学习1，2，3，4期等课程的答疑工作。

课程大纲

第一周：

第一节：自然语言处理概述

什么是自然语言处理
自然语言处理的现状和前景
自然语言处理应用
自然语言处理经典任务
学习自然语言处理技术

第二节：数据结构与算法基础

时间复杂度、空间复杂度
斐波那契数列的时间和空间复杂度
动态规划算法
经典的DP问题

【直播课程】：关于逻辑回归的一切

第二周

第一节：机器学习基础 - 逻辑回归

分类问题以及逻辑回归重要性
逻辑回归的条件概率
最大似然估计
构建逻辑回归的目标函数
优化与梯度下降法
随机梯度下降法

第二节：机器学习基础 - 模型的泛化

理解什么是过拟合
如何防止过拟合现象
L1与L2正则
交叉验证
L1正则与拉普拉斯分布
L2正则与高斯分布

【直播课程】：案例讲解

第三周

第一节：机器学习基础 - 其他机器学习模型

KNN算法
朴素贝叶斯
决策树
随机森林

第二节：分词、词的标准化、过滤

文本分析流程
中英文的分词
最大匹配算法
基于语言模型的分词
Stemming和Lemmazation
停用词的使用
拼写纠错问题
编辑距离的实现
暴力搜索法
基于后验概率的纠错

【直播课程】文本预处理实践

第四周

第一节：文本的表示

单词的独热编码表示
句子的独热编码表示
tf-idf表示
句子相似度比较
独热编码下的单词语义相似度
从独热编码到词向量
词向量的可视化、句子向量

第二节：【项目作业】豆瓣电影评分预测

数据描述以及任务
中文分词
独热编码、tf-idf
分布式表示与Word2Vec
BERT向量
句子向量

【直播课程】（项目一）豆瓣电影评分预测讲解

第五周

第一节：词向量技术

独热编码表示的优缺点
独热编码与分布式表示的比较
静态词向量与动态词向量
学习词向量 - 分布式假设
SkipGram与CBOW
SkipGram模型的目标
负采样（Negative Sampling）
基于矩阵分解的词向量学习
基于Glove的词向量学习
在非欧式空间中的词向量学习

第二节：【项目作业】智能客服问答系统

l问答系统和应用场景
问答系统搭建流程
文本的向量化表示
FastText
倒排表技术
问答系统中的召回
问答系统中的排序
项目：搭建知乎智能客服系统

【直播课程】代码直播实战：用Python从零实现SkipGram

第六周

第一节：语言模型

语言模型的必要性
马尔科夫假设
Unigram语言模型
Bigram、Trigram语言模型
语言模型的评估
语言模型的平滑技术

第二节：隐马尔科夫模型

HMM的应用
HMM的参数
HMM的推理过程和维特比算法
前向、后向算法
Complete Case中的参数估计
Incomplete Case中的参数估计

【直播课程】：（项目二）智能客服问答系统项目讲解

第七周

第一节：无向图模型与标记偏置

有向图与无向图
无向图中的特征函数
生成模型与判别模型
从HMM到MEMM
MEMM中的标记偏置问题

第二节：Linear-CRF模型

Log-Linear模型介绍
Log-Linear与逻辑回归
从Log-Linear到Linear-CRF
Log-Linear中的参数估计
Linear-CRF中的Partition函数计算
Linear-CRF的参数估计

【直播课程】：基于HMM的结巴分词

第八周

第一节：【项目三】基于Liner-CRF的医疗实体识别

命名实体识别介绍
训练数据的准备
特征工程
结果的评估标准
训练模型和测试模型
项目：利用CRF抽取并识别医疗文本中的实体

第二节：深度学习基础

理解神经网络
各类常见的激活函数
理解多层神经网络
反向传播算法
神经网络中的过拟合
浅层模型与深层模型对比
深度学习中的层次表示
练习：从零实现多层神经网络
练习：激活函数的实现技巧

第九周

第一节：Pytorch的使用

环境安装
Pytorch与Numpy的语法比较
Pytorch中的Autograd用法
Pytorch的Forward函数

第二节：RNN与LSTM

从HMM到RNN模型
RNN中的梯度问题
解决梯度爆炸问题
梯度消失与LSTM
LSTM到GRU
双向LSTM模型
基于LSTM的生成

【直播课程】：基于特征工程 CRF的实体识别

第十周

第一节：Seq2Seq模型与注意力机制

浅谈机器翻译
Seq2Seq模型
Greedy Decoding
Beam Search
长依赖所存在的问题
注意力机制
注意力机制的不同实现

【直播课程】：智能营销文案生成

第十一周

第一节：动态词向量与ELMo技术

基于上下文的词向量技术
图像识别中的层次表示
文本领域中的层次表示
深度BI-LSTM
ELMo模型
ELMo的训练与测试
ELMo的优缺点

第二节：自注意力机制与Transformer

基于LSTM模型的缺点
Transformer结构概览
理解自注意力机制
位置信息的编码
理解Encoder与Decoder区别
理解Transformer的训练和预测
Transformer的缺点

【直播课程】：代码训练之利用ELMo训练词向量

第十二周

第一节：BERT与ALBERT

自编码器介绍
Transformer Encoder
Masked LM
BERT模型
BERT模型不同训练方式
ALBERT

第二节：【项目作业】基于闲聊的对话系统搭建

对话系统介绍
常见的对话系统技术
闲聊型对话系统框架
语料库的准备
数据的处理

【直播课程】：基于Transformer模型的机器翻译

第十三周

第一节：BERT的其他变种

RoBERTa模型
SpanBERT模型
FinBERT模型
引入先验知识
K-BERT
KG-BERT

第二节：GPT与XLNet

Transformer Encoder回顾
GPT-1，GPT-2
GPT-3
ELMo的缺点
语言模型下同时考虑上下文
Permutation LM
双流自注意力机制
Transformer-XL
XLNet总结

【直播课程】：实战案例之GPT-3代码解读和应用

第十四周

第一节：命名实体识别与实体消歧

信息抽取的应用和关键技术
命名实体识别
NER识别常用技术
实体消歧技术
实体消歧常用技术
实体统一技术
指代消解

第二节：关系抽取

关系抽取的应用
基于规则的方法
基于监督学习方法
Bootstrap方法
Distant Supervision方法

【直播课程】：基于BERT-BILSTM-CRF的命名实体识别

第十五周

第一节：句法分析

句法分析以及应用
CFG介绍
从CFG到PCFG
评估语法树
寻找最好的语法树
CKY算法

第二节：依存文法分析

从语法分析到依存文法分析
依存文法分析的应用
使用依存文法分析
基于图算法的依存文法分析
基于Transtion-based的依存文法分析
其他依存文法分析方法论

【直播课程】A Fast and Accurate Dependency Parser using Neural Networks

第十六周

第一节：知识图谱

知识图谱以及重要性
知识图谱中的实体和关系
利用非结构化数据构造知识图谱
知识图谱的设计

第二节：【项目作业】搭建基于医疗知识图谱的问答系统

基于知识图谱的问答系统框架
医疗专业词汇的使用
获取问句的意图
问句的解释，提取关键实体
讲意图和关键信息转化为查询语句
把查询结果转化为自然语言的形式

【直播课程】：（项目四）基于闲聊的对话系统搭建

第十七周

第一节：模型的压缩

模型压缩的必要性
常见的模型压缩算法总览
基于矩阵分解的压缩技术
从BERT到ALBERT的压缩
基于贝叶斯模型的压缩技术
模型的量化
模型的蒸馏方法

第二节：基于图的学习

图的表示
图与知识图谱
基于图表示的应用场景
关于图的一些常见算法
Deepwalk和Node2vec
TransE图嵌入模型
DSNE图嵌入模型

【直播课程】：模型压缩实战

第十八周

第三十四章：图神经网络

卷积神经网络的回顾
图神经网络发展历程
设计图中的卷积操作
图中的信息传递
图卷积神经网络（GCN）

第三十五章：GraphSage与GAT

GCN的优缺点
从GCN到GraphSage
注意力机制回顾
注意力机制与图表示
GAT模型详解
GAT与GCN的比较
对于Heterogenous数据处理

【直播课程】：（项目五）搭建基于医疗知识图谱的问答系统讲解

第十九周

第三十六章：图神经网络与其他应用

Node Classification
Graph Classification
Link Prediction
Community Detection
推荐系统中的应用
文本分类中的应用
图神经网络的未来发展

【直播课程】GCN在文本分类中的应用

【直播课程】就业指导

NLP算法工程师培养计划

助你成为行业TOP10%的工程师

对课程有意向的同学

扫描二维码咨询

课程中的部分案例

（完整的请咨询）

1. 实现一个拼写纠错器
2. 从零实现Word2Vec词向量
3. 利用SkipGram做推荐
4. 从零实现HMM模型
5. 基于Linear-CRF的词性分类器实现
6. 从零实现深度学习反向传播算法
7. 实现AI程序帮助写程序
8. 实现AI程序帮助写文章
9. 基于Transformer的机器翻译
10. 基于KG-BERT的知识图谱学习
11. 基于知识图谱的风控系统
12. 基于知识图谱的个性化教学
13. 利用蒸馏算法压缩Transformer
14. 利用GCN实现社交推荐
15. 基于GAT的虚假新闻检测
...