掌握BERT、GPT-3、图神经网络、知识图谱等大厂必备技能!

2022-03-04 13:15:39 浏览数 (1)

金三银四很快就到了,铁子们做好跳槽拿高薪的准备了吗?

回想去年的算法岗,可谓是从灰飞烟灭到人间炼狱。之后的趋势都变成了这样:转行的开始转行,换专业的开始换专业。

于是很多人欲转行NLP,原因是NLP技术近几年发展非常快,像BERT、GPT-3、图神经网络、知识图谱等技术被大量应用于项目实践中,这也推动了NLP在产业中的持续落地,以及行业对相关人才的需求。 

但是最近有粉丝私信我,NLP很难学,这条路能坚持走吗?

对于这位朋友的问题,我想从两方面开始回答。

NLP学起来不容易

01

很多大多数欲从事NLP相关工作的同学,往往都是通过自学的方式来进行学习,但是这样很明显的问题是:

1. 虽然学习了解了很多算法模型,但是技术深度和宽度的理解是比较薄弱的,大多还是只停留在调用现有工具比如BERT、XLNet等阶段。 导致无论面试还是真正去业界做NLP,都会被NLP领域的”老枪老炮“们一眼识别出小白属性

2. 对于算法原理理解不深刻,这就会导致实际应用时不能很好地发挥出来,另外面试时对于大厂面试官的刨根问底,只能是眼睁睁的丢掉offer。

学到多好才能找到好工作?

02

人的精力肯定是有极限的,既然急于求成要不得,那么我们究竟得学到多好才算是“出山”,可以去外面纵横天下了呢?

而对于NLP行业的面试无非就是向面试官证明两点:

  • 我知道怎么做
  • 我做过

没错,在这个行业内企业最看重的自然是项目经历,但初学者又很难接触到工业界项目,怎么办?

安心,我已经给你准备好了,

为了真正全面系统的培养NLP人才,贪心学院推出了《自然语言处理终身升级版》课程覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱、图神经网络所有必要的技术。并落地实操工业级项目,由资深的NLP负责人全程直播讲解,帮助你融会贯通,轻松拿offer。

NLP算法工程师培养计划

助你成为行业TOP10%的工程师

对课程有意向的同学

扫描二维码咨询

01 课程大纲

第一部分:机器学习基础篇

第一章:自然语言处理概述

  • 自然语言处理的现状与前景
  • 自然语言处理应用
  • 自然语言处理经典任务

第二章:数据结构与算法基础

  • 时间复杂度、空间复杂度
  • 动态规划
  • 贪心算法
  • 各种排序算法

第三章:分类与逻辑回归

  • 逻辑回归
  • 最大似然估计
  • 优化与梯度下降法
  • 随机梯度下降法

第四章:模型泛化与调参

  • 理解过拟合、防止过拟合
  • L1与L2正则
  • 交叉验证
  • 正则与MAP估计

第二部分:文本处理篇

第五章:文本预处理与表示

  • 各类分词算法
  • 词的标准化
  • 拼写纠错、停用词
  • 独热编码表示
  • tf-idf与相似度
  • 分布式表示与词向量
  • 词向量可视化与评估

第六章:词向量技术

  • 独热编码的优缺点
  • 分布式表示的优点
  • 静态词向量与动态词向量
  • SkipGram与CBOW
  • SkipGram详解
  • Negative  Sampling

第七章:语言模型

  • 语言模型的作用
  • 马尔科夫假设
  • UniGram, BiGram, NGram模型
  • 语言模型的评估
  • 语言模型的平滑技术

第三部分:序列模型篇

第八章:隐马尔科夫模型

  • HMM的应用
  • HMM的Inference
  • 维特比算法
  • 前向、后向算法
  • HMM的参数估计详解

第九章:线性条件随机场

  • 有向图与无向图
  • 生成模型与判别模型
  • 从HMM与MEMM
  • MEMM中的标签偏置
  • Log-Linear模型介绍
  • 从Log-Linear到LinearCRF
  • LinearCRF的参数估计

第四部分:深度学习与预训练篇

第十章:深度学习基础

  • 理解神经网络
  • 各种常见的激活函数
  • 反向传播算法
  • 浅层模型与深度模型对比
  • 深度学习中的层次表示
  • 深度学习中的过拟合

第十一章:RNN与LSTM

  • 从HMM到RNN模型
  • RNN中的梯度问题
  • 梯度消失与LSTM
  • LSTM到GRU
  • 双向LSTM
  • 双向深度LSTM

第十二章:Seq2Seq模型与注意力机制

  • Seq2Seq模型
  • Greedy Decoding
  • Beam Search
  • 长依赖所存在的问题
  • 注意力机制的实现

第十三章:动态词向量与ELMo技术

  • 基于上下文的词向量技术
  • 图像识别中的层次表示
  • 文本领域中的层次表示
  • ELMo模型
  • ELMo的预训练与测试
  • ELMo的优缺点

第十四章:自注意力机制与Transformer

  • LSTM模型的缺点
  • Transformer概述
  • 理解自注意力机制
  • 位置信息的编码
  • 理解Encoder和Decoder区别
  • 理解Transformer的训练与预测
  • Transformer的缺点

第十五章:BERT与ALBERT

  • 自编码介绍
  • Transformer Encoder
  • Masked语言模型
  • BERT模型
  • BERT的不同训练方式
  • ALBERT 

第十六章:BERT的其他变种

  • RoBERTa模型
  • SpanBERT模型
  • FinBERT模型
  • 引入先验知识
  • K-BERT
  • KG-BERT

第十七章:GPT与XLNet

  • Transformer Encoder回顾
  • GPT-1, GPT-2,  GPT-3
  • ELMo的缺点
  • 语言模型下同时考虑上下文
  • Permutation LM
  • 双流自注意力机制

第五部分:信息抽取与知识图谱篇第十八章:命名识别与实体消歧

  • 信息抽取的应用和关键技术
  • 命名实体识别
  • NER识别常用技术
  • 实体统一技术
  • 实体消歧技术
  • 指代消解

第十九章:关系抽取

  • 关系抽取的应用
  • 基于规则的方法
  • 基于监督学习的方法
  • Bootstrap方法
  • Distant Supervision方法

第二十章:句法分析

  • 句法分析的应用
  • CFG介绍
  • 从CFG到PCFG
  • 评估语法树
  • 寻找最好的语法树
  • CKY算法

第二十一章:依存文法分析

  • 从语法分析到依存文法分析
  • 依存文法分析的应用
  • 基于图算法的依存文法分析
  • 基于Transition-based的依存文法分析
  • 依存文法的应用案例

第二十二章:知识图谱

  • 知识图谱的重要性
  • 知识图谱中的实体与关系
  • 非结构化数据与构造知识图谱
  • 知识图谱设计
  • 图算法的应用

第六部分:模型压缩与图神经网络篇

第二十三章:模型的压缩

  • 模型压缩重要性
  • 常见的模型压缩总览
  • 基于矩阵分解的压缩技术
  • 基于蒸馏的压缩技术
  • 基于贝叶斯模型的压缩技术
  • 模型的量化

第二十四章:基于图的学习

  • 图的表示
  • 图与知识图谱
  • 关于图的常见算法
  • Deepwalk和Node2vec
  • TransE图嵌入算法
  • DSNE图嵌入算法

第二十五章:图神经网络

  • 卷积神经网络回顾
  • 在图中设计卷积操作
  • 图中的信息传递
  • 图卷积神经网络
  • 图卷积神经网络的经典应用

第二十六章:GraphSage与GAT

  • 从GCN到GraphSAge
  • 注意力机制回归
  • GAT模型详解
  • GAT与GCN比较
  • 对于异构数据的处理

第二十七章:图神经网络的其他应用

  • Node Classification
  • Graph Classification
  • Link Prediction
  • 社区挖掘
  • 推荐系统
  • 图神经网络的未来发展

NLP算法工程师培养计划

助你成为行业TOP10%的工程师

对课程有意向的同学

扫描二维码咨询

02 课程中的部分案例

1. 实现一个拼写纠错器

2. 从零实现Word2Vec词向量

3. 利用SkipGram做推荐

4. 从零实现HMM模型

5. 基于Linear-CRF的词性分类器实现

6. 从零实现深度学习反向传播算法

7. 实现AI程序帮助写程序

8. 实现AI程序帮助写文章

9. 基于Transformer的机器翻译

10. 基于KG-BERT的知识图谱学习

11. 基于知识图谱的风控系统

12. 基于知识图谱的个性化教学

13. 利用蒸馏算法压缩Transformer

14. 利用GCN实现社交推荐

15. 基于GAT的虚假新闻检测

(剩下20 个案例被折叠,完整请咨询...)

03 课程中的部分项目作业

01

豆瓣电影评分预测

涉及到的知识点

  • 中文分词技术
  • 独热编码、tf-idf
  • 分布式表示与Word2Vec
  • BERT向量、句子向量

02

智能客服问答系统

涉及到的知识点

  • 问答系统搭建流程
  • 文本的向量化表示
  • FastText
  • 倒排表
  • 问答系统中的召回、排序

03

基于Linear-CRF的医疗实体识别

涉及到的知识点

  • 命名实体识别
  • 特征工程
  • 评估标准
  • 过拟合

04

基于闲聊的对话系统搭建

涉及到的知识点

  • 常见的对话系统技术
  • 闲聊型对话系统框架
  • 数据的处理技术
  • BERT的使用
  • Transformer的使用

05

搭建基于医疗知识图谱的问答系统

涉及到的知识点

  • 医疗专业词汇的使用
  • 获取问句的意图
  • 问句的解释、提取关键实体
  • 转化为查询语句

06

搭建基于医疗知识图谱的问答系统

涉及到的知识点

  • 文本摘要生成介绍
  • 关键词提取技术
  • 图神经网络的摘要生成
  • 基于生成式的摘要提取技术
  • 文本摘要质量的评估

04 课程中带读的部分论文

主题

论文名称

机器学习

XGBoost: A Scalable Tree Boosting System

机器学习

Regularization and Variable Selection via the Elastic Net

词向量

Evaluation methods for unsupervised word embeddings

词向量

Evaluation methods for unsupervised word embeddings

词向量

GloVe: Global Vectors for Word Representation

词向量

Deep Contexualized Word Representations

词向量

Attention is All You Need

词向量

BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding

词向量

XLNet: Generalized Autoregressive Pretraining for Language Understanding

词向量

KG-BERT: BERT for Knowledge Graph Completion

词向量

Language Models are Few-shot Learners

图学习

Semi-supervised Classification with Graph Convolutional Networks

图学习

Graph Attention Networks

图学习

GraphSAGE: Inductive Representation Learning on Large Graphs

图学习

Node2Vec: Scalable Feature Learning for Networks

被折叠

其他数十篇文章......

NLP算法工程师培养计划

助你成为行业TOP10%的工程师

对课程有意向的同学

扫描二维码咨询

05 课程适合谁?

大学生

  • 理工科相关专业的本科/硕士/博士生,毕业后想从事NLP工作的人
  • 希望能够深入AI领域,为科研或者出国做准备
  • 希望系统性学习NLP领域的知识

在职人士

  • 目前从事IT相关的工作,今后想做跟NLP相关的项目
  • 目前从事AI相关的工作,希望与时俱进,加深对技术的理解
  • 希望能够及时掌握前沿技术

06 报名须知

1、本期仅招收50人,剩余名额有限。2、品质保障!正式开课后7天内,无条件全额退款。3、学习本课程需要具备一定的机器学习基础。

NLP算法工程师培养计划

助你成为行业TOP10%的工程师

对课程有意向的同学

扫描二维码咨询

0 人点赞