最新 最热

NLP BERT GPT等模型中 tokenizer 类别说明详解

在使用GPT BERT模型输入词语常常会先进行tokenize ,tokenize具体目标与粒度是什么呢?tokenize也有许多类别及优缺点,这篇文章总结一下各个方法及实际案例。...

2021-08-20
0