B站作为一个弹幕视频网站，有着所谓的弹幕文化，那么接下来我们看看，一个视频中出现最多的弹幕是什么？

我们在处理很多数据分析任务时，不可避免地涉及到与文本内容相关的知识，这是属于文本挖掘（text mining）的内容，显然是NLP技术的范畴，基于这样的考虑我们先来对自然语言处理有一个基本的认识。...

由于数字、日期、时间、网址等不可枚举，无法通过词典简单查找来分词。可以采用正则表达式或者自动机进行自动识别，并给予特殊名字进行泛化。例如：...

链接：https://pan.baidu.com/s/1uK9Cq55RZinAIDAcdCOLuw 提取码：sjpy

在浅谈分词算法（1）分词中的基本问题我们讨论过基于词典的分词和基于字的分词两大类，在浅谈分词算法（2）基于词典的分词方法文中我们利用n-gram实现了基于词典的分词方法。在（1）中，我们也讨论了这种方法有的缺陷，就是OOV的问题，即...

第二届国际中文分词评测（Second International Chinese Word Segmentation Bakeoff，简称 SIGHAN05）于 2005 年夏天在韩国济州岛举行。SIGHAN05 提供AS、CITYU、MSR和PKU四个语料库，这些完整的训练集、测试集以及测试集的（...

Solr 版本：solr-4.10.3.tgz.tgz SolrLinux下的软件安装包以及中文分词器见末尾百度云1

首先，我们知道倒排索引的原理，我们需要构建一个单词词典，但是这个词典里面的数据怎么来呢？我们需要对输入的东西进行分词。这个ES已经考虑过了，所以它内置了一些分词器，但是中国文化，博大精深，有时候自己断句都会有误差，所以我...

在今年的ACL 2020上，来自创新工场大湾区人工智能研究院的两篇论文中的模型，刷新了这一领域的成绩。

为什么要分词呢，当大数据处理中要提取语句的特征值，进行向量计算。所有我们要用开源分词工具把语句中的关键词提取出来。