大家好，我是为人造的智能操碎了心的智能禅师。
眼看双十一要到，各路电商又要开始开辟激情战场来绝地求生了。所以今天禅师特意找来一篇课程，由被称为“外贸电商平台鼻祖”eBay 的数据科学家李睿分享，NLP 在 eBay 的技术实践。
李睿于 University of California, Riverside 获得模式识别，图像处理博士之后，一直旧金山湾区公司里从事图像，视频，文字分类的研发工作。
顺便提一句，今天 CSDN AI 大会正式开始了。禅师会出现在现场，欢迎大家捕捉。
全文大约1500字。读完可能需要好几首下面这首歌的时间
?
eBay 用到 NLP 的领域
在电商这个领域，我们处理的对象不外乎是卖家提供的商品和买家的需求。商品是由文字描述和图片构成的，而需求则通常是用文字表达的（搜索关键字）。
eBay 每天都有数亿的新商品上架和数亿次的搜索，产生的文字数据是海量的。因此，eBay 对自然语言处理（NLP）的需求是不言而喻的。那么 NLP 都影响到了电商的哪些领域呢？
作为电商企业，搜索功能是其重中之重。这是买家进行购买的最便捷有效的途径。因此我们的搜索引擎也是公司最重要的产品（没有之一）。
文档索引的祖师爷算法称为 TF-IDF。这是 NLP 中一种用于信息检索与文本挖掘的常用加权技术。
传统的网页搜索把它作为网页与用户查询之间相关程度的度量或评级，从而推荐相关的网页和文章。
在电商的应用场景中，我们就会把它作为买家搜索关键字和商品相关程度的度量，从而推荐相关的商品。
NLP 在电商中的的另一个重大应用是机器翻译。eBay 在全世界 30 多个国家都有网站，大多的网站都支持跨境电商。
我们希望在俄国能够让消费者用俄语进行搜索，并且看到我们的商品用俄语描述。美国的网站每天有上亿个新商品上架，如果没有机器翻译，这是完全不可能实现的。
搜索引擎和机器翻译背后有各式各样的其它的 NLP 技术做支撑，比如命名实体识别技术（Name Entity Recognition，缩写为 NER） 和各式文字分类器（Text Classifier）。
命名实体识别（NER）
在电商中，命名实体识别有着非常特殊的地位。下面这张图就是一个电商中 NER 的例子：
NER 还能够提高搜索准确度。
分类器
正如前面提到的，搜索引擎和机器翻译是被各式分类器支撑的。下面这张图里介绍了一些电商中用到的典型分类器：
第一种称为产品类别推荐。eBay 在美国的网站上有一万六千个产品门类，一个新的卖家而言他不知道放在哪一个门类下面，如果他放错了，他的东西就被买家找不到
第二种是产品／附件／套装分类器。
第三种分类器：商品类型分类器。
第四种分类器称为评价分类器。
产品／附件／套装分类器详解
我刚才提到的第二种分类器是如何把这个产品分辨出它是产品本身，附件，还是套装。从下面的图中，大家就能够清楚地这个为什么要做这个分类器。
总结
刚才我讲到了命名实体识别，各种基于 NLP 的分类器在 eBay 的实践，希望能起到一个抛砖引玉的作用。
但凡有文字处理需要自动化的地方，都需要用到 NLP 技术，所以掌握了些基本技术，你就可以应用在各行各业里边，解决各种实际问题。
