什么是文本挖掘
文本挖掘是一门交叉性学科，涉及数据挖掘、机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘就是从大量的文档中发现隐含知识和模式的一种方法和工具，它从数据挖掘发展而来，但与传统的数据挖掘又有许多不同。文本挖掘的对象是海量、异构、分布的文档(web)；文档内容是人类所使用的自然语言，缺乏计算机可理解的语义。
传统数据挖掘所处理的数据是结构化的，而文档(web)都是半结构或无结构的。所以，文本挖掘面临的首要问题是如何在计算机中合理地表示文本，使之既要包含足够的信息以反映文本的特征，又不至于过于复杂使学习算法无法处理。在浩如烟海的网络信息中，80%的信息是以文本的形式存放的，WEB文本挖掘是WEB内容挖掘的一种重要形式。
文本的表示及其特征项的选取是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息，即对文本进行科学的抽象，建立它的数学模型，用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。由于文本是非结构化的数据，要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。
目前人们通常采用向量空间模型来描述文本向量，但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维，那么这个向量的维度将是非常的大。这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销，使整个处理过程的效率非常低下，而且会损害分类、聚类算法的精确性，从而使所得到的结果很难令人满意。因此，必须对文本向量做进一步净化处理，在保证原文含义的基础上，找出对文本特征类别最具代表性的文本特征。为了解决这个问题，最有效的办法就是通过特征选择来降维。
目前有关文本表示的研究主要集中于文本表示模型的选择和特征词选择算法的选取上。用于表示文本的基本单位通常称为文本的特征或特征项。特征项必须具备一定的特性:
1)特征项要能够确实标识文本内容；
2)特征项具有将目标文本与其他文本相区分的能力；
3)特征项的个数不能太多；
4)特征项分离要比较容易实现。
在中文文本中可以采用字、词或短语作为表示文本的特征项。相比较而言，词比字具有更强的表达能力，而词和短语相比，词的切分难度比短语的切分难度小得多。因此，目前大多数中文文本分类系统都采用词作为特征项，称作特征词。这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之间的相似度计算。如果把所有的词都作为特征项，那么特征向量的维数将过于巨大，从而导致计算量太大，在这样的情况下，要完成文本分类几乎是不可能的。特征抽取的主要功能是在不损伤文本核心信息的情况下尽量减少要处理的单词数，以此来降低向量空间维数，从而简化计算，提高文本处理的速度和效率。
文本特征选择对文本内容的过滤和分类、聚类处理、自动摘要以及用户兴趣模式发现、知识发现等有关方面的研究都有非常重要的影响。通常根据某个特征评估函数计算各个特征的评分值，然后按评分值对这些特征进行排序，选取若干个评分值最高的作为特征词，这就是特征抽取(FeatureSelection)。
特征选取的方式常见的有4种：
(I)用映射或变换的方法把原始特征变换为较少的新特征。
(2)从原始特征中挑选出一些最具代表性的特征。
(3)根据专家的知识挑选最有影响的特征。
(4)用数学的方法进行选取，找出最具分类信息的特征，这种方法是一种比较精确的方法，人为因素的干扰较少，尤其适合于文本自动分类挖掘系统的应用。
随着网络知识组织、人工智能等学科的发展，文本特征提取将向着数字化、智能化、语义化的方向深入发展，在社会知识管理方面发挥更大的作用。
玩转大数据，其实是在挖掘人性需求
今日资本的徐新女士当年准备投京东的时候，刘强东把后台ERP系统打开给徐新看，虽然销售额只有5000万元，但每个月增长10%，京东商城当时还没钱打广告，可老客户一年会上来3次，这几组数据足以证明，用户喜欢这个网站。这组数据的信息量和推演逻辑，足以覆盖一份花哨的项目故事PPT。 因为数据在说话，更因为用户行为累积成的数据信息足以挖掘出产品的可成长性、电商的趋势、盈利模式是否健康等核心信息。而大数据的来源其实是人，玩转大数据，其实是在挖掘人性需求。
大数据更接地气的解释是统计学(包含但不完全)，但大数据应用需要从用户行为中摸出统计及定性和定向的脉络，最终形成有价值的信息，以指导产品设计、平台搭建、营销推广等实用策略。数据本身零散的，需要经过清洗、挖掘、组织、归纳，演变成有价值的信息，由此起到决策、佐证、指导的应用价值。 其实，大数据更深层的挖掘就是用户行为(人性)、用户需求(欲望)、转化(选择)，把“我”升级成“我们”，换位思考一下行为和欲望，再进行性别、年龄、地域、收入、教育等等深度的信息挖掘，就能理解在纷繁复杂的人类与人性里，数据于此的息息相关了。说白了，大数据就是若干个“我”的存在，而大数据应用，就是在“我们”里挖掘信息，以洞察“我们”的需求，转化成商业模式，实现盈利。对“我们”的玩转，也是电商盈利模式不断升级的过程。 当微信、微博社交媒体成为用户黏度最高的产品时，基于社交圈的用户原始需求也最有效地形成有价值数据： 1、社交平台的信息分享对于个体用户有着强烈的需求煽动力，电商社交化，立刻成为趋势。 2、用户的兴趣点、社交图谱与购买转化形成的时间规律、价格规律、敏感词规律，通过萃取可梳理出一套电商营销方法论，在恰当的时间、恰当的社交平台、以恰当的卖点投放恰当的产品广告，触达用户，形成精细化营销。 而这一系列大数据的有效信息萃取，都是来自若干个“我”。如果还在神乎其神地脱离“我”谈大数据，可以想见的是，没人气。
大数据是随人走的，但产品设计、平台搭建、营销推广，是随大数据应用走的，对人性洞察越犀利，在人与大数据之间的正向转化也就越乐观。电商资料库可以快速捕获、监控、分析用户行为，进行数字化生产和管理。 海量用户行为数据背后，隐藏的就是消费行为逻辑，什么样的广告用户最买单？不同区域的人购买习惯差异是什么？不同年龄与性别的人在不同时期都在消费什么？PC与移动的用户及用户行为差异是什么？这些复杂碎片化的信息，都能从数据中系统地萃取，形成一套方法论。 其本质，依然是在洞察“我”。每一个“我”都是孤立的碎片信息，但是通数据收集、挖掘、清洗、归纳，进行价值数据输出，“我”就升级成“我们”，“我们”就合力成海量需求，海量需求就成为有价值的数据包。通过精准分析、定位、投放，能够让产品设计、平台搭建、营销变得智能、精准、快捷、高效。尊重每一个“我”的存在，是大数据应用从人性及用户行为出发，挖掘有效信息的根本。 未来，数据收集和分析能力的强弱可能决定了企业的核心竞争力。当每一个个体成为大数据构成中的一分子的时候，把自己也作为一个用户样本，真实洞察自身需求和行为，也能从价值观和行为习惯中推理出相唿应的价值信息，放之“我们”中进行匹配和佐证，也算为大数据贡献一个样本了。(Via: 中兴大数据 )
