大数据文摘授权转载自数据派THU
人工智能和金融，法律、医学等传统领域密切联系，金融科技正以前所未有的速度改变大众认知，这不仅驱动了传统金融业转型升级，也催生了诸多新金融业态。
本次清华大数据“技术·前沿”系列讲座，我们荣幸地邀请到了香侬科技CEO李纪为博士，他从金融数据的获取、金融数据非结构到结构化、金融实体的用户画像等方面为大家分享了AI如何赋能金融。
公众号后台回复“赋能金融”下载PPT全文
李纪为：
今天非常有幸能跟各位探讨如何把人工智能的方法和知识，如语音、图像和自然语言处理等技术应用在金融领域。
在信息爆炸的时代，金融从业者的数目和其工作负荷量均逐年上升。从业人员如何在众多渠道中准确、快捷地获取需要的信息，并做出相应决策，显得尤为重要。其中找信息和根据信息做出交易决策分别对应AI里的不同应用。
金融应用的直接的体现为股票、国债、贷款、固定收益、股权投资、主权基金，大宗商品、金融衍生品等，这些是金融实体的载体，比如说股票，它背后对应的是上市公司。如果要预估一个股票的涨跌，最重要的是了解它背后的金融实体发生了什么事，涉及到公司的收入、历史、运营情况，以及在整个大环境下，国家的金融趋势。其实就是涉及到对于不同金融实体的用户画像，即它们发生了什么，从何处获取这些信息。
交易类型连接的是金融实体和客户。从金融角度，我们需要从广泛的数据源里提取需要的信息，使整个过程变得有序、方便、及时和准确。从技术角度，应用人工智能技术，涉及到图像、自然语言处理等。从服务角度，提供什么样的服务取决于用户需求。
接下来我们探讨技术和落地场景的结合。我们并不缺少金融信息，却很难获得想要的数据，它们隐含在网上，可用性比较复杂，需要从非结构化变成结构化，如用算法把PDF、照片、表格等还原成文本数据，目前主流的解决办法是先把PDF变成图像，然后对该图像做解析，在图像里面获得所需要的文字或表格。
其中涉及大量的图表和文字的识别。举一个例子，将PDF中的表格转化为Excel形式。从图像处理的角度，第一步，把PDF转成图像，先把像表格的地方抽取出来。第二步，获取到该区域之后，把图像裁出来，再用图像处理。要把表格的位置从PDF里面裁出来，还是一个比较复杂的过程，需要标注很多的数据，比如这个表格的上下文。
当把该表格区域提出来时，还要识别里面的单元格以及单元格的文字，除此之外，单元格还可能涉及到大量的合并情况，需要运用比较复杂的算法。为了避免乱码，主流的解决办法是直接把它转成图像。
利用信息抽取的办法，我们可以把不可用的信息变得可用。用一个简单直观的算法直接把文本信息变成结构化的数据，比如，通过模型或算法就能自动地反馈出来想要的某些金融的数据指标。
其中涉及到自然语言处理的算法，其中一个模式是序列标注，可以用一项基于CRF的模型。CRF给出一个字符串，可以挑里面字符串的子串是否对应某一个或者几个不同指标。序列标注和问答在算法层面上处理的方式有所不同，如果两个模型得出一致的结果，我们就认为找到了对应答案。
从算法的层面，我们要抽取谁在哪里、做了什么。背后的算法相对复杂，原因就在于“做了什么”，人们可以做的事情非常多，难以在基于学习或者监督学习的体系框架内把这些不同类别的事件聚类。
除此之外，即便事情属于同一类，也有好坏之分。我们难以拿到大量的标志数据，既没法对这些事件进行全面定义又没法提出非常明确的标注细则。一旦没有标注，我们就没有训练数据，没有训练数据，就很难去训练基于监督类型的模型。
其背后涉及的算法叫做“human-in-the-loop”，如果把整个算法变成一个圈，人就在里面不停地干预。
第一步，可以对整个的文章以及里面的词、句和句法结构做无监督的聚类，比如LDA、PLSA或者是基于词向量的LDA等。而无监督的聚类算法有时不靠谱，需要通过人为标注了解类别是否有意义。
第二步，基于之前的标注，把标注的结果跟模型融合一起，可以再运行一个无监督的聚类。不断重复这个路径，模型迭代的结果会越来越好，人为标注的曲线和模型运行出的曲线开始逐渐趋近，得出不同的算法背的真正类别。从算法的角度讲，这个办法避免了大规模的人为标注的成本。
除此之外，实现方法还涉及语音相似度的分析、目标的检测、为用户提供的服务方式等。
应用场景有很多。第一个例子，我们假设在非洲国家买国债。非洲国家的宏观经济数据或不披露，或存在报假情况，很难找到明确的指标，我们可以应用人工智能，比如大量的卫星云图的图像，2016年《Nature》里的相关文章指出这个国家的GDP、国情、人民生活水平甚至和晚上这个国家灯火的亮度有一定关系，我们可以把类似的情况落地，对它的GDP、CPI做宏观分析。
第二个例子，企业的风险画像。针对中小企业提供贷款担保和偷税问题，我们有两个维度可以衡量，一个是中小企业贷款时候声称的收入，另一个是可以找到企业所交的税，通过企业交的税反推出它今年大概的收入。从网上去找到大量的不同维度的数据，如公司法务、人员、行业的用户画像等就能够描述出来。
把技术手段和应用场景结合起来，从大量的数据源中提取有意义的信息，我们就可以提供大量的知识体系和信息为金融赋能。
【今日机器学习概念】
Have a Great Definition
