大数据平台和AI平台应该如何整合

大数据和AI两者最核心的部分都是数据。大数据的主要工作是对数据进行各种转换和存储。而AI的主要工作是学习数据并且得出模型。 AI天然需要大数据的基础，因为AI需要各种形态的数据，而我们得到这些形态的数据，必然离不开大数据。就此而言，他们两个合在一起，才是一个完整的工作流。

所以大数据平台要和AI进行整合，有两个核心点：

数据的交换
统一的语言

无论进程内还是进程间，数据交换最高效的方式是通过 Apache Arrow。那么数据交换的问题算是有了一个标准。

统一的语言呢？大部分大数据基础软件都是Java/Scala,而AI则是Python based on C /C的。大部分公司最后会选择Python作为一个大一统语言。尽管Python比较简单，但是学习成本依然不低，而且对于数据的操作，他其实不是最优的。对数据操作最优的是SQL。对算法而言，则是Python。尽管如此，我们可以将SQL内嵌到Python里。

然而在实际的工业实践中，获得一个算法模型，大概率70-80%的人工时间都是在数据处理上。然后大概率70-80%的机器时间都是在模型训练上。这意味着，本来用户应该70%-80%的时间只要使用SQL就能搞定自己的问题，剩下的时间开发模型以及调整模型参数。

就此而言，最好的模式是SQL包含Python,因为无论从人员的时间上，还是代码量上，数据处理都是最大的，这意味着我们应该尽可能让数据处理用起来更简单。

所以我们有了MLSQL 这么一个新语言：

A Programming Language Designed For Big Data and AI

MLSQL 是一个SQL形态的语言，保留了SQL的大部分特性，同时对除了查询以外的语法做了必要的简化，同时内嵌python支持。MLSQL可以单机或者分布式运行。配合MLSQL Console 系统，我们基本可以覆盖AI同学工作的大部分时间。

假设用户希望使用python对一张表里的每条数据进行处理，那么会写如下的代码：

代码语言：javascript复制

import ray
from pyjava.api.mlsql import RayContext
import numpy as np;


ray_context = RayContext.connect(globals(),"192.168.217.155:49860")
is_in_mlsql = ray_context.is_in_mlsql

ray_context.mock_data = [{"content":"jack"},{"content":"jack3"}]

def echo(row):
    row["content"]="jackm"
    return row
    

buffer = ray_context.foreach(echo)

if not is_in_mlsql:
  for item in buffer:
    print(item)

这里我们连接了Ray 去执行实际的业务逻辑。

echo 只是简单的对所有的数据的content字段进行填充。mock_data提供了mock数据。执行结果如下：

测试代码没问题了，现在我们希望真实加载HIve里的数据做处理。

代码语言：javascript复制

!pyInclude python-example.test2.py named wow1;

load hive.`mock.mock_data` as orginal_text_corpus;

select id,content,label from orginal_text_corpus as orginal_text_corpus1;

-- ray 配置
!python env "PYTHON_ENV=export PYTHONIOENCODING=utf8 && source activate dev";
!python conf "schema=st(field(id,long),field(content,string),field(label,double))";
!python conf "pythonMode=ray";
!python conf "runIn=executor";
!python conf "dataMode=data";

-- ray处理数据代码
!ray on orginal_text_corpus1 py.wow1 named mlsql_temp_table2;

--结果
select * from mlsql_temp_table2 as output;

得到结果如下：