Facebook的开源Native大数据引擎Velox能成为我说的又好又快的Native引擎吗?

2022-08-29 12:10:16 浏览数 (1)

新粉请关注我的公众号

昨天公众号的文章:这个大数据开源项目多半要黄,但我希望它能成。。。写了以后,后台留言最多的就是问我怎么看Facebook的Velox这个开源native引擎。

其中,有该团队的人说,Gluten也和他们合作,现在已经基本上能够替换Facebook内部的Presto了,Spark的替换还在开发中。

这个问题的答案,说实话,我也不知道。我没研究过它的代码。所以我也没有什么发言权。相比较而言,ClickHouse我还真的看过一些源代码,懂得多一点。所以多少能扯上几句。

但是我如果就这样回答了,你们估计也不满意,所以我们拉长时间看一看Facebook过往在大数据开源项目的时候都发生了一些什么。

以史为鉴,如果Velux有Facebook的基因,秉承了Facebook的文化,那大概率我们也可以从过去去预知未来。

Cassandra是一个Facebook开源的项目,模仿Amazon DynamoDB而作。Facebook后来在Messenger的技术选型中决定选择HBase,也就很快亲手的停止了对自己亲儿子的支持。

如果不是因为后面Datastax选择了支持Cassandra,并作为其创业项目的话,Cassandra估计现在已经坟头长草有些日子了。

HIVE也是Facebook早年的贡献。自从Facebook内部的Presto团队战胜了HIVE团队以后,Facebook对开源HIVE怎么发展也就约等于任其坟头长草了。

当然题外话,最牛逼的还是那个Hortonworks。一群写Pig的人开始肆意的魔改HIVE,为了引进TEZ的支持,把HIVE代码硬是搞成比一坨屎还要一坨屎。这也算是开源界的奇葩了。当然这是题外话。

Presto开源的时候,一开始大家期望很高,而且Presto也是Facebook最成功的开源大数据项目。但是没过多久,社区的人就对这个项目有意见了,主要是大家觉得Facebook对Presto社区的发展不上心,只以自己内部需求重心,忽略了项目的长期发展和社区广大群众的需求。 

后面Presto的几个创始人跳出来,和Facebook撕逼,有了PrestoDB和PrestoSQL两个分支。Facebook又通过法律手段表明自己才拥有Presto的品牌,对方最后改名Trino。

当时发生事情的时候,几个创始人跳出来还给大家道歉,说我们过去总是以Facebook自己的需求为中心,忽略了社区广大群众的需要,这是我们做的不对。我们现在从Facebook辞职了,我们肯定会吸取教训改正等等。最后这些人都去了StarBurst,拿着这个项目分支创业去了。

这是大数据开源项目上的一件大事。当时我司准备上Presto的时候,正好赶上了大撕逼的时代,我司也很困惑到底要选择哪个阵营。这事情我全程参与了整个决策过程。

我司领导Presto团队的,是一个前Facebook的manager。对方当然一开始就倾向于站队Facebook。但是大跌眼镜的是,后面我司的几轮和两边的沟通之后,所有人一致,包括前Facebook的领导,都选择了另外一边。

为什么沟通之后大家都抛弃了Facebook?我摊开来和大家讲,就是Facebook对于Presto这个产品的未来规划,包括比较重要的一些feature等等,都是为了Facebook自己内部的需求服务,并不是为了这个产品的整体发展服务。简单总结,就是急功近利,不可持续发展。

我本人没有在Facebook工作过,所以我也不知道Facebook到底是什么样的企业文化,内部码农又是怎么样做事情的。

但是从我直接和间接的接触来看,在大数据开源项目领域,这个公司的文化表现在急功近利,不可持续发展方面是有历史的。很多的时候都喜欢通过短平快的方式走捷径达到目的,而走捷径是要付出代价的。

Facebook对大数据开源项目始终都不是以开源项目社区的长久发展作为第一优先级,而是工具应该服务Facebook的内部问题,最好的是,开源社区的人来一起帮助Facebook服务其内部需求为第一优先级。

总而言之,Facebook过往对大数据开源社区,不能说没有做出贡献,甚至说很多事情,一开始还是挺伟大的,应该挺有影响力的。但是由于Facebook做事情的方式,以服务自己公司最高优先级,对社区发展上,不上心没大局观,而且写代码爱走捷径,急功近利,这些都是有历史的。

我并不是说Facebook以前有过一二三次这种表现,就意味着Velox也会走这条路。但是我除了历史,也没有其他的东西可以参考。

所以你要问我Facebook的开源native大数据引擎Velox,能不能成为我昨天说的又好又快的native引擎,我只能说,我根据以外的历史,会比较谨慎的看待,多给些时间给对方成长。一定要我给个结论的话,我暂时不够乐观。

0 人点赞