大数据圈还能混吗?

2023-10-07 15:07:02 浏览数 (1)

工作这么多年,浪尖一直从事大数据相关的架构设计,计算框架的二次开发,尤其是实时计算框架,最近两年在搞实时数仓和数据分析,浪尖算是跟着大数据生态成长起来的老人了。

最近也跟一些猎头聊过现今招聘现状,结论是怎一个惨字了得。

目前,大数据能做的或者还在折腾的方向基本就是:

1.数仓建设,大都是是 lamda 架构,也即是离线 实时数仓。这也是 lamda 架构演进的第二阶段。

2.通过湖仓一体,来实现离线和实时统一。典型的组合是 flink hudi,感觉还是 flink 发展带动的,目前问题比较多,比如血缘追踪,数据修正等。需配合一些 olap 框架,如 presto 和 ck。

3.真正能实现离线实时统一的,浪尖觉得也就是 flink paimon 了,不过 paimon 还在快速成长阶段,在做这块的大家可以都跟一下,但其实绝大多数公司实际不需要的。一些电商的仓储,供应链等场景还需要吧。需配合一些olap 框架,如 presto 和 ck。

4.平台二次开发,中小公司都不会去做,都上云了,大公司也做的差不多了,没啥可做的了

0 人点赞