获取文件hash有什么用呢？当然是用来实现分片上传和断点续传和秒传功能的，这里要用到spark-md5，没有的话先安装下

新粉请关注我的公众号根据最新消息，星环科技上市科创板的申请被批准了。星环科技即将在科创板登录。对于在大数据领域工作的人来说，星环科技一定是很熟悉的一家公司了。有人对它的称呼是中国的Cloudera。当然这个称呼也...

2022腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交 Firestorm 项目申请书Firestorm 项目介绍Firestorm是腾讯研发并开源的面向分布式计算框架的Remote Shuffle Service。作为云原生的...

Flink Forward Asia 2020 三天的分享已经结束，在这次分享上，自己也收获到了很多。这里写一篇文章来记录下自己这次的收获和总结，从个人的视角以及理解，和大家一起分享下，当然，如果有理解错误的地方，也欢迎大家指出。...

想通过 spark sql 查询 hive 表然后将相应的字段组装成 sql，类似于 json_object ，不过可惜的是 spark 3.1.x 并没有 json_object 函数，不过还好spark sql 有 to_json 函数...

Iceberg项目2017年由Netflix发起， 它是在2018年被Netflix捐赠给Apache基金会的项目。在2021年Iceberg的作者Ryan Blue创建Tabular公司，发起以Apache Iceberg为核心构建一种新型数据平台。...

新粉请关注我的公众号在最近费城召开的SIGMOD2022上，Databricks当仁不让成为了赢家，一共拿到了两项大奖：1.Spark拿到了SIGMOD System Award2.Photon拿到了Best Industry Paper AwardSIGMOD和VLDB是数据库领域两大顶级会...

官方推荐的 seatunnel1.5.7+spark2.4.8+scala2.11

在前一篇文章中，我们已经搭建好了Hadoop的群集，接下来，我们就是需要基于这个Hadoop群集，搭建Spark的群集。由于前面已经做了大量的工作，所以接下来搭建Spark会简单很多。...