大数据技术周报第 009 期

2022-05-26 08:54:55 浏览数 (1)

这里记录过去一周,大数据相关值得分享的东西,每周发布。

这是第 9 期分享,记录过去一周关于大数据的见闻,保证信息的质量和溯源。

技术一瞥

1.Kafka 最近发布3.0

  • 官网Blog:https://blogs.apache.org/kafka/[1]

I'm pleased to announce the release of Apache Kafka 3.0[2] on behalf of the Apache Kafka® community. Apache Kafka 3.0 is a major release in more ways than one. Apache Kafka 3.0 introduces a variety of new features, breaking API changes, and improvements to KRaft—Apache Kafka’s built-in consensus mechanism that will replace Apache ZooKeeper™.

  • Kafka 3.0 新特性(来自博客园)[3]

之前在Kafka 2.8.0版本时,Kafka社区提出了KRaft协议的概念,现在社区发布了Kafka 3.0,里面涉及优化和新增了很多功能,其中就包含KRaft协议的改机。今天,笔者就给大家介绍一下Kafka 3.0新增了哪些特性以及优化了哪些功能。

2.ClickHouse项目创始人正式组建商业化公司。昨天访问 ClickHouse 官网的时候,发现它的域名换掉了,之前的是 https://clickhouse.yandex/[4] 换成了 https://clickhouse.com/[5] 这个。界面也变了,看最新的blog发现,ClickHouse 的项目创始人已经离开了 Yandex ,创建了 ClickHouse inc 。文章宣布了ClickHouse 的同名商业公司 - ClickHouse, Inc 的正式成立。且该公司目前已经拿到了5000万美元的A轮投资,由 Index Ventures 和 Benchmark 领投,Yandex N.V 也有参与其中。ClickHouse, Inc 后续的商业模式可能会类似 Elastic 或者 Databricks,在继续会维护 ClickHouse 开源社区的同时,提供 ClickHouse 的云服务。原文在这:https://clickhouse.com/blog/en/2021/clickhouse-inc/[6]

文章

本周推荐文章

1、Apache Flink 在汽车之家的应用与实践本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2020 分享的议题《Apache Flink 在汽车之家的应用及实践》。主要内容包括:

  1. 背景及现状
  2. AutoStream 平台
  3. 基于 Flink 的实时生态建设
  4. 后续规划

2、分布式消息队列本文讲解了分布式消息队列的演进和设计要点,并分享详细的拆分 Kafka 和 Pulsar 的设计原理和特性。非常值得多读几遍。作者:vincentchma,腾讯 IEG 后台开发工程师

3、漫画| 一图带你看懂云原生

资源

1、https://flink-learning.org.cn/[7]

2、Hadoop 各个版本官方文档[8]

参考资料

[1]

官网Blog:https://blogs.apache.org/kafka/: https://blogs.apache.org/kafka/

[2]

Apache Kafka 3.0: https://kafka.apache.org/downloads

[3]

Kafka 3.0 新特性(来自博客园): https://www.cnblogs.com/smartloli/p/15334590.html

[4]

https://clickhouse.yandex/: https://clickhouse.yandex/

[5]

https://clickhouse.com/: https://clickhouse.com/

[6]

https://clickhouse.com/blog/en/2021/clickhouse-inc/: https://clickhouse.com/blog/en/2021/clickhouse-inc/

[7]

https://flink-learning.org.cn/: https://flink-learning.org.cn/

[8]

Hadoop 各个版本官方文档: https://www.yuque.com/cuteximi/base/gcovq8

0 人点赞