大数据技术周报(2022年11月第一期)

来看看近期大数据领域都发生了哪些新鲜事儿？

Spark

Spark 3.3.1 于 2022年10月25日发布

Spark 3.3.1是一个包含稳定性修复的维护版本。该版本基于Spark的branch-3.3维护分支。强烈建议所有3.3用户升级到这个稳定版本。

Release Notes：https://spark.apache.org/releases/spark-release-3-3-1.html

Apache RocketMQ 5.0.0 正式版于2022年9月22日发布

RocketMQ 5.0.0 是有重大架构调整的版本，主要特性支持包括：服务器端重平衡和轻量级消费者客户端，从属代理主模式，支持 gRPC 协议以及DLedger控制器等。

Release Notes：https://rocketmq.apache.org/release-notes/2022/09/09/5.0.0/

Apache Pulsar 2.10.2 于2022年10月24日发布

Release Notes：https://pulsar.apache.org/release-notes/versioned/pulsar-2.10.2/

Apache Kylin 4.0.2 于2022年10月10日发布

主要特性发布：支持基数统计，支持 postgresql 存储 kylin 元数据，为 devops 设置特定的查询 id，支持Alluxio Local Cache Soft Affinity，加速云端查询性能。

Release Notes：https://kylin.apache.org/docs/release_notes.html

Apache Impala 4.1.1 于2022年10月20日发布

Release Notes：https://impala.apache.org/docs/changelog-4.1.1.html

Apache Hudi 0.12.1 于2022年10月19日发布

Release Notes：https://hudi.apache.org/releases/release-0.12.1/

Apache Doris 1.1.3 于2022年10月17日发布

此版本是 1.1 的错误修复版本，鼓励所有用户升级到此版本。主要特性：支持 ODBC 表中 sqlserver 和 postgresql 的转义标识符，可以使用 Parquet 作为输出文件格式。

Release Notes：https://doris.apache.org/blog/release-1.1.3

DolphinScheduler 2.0.7 于2022年10月24日发布，3.0.1 于2022年9月30日发布

2.0.7 Release Notes：https://dolphinscheduler.apache.org/en-us/blog/Apache_DolphinScheduler_2.0.7.html

3.0.1 Release Notes：https://dolphinscheduler.apache.org/en-us/blog/Apache_dolphinScheduler_3.0.1.html

Apache Airflow 2.4.2 于2022年10月24日发布

Release Notes：https://airflow.apache.org/docs/apache-airflow/2.4.2/release_notes.html#airflow-2-4-2-2022-10-23

Elasticsearch 8.5.0 于2022年11月2日发布

相对于 8.4 有一些 Breaking changes，主要是废弃了很多API，也新增了很多新特性如添加稳定的 Plugin API 模块和分析接口，并且内置JDK升级到了JDK19.

Release Notes：https://www.elastic.co/guide/en/elasticsearch/reference/8.5/release-notes-8.5.0.html#feature-8.5.0

0 人点赞