我们很高兴地宣布发布用于 CDP 私有云基础的 Cloudera 流分析 (CSA) 1.6。在此版本中,我们在 1.4 和 1.5 的基础上进行构建,其中包含许多修复、增强和功能。从这个版本开始,我们现在有一个协调一致的 CSA 社区版 (CE) 发布周期。您现在可以期待同时发布 CE 和 CDP 私有云基础版本的 CSA。这将确保您首先获得最新功能,我们希望您能够尽早并经常向我们提供反馈。
Cloudera 在 CDP 私有云基础上发布了 CSA 的维护版本1.6.1,以解决被确定为 Log4j2 的关键漏洞问题的 CVE-2021-45105 和 CVE-2021-44832。
Cloudera SQL Stream Builder 最初在 CSA 1.3 中发布。从那时起,我们已经看到了巨大的牵引力和从中等规模到超大型规模的大量生产实施。我们一直在收集客户反馈,并将其合并到此版本中。其中一些改进和功能包括:
- Flink JAR 提交(用于 Java UDF)
- 全面的日志记录改进
- DB2 变更数据捕获 (CDC) 和 JDBC 连接,使得能够通过 SSB 中的 Change Data Capture 连接器使用来自 IBM Db2 数据库的数据。
- 可以添加新的连接器和数据格式,也可以是有Streaming SQL控制台修改默认和预定义的连接器和数据格式,以便进一步自定义Streaming SQL作业。
- 提供了SQL作业迁移工具,可以使用REST API或者命令行(CLI)将具有配置的SQL作业从一个集群迁移到另一个集群。
- 为 Flink 和 SSB 的作业、会话和查询管理通过SQL Stream Builder REST API 扩展提供更多的操作。Cloudera Manager 和 Streaming SQL Console 也有一个 REST API Explorer 的直接链接。
- RHEL 8.x 兼容性
- Flink 1.14
- CE 的 JDBC 安装说明
- 安全性改进(描述CVE-2021-44228)
- 实现更快 CSA 开发的内部优化和改进
您可以在文档中查看详细的发行说明。
CSA CE 从 1.5 版开始发布,反馈令人难以置信。但我们想解决一个不断出现的问题——CSA CE 作为我的流处理作业的主要开发环境是否有意义?答案是,基本上,是的!传统上,Cloudera 发布了 CSA 软件的试用版。但是,CE 完全消除了对试用版的需要——您可以尽情试用 CSA,或者直到您的 POC 完成。但是,CE 走得更远,将其用作您的永久开发环境是有意义的!
我们预期的工作流程是这样的:
- 使用CSA CE编写 SQL 并构建作业/处理器
- 在您的桌面或云节点上运行,通过对各自集群的 API 调用连接到 Kafka 或其他源/接收器。
- 在 CE 环境中运行/测试/迭代,直到您的工作准备好投入生产。
- 将您的 SQL、UDF 等保存到文件中(可能在源代码存储库中)并通过REST在 CSA 的生产版本上运行/管理它(再次通过 API 调用)。
我们希望这有助于澄清有关 CSA CE 可用于什么以及建议的配置和架构的一些问题。我们计划在此工作流程上发布未来的博客文章。在此之前,如果您有任何问题或反馈,您可以随时通过https://community.cloudera.com 联系团队。
原文作者:Kenny Gorman
原文链接:https://blog.cloudera.com/cloudera-streaming-analytics-1-6-release-notes/