3 月底,作为 Cloudera Streaming Analytics 1.3 的一部分,我们发布了Cloudera SQL Stream Builder的第一个版本。它使用户能够轻松地编写、运行和管理对来自 Apache Kafka 的流的实时 SQL 查询,并提供异常流畅的用户体验。
从那时起,我们一直在努力展示 Apache Flink SQL-API 和CDP 中现有数据仓库工具的全部功能,以将其组合成最先进的实时分析平台。现在,我们正在发布我们产品的新版本,它将用户体验、技术能力和平台集成提升到一个新的水平。
功能亮点
- Flink SQL DDL 和目录支持
- 改进的 Kafka 和 Schema Registry 集成
- 来自 Hive 和 Kudu 的流丰富
- 改进的表管理
- 自定义连接器支持
Flink SQL DDL 支持
除了快速连接Kafka数据源外,用户现在可以完全灵活地使用Flink DDL语句来创建表和视图。
SQL Stream Builder 带有大量内置连接器,例如 Kafka、Hive、Kudu、Schema Registry、JDBC 和文件系统连接器,用户可以在必要时进一步扩展。
Catalog集成
Streaming SQL 控制台现在直接支持 Flink SQL Catalog,允许轻松访问存储在其他系统中的数据。SQL Stream Builder 捆绑了 3 个Catalog:Hive、Kudu 和 Schema Registry。
通过在流式 SQL 控制台中注册Catalog,用户可以即时访问所有表和数据,而无需手动添加它们。此步骤显着加快了查询开发和数据探索。
改进的 Kafka 和 Schema Registry 集成
我们进一步简化了与 Kafka 和 Schema Registry 的集成。Schema Registry 表现在将通过Catalog集成自动创建,因此用户无需一一添加。
对于不使用 Schema Registry 的 JSON 和 Avro Kafka 表,我们做了两个重要的改进:
- 时间戳和事件时间管理现在在 Kafka 源创建弹出窗口中公开,允许精细控制
- 我们还改进了 JavaScript 输入转换并将其与模式检测功能集成
来自 Hive 和 Kudu 的流式丰富
使用 Cloudera Streaming Analytics 1.4,您可以访问存储在 Hive 和 Kudu 系统中的所有数据,这为数据丰富开辟了关键用例。
您可以使用 Flink 强大的查找连接语法,通过 JDBC 连接器将传入的流与来自 Hive、Kudu 或数据库的静态数据连接起来。
表管理的改进
数据源数据接收器管理选项卡现在已重新设计为通用表管理页面,以查看我们系统中可访问的所有不同表和视图。
通过添加的搜索和描述功能,我们使表的探索变得更加容易。
总结
在 Cloudera Streaming Analytics 1.4 中,我们显着改进了 SQL Stream Builder 功能和用户体验。我们相信,在我们的最终用户可以轻松加入 Kafka 流和缓慢变化的源(如 Hive 和 Kudu)的用例中改变游戏规则,并释放通过 Cloudera 数据平台上的 Flink 运行流式 SQL 查询的真正力量。
原文作者:Gyula Fora & Marton Balassi
原文链接:https://blog.cloudera.com/what-is-new-in-cloudera-streaming-analytics-1-4/