Apache NIFI v1.13.0发布了

2021-03-07 13:09:09 浏览数 (1)

2021年2月15日,Apache NIFI发布了新版本v1.13.0。

回顾2020年,Apache NIFI一共发布了7个版本1.12.1、1.12.0、1.11.4、1.11.3、1.11.2、1.11.1、1.11.0。版本发布之频繁前所未有,可以看出NIFI的开源社区贡献力量壮大了许多,同时也更加期待NIFI未来能够给我们带来更多的惊喜。

下面我们看一下官方提到的1.13.0版本的主要特点。

1. Status history is now held for system level metrics (GC, repo sizes, load average)

点击新版的右上角,可以查看节点近24小时系统级别的一些的状态历史,比如堆历史,文件句柄历史,各个存储库空间历史等等,目的是便于排查问题。

2. Now support a ListenFTP processor to allow NiFi itself to act as an FTP server

新增加了ListenFTP处理器,使用这个组件我们可以把NIFI当做FTP服务器直接向NIFI所在的服务器上传文件。

3. Now able to automatically alter Hive table structures based on evolution in the schema of incoming data

新增加了UpdateHiveTable UpdateHive3Table组件,根据传过来的数据的schema信息,自动新建或者修改hive表结构。

4.Component level properties (like those of Processors) now have a dependency structure so that users are guided to set additional related properties as appropriate

组件的Properties之间可以存在依赖关系了(这个对开发人员来说太棒了,不然需要写一堆逻辑来维护配置之间的依赖关系)。比如说属性A依赖与属性B或者属性B中的某些值,当只有选择B或者B的某些值时,我们的配置页面才会出现A的配置。

暂时有这个功能的我只看到了MergeContent,在属性Merge Strategy选择不同的属性值时,你会看到配置页签出现了不同的配置项。

5. Zookeeper interactions can now be protected with TLS

集群模式内置Zookeeper或者使用外置的Zookeeper都支持了TLS了,需要注意的是内置zk支持TLS时,集群节点之间需要手动配置证书(互相信任)。连接外置的安全的zk时要在nifi.properties中进行相应的配置

代码语言:javascript复制
nifi.zookeeper.client.secure=false
nifi.zookeeper.security.keystore=
nifi.zookeeper.security.keystoreType=
nifi.zookeeper.security.keystorePasswd=
nifi.zookeeper.security.truststore=
nifi.zookeeper.security.truststoreType=
nifi.zookeeper.security.truststorePasswd=

6.Numerous improvements for interactions with Microsoft Azure protocols and systems

微软相关的,我们也不用,就不了解了。

7.Improvements to Google Cloud and Amazon Web Services integrations

谷歌和亚马逊的,基本上咱们也用不到的。

8. Improvements to AMQP and MQTT integrations

但我只看到了ConsumeMQTT组件的一些增强。

9. Several improvements enabling better Change Data Capture and stable high speed ingest to Apache Kudu

提升了kudu的cdc性能。

剩下的bug修复以及其他提升可以到版本日志里面查看:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12348700

下面我截个图标注一下,你们可以看一下有没有经常使用的组件,可以考虑是否升级这个版本。

0 人点赞