flume 1.9 版本更新
个人见解
关心的几个点
- Flume环境变量支持float或double
- 高版本kafka支持与指标完善
- 安全相关的几点改进
总体上这个版本并没有带来太核心的变化，老版本用户可以不考虑升级。
官方说明(翻译为主)
** 新特性
FLUME-2071 - Flume环境变量不支持float或double的配置值.
FLUME-2442 - Flume配置中提供明文密码之外的另一种方法
FLUME-3142 - 新增了HBase2的sink
** Improvement
FLUME-2653 - 允许inUseSuffix是null/empty
FLUME-2854 - pom文件中jetty版本参数化
FLUME-2977 - 升级RAT版本到0.12
FLUME-3050 - 新增一个用于错误条件的计数器并将它上报到监控的URL
FLUME-3182 - 添加对syslog (tcp)和多端口syslog (tcp)Source的SSL/TLS的支持
FLUME-3186 - 可以在flume配置中调整asyncHbaseClient配置参数
FLUME-3223 - Flume HDFS Sink should retry close prior to performing a recoverLease
FLUME-3227 - StressSource新增限速功能
FLUME-3239 - SpoolDirectorySource中不要重命名文件
FLUME-3246 - 验证flume配置来避免source批量值大于channel的transaction容量
FLUME-3269 - 支持JSSE keystore/trustore -D system properties
FLUME-3275 - Components supporting SSL/TLS should be able to 特点协议列表 protocol list
FLUME-3276 - Components supporting SSL/TLS should be able to specify cipher suite list
FLUME-3280 - 通过向其添加静态代码分析器来改进maven构建以帮助代码审查
FLUME-3281 - 升级到Kafka 2.0 client
FLUME-3282 - 使用slf4j在每个component
** Bug
FLUME-1282 - Maven 2构建flume 1.x失败的情况
FLUME-2232 - Flume build时增加了findbugs
FLUME-2436 - 将hadoop-2设为默认构建文件
FLUME-2464 - 移除hadoop-2文件
FLUME-2786 - 停止flume-ng之前修改conf文件时，它将进入死锁状态
FLUME-2894 - Flume组件应按正确顺序停止（正常关闭）
FLUME-2973 - hdfs sink的死锁
FLUME-2976 - 当JMS source 试图连接一个Weblogic server没有鉴权时抛异常
FLUME-2988 - Kafka Sink指标缺失eventDrainAttemptCount(sink尝试写入的总数量)
FLUME-2989 - Kafka Channel指标缺少eventTakeAttemptCount(sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回，因为sink拉取的时候channel可能没有任何数据)和 eventPutAttemptCount(Source尝试写入Channe的事件总数量)
FLUME-3056 - 测试应用无限期hang住
FLUME-3101 - taildir source 可能无限循环当tail一个文件的时候
FLUME-3106 - 当sink的batchSize大于Memory Channel的transactionCapacity时，Flume会产生无穷无尽的数据
FLUME-3107 - 当sink的batchSize大于File Channel的transactionCapacity时，Flume会产生无穷无尽的数据
FLUME-3114 - 更新commons-httpclient的库依赖
FLUME-3117 - 在methodconfigure中调用System.exit()时，应用程序可能死循环
FLUME-3133 - 在Syslog Sources增加了一个ipHeader配置
FLUME-3201 - 修复SyslogUtil在12月正确处理RFC3164格式
FLUME-3218 - 修复外部进程配置filter测试
FLUME-3222 - TAILDIR源删除文件时抛出java.nio.file.NoSuchFileException
FLUME-3237 - 处理来自JMSSource中JMS提供程序的RuntimeExceptions
FLUME-3253 - JP Morgan Chase扫描使用Apache Flume 1.8显示Splunk App的漏洞
FLUME-3265 - 无法为LoadBalancingRpcClient设置批量大小
FLUME-3270 - 如果发生故障，请关闭JMSMessageConsumer构造函数中的JMS资源
FLUME-3278 - 处理Kafka组件中的-D密钥库参数
FLUME-3294 - 修复TaildirSource中的轮询逻辑
FLUME-3298 - 在flume-ng-hadoop-credential-store-config-filter增加hadoop-common 选项
FLUME-3299 - 修复pom文件中的log4j范围
** Sub-task
FLUME-3158 - 更新 surefire 的版本和配置
FLUME-3243 - 增加hdfs.callTimeout的值以及文档的相关描述
FLUME-3303 - 在release notes里面提及未来配置变化
** Test
FLUME-3195 - 切分TestKafkaChannel class
** Wish
FLUME-3087 - 切换日志等级从WARN到INFO,当使用 “maxIOWorkers” 默认值时.
** Task
FLUME-3183 - Maven: 生成SHA-512的checksum在deploy时
** Dependency upgrade
FLUME-2698 - 更新 Jetty 版本
FLUME-3115 - 更新 netty 库依赖
FLUME-3194 - 更新 derby 到最新版本 (1.14.1.0)
** Documentation
FLUME-1342 - JMX 监控 API 文档
FLUME-2723 - 需要 Channel’s transactionCapacity >= batchSize of the source/sink的文档
FLUME-3051 - 提到不兼容 Kafka source 在 0.8.x Kafka brokers
FLUME-3228 - interceptor timestamp中不正确的参数名
