在Windows系统中打开第1个cmd窗口，执行如下命令启动 Zookeeper服务：

一般使用 Flume + Kafka 来完成实时流式的日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据...

需要注意:参考的网站要与你的kafka的版本一致,因为里面的字段会不一致 例如:http://flume.apache.org/releases/content/1.6.0/FlumeUserGuide.html#kafka-sink 这是1.6版本的,如果需要查看1.9版本的直接就将1.6.0改...

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/152384.html原文链接：https://javaforall.cn

分别在linux系统里面建两个文件夹：一个文件夹用于存储配置文件（flumetest），一个文件夹用于存储需要读取的文件（flume）

Flume日志采集组件；Flume对接kafka主要是为了通过kafka的topic功能，动态的增加或者减少接收的节点，并且Flume要对接多个节点是需要多个channel和sink的会导致内存不够的情况。...

Flume 发送数据到 Kafka 上主要是通过 KafkaSink 来实现的，主要步骤如下：

1.解耦，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！

MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。

如果已经占满100%，可以先去查找筛选出磁盘上其他占用很大的无用文件或者日志等，释放出一部分空间。