kafka的特点是高性能和可扩展，不保证消息100%可靠，适用于日志压缩收集、监控数据聚合等场景。而rabbitmq遵循AMQP协议，主要用于可靠性要求高的企业金融级产品...

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)。Kafka主要被用于两大类应用：1.在应用间构建实时的数据流通道；2.构建传输或处理数据流...

1、kafka官网：http://kafka.apache.org/downloads

近日伯克利 RISE Lab 开源了一个多数据流实时分布式分析系统 Confluo，它即是一个网络监控和诊断框架，也可以作为时序数据库和发布订阅消息系统。

2)，分组消费，同一个分组内所有消费者消费一份完整的数据，此时一个分区数据只能被一个消费者消费，而一个消费者可以消费多个分区数据

有一个客户端Client可以产生日志信息，我们需要通过Flume获取日志信息，再把该日志信息放入到Kafka的一个Topic：flume-to-kafka

这里通过 VMware ，我们安装了三台虚拟机，用来搭建 kafka集群，虚拟机网络地址如下：

关于如何搭建ELK部分，请参考这篇文章，https://www.cnblogs.com/JetpropelledSnake/p/9893566.html。

filebeat.prospectors:- type: log               #日志输出类型  enabled: true                                                             paths:             ...

Client和Server之间的通讯，是通过一条简单、高性能并且和开发语言无关的TCP协议。并且该协议保持与老版本的兼容。Kafka提供了Java Client（客户端）。除了Java Client外，还有非常多的其它编程语言的Client。...