写在前面
接触过Java开发或从事程序员工作的应该都或多或少听过或用过kafka吧，没吃过猪肉也看过猪跑，那先来个灵魂三连问what？why？who？
什么是Kafka？
Kafka通常用于实时流数据架构，以提供实时分析。
Kafka正在爆炸式增长。超过三分之一的财富500强企业都使用Kafka。这些公司包括十大旅游公司，十大银行中的八家，十大保险公司中的八家，十大电信公司中的九家，以及其他一些中小企业。LinkedIn，微软和Netflix每天使用Kafka（1,000,000,000,000）处理万亿级的消息。Kafka用于实时数据流，收集大数据或进行实时分析（或两者兼而有之）。Kafka与内存微服务一起使用以提供可靠性，它可用于向 CEP（复杂事件流系统）和IoT / IFTTT式自动化系统提供事件。
为什么选择Kafka？
Kafka通常用于实时流式数据体系结构以提供实时分析。由于Kafka是一个快速，可扩展，耐用和容错的发布、订阅消息传递系统，Kafka一般情况下被用于JMS，RabbitMQ和AMQP可能因为数量和响应速度而不被考虑的情况。Kafka具有更高的吞吐量，可靠性和复制特性，使其适用于跟踪服务呼叫（跟踪每个呼叫）或跟踪传统MOM可能不被考虑的物联网传感器数据。
Who在使用Kafka?
许多处理大量数据的大公司使用Kafka。
- LinkedIn起源于它，用它来跟踪活动数据和运营指标。
- Twitter使用它作为Storm的一部分来提供流处理基础设施。
- Square使用Kafka作为消息总线，将所有系统事件转移到各种Square数据中心（日志，自定义事件，度量标准等），输出到Splunk，Graphite（仪表板）以及Esper-like / CEP警报系统。
- Spotify，Uber，Tumbler，Goldman Sachs，PayPal，Box，Cisco，CloudFlare和Netflix等公司也使用这种方法。
由此可见，无论是在技术使用上，还是需求手段上，kafka在现在的互联网公司都有很大的应用空间，由此，对于我们不断需要学习的程序员来说，充分了解并逐渐达到能掌握Kafka就显得尤为重要了，可以这么说，你可以不会使用，但你不能不懂它是干嘛的，原理是什么，有什么应用手段。
以下则是我花了一个月时间整理梳理的资料文档，从初识Kafka，生产者消费者详解到Kafka储存，高级应用，集群管理，帮助你更好理解学习Kafka，完整版文档限于篇幅暂未展示
kafka知识导图
第一部分：初识Kafka
通过这一部分的学习，你可以学习到以下内容：
- 知道Kafka基本原理，了解关键术语概念
- 可以初步使用Kafka进行消息系统开发
- 通过Java语言来使用Kafka进行消息收发
内容涵盖：（特性 使用场景 技术优势 适应人群 概念详解 安装与配置 Java第一个程序 服务端常用参数配置 总结）
第二部分：生产者详解
通过这一部分的学习，你可以学习到以下内容：
- 深入学习Kafka数据生产大致流程
- 如何创建并使用Kafka生产者
- Kafka生产者常用配置
内容涵盖：（消息发送 发送原理剖析 其他生产者参数 总结）
第三部分：消费者详解
通过这一部分的学习，你可以学习到以下内容：
- 深入学习Kafka数据消费大致流程
- 如何创建并使用Kafka消费者
- Kafka消费者常用配置
内容涵盖：（概念入门 消息接收 总结）
第四部分：主题
通过这一部分的学习，你可以学习到以下内容：
- 深入学习Kafka主题的管理
- KafkaAdminClient应用
内容涵盖：（管理 增加分区 分区副本的分配 其他主题参数配置 KafkaAdminClient应用 总结）
第五部分：分区
通过这一部分的学习，你可以学习到以下内容：
- 深入学习Kafka分区的管理
- 包括：优先副本的选举、分区重新分配等
内容涵盖：（副本机制 分区Leader选举 分区重新分配 修改副本因子 分区分配策略 总结）
第六部分：Kafka存储
通过这一部分的学习，你可以学习到以下内容：
- 在完成Kafka应用开发的基础上，知道文件存储机制
- Kafka为什么使用磁盘作为存储介质
- 分析文件存储格式
- 快速检索消息
内容涵盖：（存储结构概述 日志索引 日志清理 磁盘存储优势 总结）
第七部分：稳定性
通过这一部分的学习，你可以学习到以下内容：
- 深入学习Kafka在保证高性能、高吞吐的同时通过各种机制来保证高可用性
内容涵盖：（幂等性 事务 控制器 可靠性保证 一致性保证 消息重复的场景及解决方案 __consumer_offsets 总结）
第八部分：高级应用
通过这一部分的学习，你可以学习到以下内容：
- 作为运维人员掌握命令行工具
- 使用Connect进行流信息处理
- 掌握延迟消息、流式处理等
- Kafka和SpringBoot整合
内容涵盖：（命令行工具 数据管道Connect 流式处理Spark SpringBoot Kafka 消息中间件选型对比 总结）
第九部分：集群管理
通过这一部分的学习，你可以学习到以下内容：
- 熟悉Kafka集群管理相关内容
- 配置与调优
内容涵盖：（集群的特点 集群的能力 集群使用场景 集群搭建 多集群同步 总结）
第十部分：监控
通过这一部分的学习，你可以学习到以下内容：
- 知道Kafka的监控体系
- 掌握JMX监控指标
- 数据异动实时提醒
内容涵盖：（监控度量指标 broker监控指标 主题分区监控 生产者监控指标 消费者监控指标 Kafka Eagle 总结）
写在最后
在当前的形势下，Kafka被越来越多的互联网独角兽企业所器重，在业务中的使用也越来越多！所以对于我们从事it技术人员来说，不一定要熟练到玩出花来，但是至少得要学会怎么用，得知道这是干嘛的。这样在业务中才能不断提升自己的能力，和老板、和HR谈涨薪，或是跳槽入大厂，才能手握更多筹码，底气也会足很多。否则，只是一味地做，不停地996，业务能力却没有提升，那就已经陷入了无端内卷的循环，最终就会被公司所抛弃，更不要说什么涨薪了。
最后，我想说的是，学习并非难事，而贵在坚持，尤其是在我们参与工作之后，平衡工作和生活的时间后，要继续坚持学习就更不容易了，但上天从来只会眷顾那些努力上进的人，对我们程序员来说尤为如此。学习是立业之根本，如若放弃学习，被市场淘汰是迟早的事情。所以，学习更多新的知识来充实自己的能力，提升自己的水平对于自己来说才是一种更大的投资。希望读者学到之后，能为自己的职业生涯增光添彩。
