离线需求，一般是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。

在学习Kafka的途中，我总结了一个系列的Kafka学习征途系列教程，它只选取了我认为最实用的部分整理出来，以及结合我最熟悉的.NET技术栈进行了演示。

分布式项目中，模块与模块之间的通信可以使用RPC框架，如Dubbo，但RPC中调用方模块获取到被调用方的结果是同步的，争对一些只需要异步调用的方法，如日志存储、发送消息等，RPC就显得效率低下了，AMQP协议的推出就是用来解决进程之...

PS: 当某个Topic的分区少于指定的分区数时候,他会抛出异常;但是不会影响其他Topic正常进行;

分布式选举主要是选出主节点，该主节点在分布式集群中对其他子节点进行协调和管理，保证集群有序运行和节点间数据的一致性。

KafkaProducer在发送消息的时候,需要指定发送到哪个分区, 那么这个分区策略都有哪些呢？ 我们今天来看一下

如果出现 already running as process 错误，这个一般是因为机器异常关闭缓存目录中残留PID文件导致的(为关闭进程强行关机等导致的）

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议 MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal ) canal 解析 binary log 对象(原始为 byt......

为了更方便的进行数据读写，消息在磁盘底层的文件目录设计，都需要关注和解决什么问题呢：

Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图：