引入 MQ 消息中间件最直接的目的是：做系统解耦合流量控制，追其根源还是为了解决互联网系统的高可用和高性能问题。

/spark/examples/src/main/python/streaming

LEO：Log End Offset，待写入消息的offset，即最后一条消息的offset+1

一般也不需要非常仔细地进行数据分层，数据直接通过Flink计算或者聚合之后将结果写MySQL/ES/HBASE/Druid/Kudu等，直接提供应用查询或者多维分析。

早在之前就了解到了消息中间件，但是一直没有系统的学习，最近花了一段时间系统学习了当下最为主流的 RabbitMQ 消息队列，学习过程中也随时记录，刚开始学习的时候懵懵懂懂，做的笔记都比较杂乱，系统学习完后我将笔记内容不断反...

消息队列（Message Queue）简称mq，本文将介绍SpringBoot整合rabbitmq的功能使用

在进程篇的学习中，我们花过很大的篇幅讲过进程间的通信问题。但是在协程中，这个问题其实并不是很重要，为什么呢？因为从基础的理论我们就知道，协程是基于线程的，而线程在同一个进程中是共享内存的，通信其实并不会有太大的问题...

1.什么是RabbitMQ RabbitMQ是一个由erlang开发的AMQP（Advanced Message Queue 高级消息队列协议 ）的开源实现，能够实现异步消息处理 RabbitMQ是一个消息代理：它接受和转发消息。 你可以把它想象...

之前说了数据采集方案，数据库的数据，前端埋点数据，IOT数据经过一些中间件或者应用程序采集到Kafka后，分为了两条路线，一条是走离线，一条走实时，离线的会存储到HDFS，然后时候Hive构建离线数据仓库，实时的则进入flink做流式计算...

MQ（Message Queue）消息队列，是基础数据结构中“先进先出”的一种数据机构。指把要传输的数据（消息）放在队列中，用队列机制来实现消息传递——生产者产生消息并把消息放入队列，然后由消费者去处理。消费者可以到指定队列拉取...