有没有用过消息中间件的老铁,基本如果从事互联网行业的老铁都用过消息中间件,企业开发也有用过的。基本上现在基本都用过,老铁们一起梳理下,消息中间件,然后进入rocketmq。
什么是消息中间件 (一)
•① 个人理解
随着服务的增多,并发增大,公司无力开发一些功能,需要中间件这种消息通信。
•② 官方解释
消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行 分布式系统 的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。
•③ 消息
消息即为数据,数据就会有规则,有长度,有大小。标准JMS(JSR914):https://www.jcp.org/en/jsr/detail?id=914 Java Message Service简称JMS,为Java 程序提供一种通用的方式,来创建、发送、接收以及读取企业消息系统的消息。
•④ JMS 元素
1.Provider提供方:服务提供者。2.Producer生产者:创建和发送JMS消息的客户端。3.Consumer消费者:接收JMS消息的客户端。4.Client客户端:生产或消费消息的应用&进程。5.Message消息:服务端与客户端之间的传输数据对象。6.Queue队列 :包含待读取消息的准备区域(点对点)。7.Topic主题:发布消息的分布机制(发布&订阅)。
•⑤ JMS提供五种消息主体
1.StreamMessage(流)2.MapMessage(属性集合)3.TextMessage(文本、字符串)4.ObjectMessage、BytesMessage(字节)
•⑥ 中间件
为我们提供发送消息的程序或者服务. RocketMq、 Kafka、ActiveMq(严格jms jsr914)、RabbitMq
为什么要用消息中间件 (二)
•① 双11数据的实时展示
•② 追溯原因
电商系统都比较大,里面有很多个系统,里面有N多的系统,订单系统,营销系统,日志表系统,物流系统,积分系统,统计系统。如果RPC框架调用方式就例如下图:
双11来了,因为短时间内流量很大,需要对一些系统进行降级,日志表系统,积分系统,这些系统需要关闭。服务不可用。但是统计系统必须要用,需要实时的查看系统的情况。
可以看到一个很明显的问题。它们的耦合性问题,假设系统都已经做好了,也就是订单系统联调右边的任何系统都没问题了。订单系统调用其他系统实在是太多了,如果又增加新系统,就会让订单系统修改添加新的系统RPC接口。
其实增加一个系统对于订单系统没问题,改改代码就完了,也就是不停的升级版本,1.0版本,2.0版本,可能到最后打死也不改的版本。
问题 1.下游系统修改影响上游系统。2.依赖关系很深。
•使用了消息中间件的效果
订单系统跟下游的系统没有关系,只跟中间件有关系,下游想获取订单系统的信息,跟我的小秘消息中间件说吧,我不会回答你任何问题。我有什么事情直接给小秘说了,你访问我的小秘,他如果知道他会告诉你一切。我告诉小秘的事情,小秘会等我说完,告诉其他人,我可以去干别的事情了。消息中间价的作用就是有事找小秘。
好处:
1.带来了异步。
如果原来的RPC,都是连接的订单系统,串行执行下游系统前4个都没问题,第5个物流系统出问题了,就需要回滚。直接影响到了系统的性能。使用了消息中间件后,订单中心把数据访问直接给消息中间件后,就立刻入mysql库了。等物流系统起来后,在进行处理,不会影响系统,不会回滚,这样就是异步处理。
2.系统进行了解耦。
RPC需要服务端生成对应的jar包,客户端通过RPC远程调用的使用依赖jar包,统计系统连接订单系统的时候需要下载一个对应的jar,日志系统连接订单系统的时候也需要下载一个对应的jar。他们互相调用的时候会有个响应码。耦合性就非常非常的强。所以消息中间件就是为了解耦。所有的系统都去调用消息中间件,
不足 1.复杂性(中间多了一个人小秘) 2.可靠性 (可靠吗小秘,别出错,公司的机密别乱说) 3.性能 (必须多了一个肯定没有直接说传达的快)
什么是Rocketmq(三)
•① 产品发展历史
Metaq(Metamorphosis) 1.x
由开源社区 killme2008 维护,开源社区非常活跃。
Metaq 2.x
于 2012 年 10 月份上线,在淘宝内部被广泛使用。
RocketMQ 3.x
基于公司内部开源共建原则, RocketMQ 项目只维护核心功能,且去除了所有其他运行时依赖,核心功能最 简化。每个 BU 的个性化需求都在 RocketMQ 项目之上进行深度定制。RocketMQ 向其他 BU 提供的仅仅是Jar 包,例如要定制一个 Broker,那么只需要依赖 rocketmq-broker 这个 jar 包即可,可通过 API 进行交互,如果定制 client,则依赖 rocketmq-client 这个 jar 包,对其提供的 api 进行再封装。
•② 官网
http://rocketmq.apache.org/
•③ 什么是RocketMq
1.国内阿里开源 java语言写的。贡献给apache 4.2版本2.简称Rmq并没有严格遵循jms规范(参考)。本身电商背景有关。3.Java版本的kafka4.Storm(实时计算框架) jstrom(java写的)
•为什么选择RocketMq
1.稳定无单点故障(不会因为某台机器或者某个节点宕机而影响系统正常使用)。2.集群功能完善。3.经历过双十一(你们公司的肯定没有淘宝双11的值高吧)。4.Java语言实现。5.架构轻、源码可读性好(更面向过程符合国人的风格)。6.生态圈完善,配套好。7.开源社区活跃。
•④ Rocketmq 术语
producer
消息生产者,负责产生消息,一般由业务系统负责产生消息。
consumer
消息消费者,负责消费消息,一般是后台系统负责异步消息。
Push Consumer
consumer的一种,应用通常向Consumer对象注册一个Listener接口,一旦收到消息,Consumer对象立刻回调Listener接口方法。
Pull Consumer
Consumer的一种,应用通常主动调用Consumer的拉消息方法从Broker拉消息,主动权由应用控制。
Producer Group
一类Producer的集合名称,这类Producer通常发送一类消息,且发送逻辑一致。
Consumer Group
一类Consumer的集合名称,这类Consumer通常消费一类消息,且消费逻辑一致。
Broker
消息中转角色,负责存储消息,转发消息,一般也称为Server,在JMS规范中称为Provider。
广播消费
一条消息被多个Consumer消费,即使这些Consumer属于同一个Consumer Group,消息也会被Consumer Group中的每个Consumer都消费一次,广播消费中 的Consumer Group概念可以认为在消息划分方便无意义。在JMS规范中,相当于JMS publilsh/subscribe model。
顺序消息
消费信息的顺序要同发送消息的顺序一致,在RocketMQ中,主要指的是局部顺序,即一类消息为满足顺序性,必须Producer单线程顺序发送,且发送到同一个队列,这样Consumer就可以按照Producer发送的顺序去消费消息。
普通顺序消息
顺序消息的一种,正常情况下可以保证完全的顺序消息,但是一旦发生通信异常,Broker重启,由于队列总数发生变化,哈希取模后定位的队列会变化,产生短暂的消息顺序不一致。如果业务能容忍在集群异常的情况下(如某个Broker宕机或者重启)下,消息短暂的乱序,使用普通顺序方式比较合适。
严格顺序消息
顺序消息的一种,无论正常异常情况下都能保证顺序,但是牺牲了分布式FailOVer特性,即Broker集群中只要有一台机器不可用,则整个集群都不可用,服务可用性大大降低。如果服务器部署为同步双写模式,此缺陷可通过备机自动切换为主避免,不过仍然会存在几分钟的服务不可用(依赖同步双写,主备切换,自动切换功能目前还未实现)目前已知的应用只有数据库binlog同步强依赖严格顺序消息,其他应用绝大部分都可以容忍短暂乱序,推荐使用普通的顺序消息。
Message Queue
在RocketMQ中,所有的消息队列都是持久化,长度无限的数据结构,所谓的长度无限是指队列中的每个存储单元都是定长,访问其中的存储单元使用offset来访问,offset为java long类型,64位,理论上在100年内不会溢出,所以认为是长度无限的,另外队列中只保存最近几天的数据,之前的数据会按照过期时间来删除。也可以认为Message Queue是一个长度无限的数组,offset就是下标。
消息过滤
订阅者可以根据消息标签(Tag)对消息进行过滤,确保订阅者最终只接收被过滤后的消息类型,消息过滤在MQ服务端完成。
消息轨迹
在一条消息从发布者到订阅者消费处理过程中,由各个相关节点的时间、地点等数据汇聚而成的完整链路信息。通过消息轨迹,用户能清晰定位消息从发布者发出,经由MQ服务端,投递给消息订阅者的完整链路,方便定位排查问题。
重置消费位点
以时间轴为坐标,在消息持久化存储的时间范围内(默认3天),重新设置消息订阅者对其订阅Topic的消费进度,设置完成后订阅者将接收设定时间点之后由消息发布者发送到MQ服务端的消息。
RocketMq部署图(四)
Name Server:注册中心(zookeeper)频繁更新offset。Producer:消息生产者 生产消息 寄件人。Consumer:消息消费者、复制消息消费、收件人。Broker:中介(邮政) 提供消息中转服务。Group :分组好处(业务区分,便于管理)。Tag:多个标签 where 。Key:区分业务系统 。Msgid:broker在这个系统中它是独一无二的。
PS:消息中间件的最重要的作用是异步和解耦。其实这里主要说了都是概念,下节开始实战下。