面试官:在消息队列里面有一批数据需要顺序执行,如何来保证? 面试官心理剖析: 主要看你有没有思考过这个问题?这个是常见的问题,看你有没有解决思路? 回答: 这里讲讲几个 MQ 是如何来保证消息的顺序性的。 1、rabbitMq 问题分析: [图片] 如图,data1 和 data2 是有顺序的,必须 data1 先执行 ..

【面试宝典】消息队列如何保证顺序性?

本贴最后更新于 233 天前,其中的信息可能已经时移俗易

面试官:在消息队列里面有一批数据需要顺序执行,如何来保证?

面试官心理剖析:
主要看你有没有思考过这个问题?这个是常见的问题,看你有没有解决思路?

回答:
这里讲讲几个 MQ 是如何来保证消息的顺序性的。

1、rabbitMq
问题分析:
imagepng
如图,data1 和 data2 是有顺序的,必须 data1 先执行,data2 后执行;这两个数据被不同的消费者消费到了,可能 data2 先执行,data1 后执行,这样原来的顺序就错乱了。

解决方案:
imagepng
如图,在 MQ 里面创建多个 queue,同一规则的数据(对唯一标识进行 hash),有顺序的放入 MQ 的 queue 里面,消费者只取一个 queue 里面获取数据消费,这样执行的顺序是有序的。或者还是只有一个 queue 但是对应一个消费者,然后这个消费者内部用内存队列做排队,然后分发给底层不同的 worker 来处理。

2、kafka
问题分析:
imagepng
如图,在 kafka 中,你对数据指定某个 key,那么这些数据会到同一个 partition 里面,在 partition 里面这些数据是有顺序的。从这里看没啥问题,插入到数据库的数据都是有序的。

但是,我们在消费端可能会使用多线程来处理,因为单线程的处理速度慢,为了加快处理时间和吞吐量,会使用 thread 来处理。在消费端加入线程之后,就会出现顺序不一致的情况。
imagepng
如图,就是使用了多线程之后,数据顺序不一致情况。

在使用了多线程之后,如何来解决数据顺序问题?
imagepng
如图,在消费端使用内存队列,队列里的数据使用 hash 进行分发,每个线程对应一个队列,这样可以保证数据的顺序。

3、rocketMq
imagepng

如图,生产者中把 orderId 进行取模,把相同模的数据放到 messagequeue 里面,消费者消费同一个 messagequeue,只要消费者这边有序消费,那么可以保证数据被顺序消费。

4、activeMq
imagepng
如图,activeMq 里面有 messageGroups 属性,可以指定 JMSXGroupID,消费者会消费指定的 JMSXGroupID。即保证了顺序性,又解决负载均衡的问题。

  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:PipeSoloSymWide 等,欢迎大家加入,贡献开源。

    1902 引用 • 3623 回帖 • 592 关注
  • 消息队列
    19 引用 • 32 回帖
回帖   
请输入回帖内容...