zeromq所谓的“无锁消息队列”

Sat, 09 Feb 2019 20:10:13 +0800

本文基于zeromq 4.3.0版本，分析其无锁消息队列的实现。

概述 #

zeromq这个网络库，有以下几个亮点：

从以往的面向TCP流的网络开发，变成了面向消息的开发。应用层关注的是什么类型的消息，库本身解决网络收发、断线重连等问题。
将这些消息的传输模式封装成几个模式，应用开发者只需要关注自己的业务符合什么模式，采用搭积木的方式就能构建起应用服务。
内部实现无锁消息队列用于对象间通信，类似actor模式。

基本架构 #

zeromq内部运行着多个io线程，每个io线程内部有以下两个核心组件：

poller：即针对epoll、select等事件轮询器的封装。
mailbox：负责接收消息的消息邮箱。

可以简单理解IO线程做的事情是：内部通过一个poller，监听着各种事件，其中包括针对IO线程的mailbox的消息，以及绑定在该IO线程上的IO对象的消息。

即这是一个per-thread-per-loop的线程设计，线程之间的通信通过消息邮箱来进行。

除了io线程之外，io对象也有mailbox，即如果想与某个IO对象通信也是通过该mailbox进行。由于消息邮箱是zeromq中的重要组成部分，下面将专门分析zeromq是如何实现的。

所有需要收发消息的对象都继承自object_t：

class object_t
{
public:
  object_t (zmq::ctx_t *ctx_, uint32_t tid_);
  void process_command (zmq::command_t &cmd_);
private:
  zmq::ctx_t *ctx;//  Context provides access to the global state.
  uint32_t tid;//  Thread ID of the thread the object belongs to.
  void send_command (command_t &cmd_);
}

而IO对象之间的命令通过command_t结构体来定义：

struct command_t
{
  //  Object to process the command.
  zmq::object_t *destination;

  enum type_t
  {
    ...
  } type;

  union {
    ...
  } args;
};

可以看到，zeromq实现对象间相互通信依赖于mailbox，本文重点在分析其无锁队列的实现上。

Zeromq on codedump notes

zeromq所谓的“无锁消息队列”

概述 #

基本架构 #