单条消息的最差延迟

Question

我需要构建一个实时低延迟的消息传递系统。

我阅读了 ZeroMQ 指南，因为我的要求 ROUTER-DEALER 模式完全匹配。我围绕它构建了系统，它运行良好。但是当我进行性能测试时，我发现 ZeroMQ 延迟非常高。

libzmq 版本：4.2.5

./local_lat  tcp://127.0.0.1:5555 1 1000
./remote_lat tcp://127.0.0.1:5555 1 1000

message size:       1 [B]
roundtrip count: 1000
average latency:   26.123 [us]

当消息数很高时，ZeroMQ 的性能很棒，但是当相同的消息数为 1 时，延迟非常高。

./local_lat  tcp://127.0.0.1:5555 1 1
./remote_lat tcp://127.0.0.1:5555 1 1

message size:      1 [B]
roundtrip count:   1
average latency: 506.500 [us]

我仍然不相信我将 ZeroMQ 指南中的 PUB-SUB 示例修改为 ROUTER-DEALER 并添加了时间戳并再次测试。还有延迟真的很高。这使得 ZeroMQ 无法使用。我同意，当消息量很大时，没有什么可以击败 ZeroMQ，但是对于即使单个消息 ZeroMQ 失败，延迟也很关键的系统。

注意：我也运行了 PUB-SUB 示例，它显示了相同的延迟数据

发件人.cpp

 #include <zmq.hpp>
#include <stdlib.h>
#include <unistd.h>
#include <iostream>
#include <sys/time.h>

int main () {

    //  Prepare our context and publisher
    zmq::context_t context (1);
    zmq::socket_t publisher (context, ZMQ_ROUTER);
    publisher.bind("tcp://*:5556");

    //wait for peer to connect
    //once connected store the identity to send message later
    zmq::message_t identity,m;
    publisher.recv(&identity);//identity
    publisher.recv(&m);//message
    sleep(1);//sleep to set up connections
    struct timeval timeofday;
    int i=1;//no of messages to send
    while (i) {
      zmq::message_t id,message("10101",5);
      id.copy(&identity);
        gettimeofday(&timeofday,NULL);
    publisher.send(id,ZMQ_SNDMORE);
        publisher.send(message);

    std::cout << timeofday.tv_sec << ", " << timeofday.tv_usec << std::endl;
        usleep(1);
    --i;
    }
    return 0;
}

reciever.cpp

#include <zmq.hpp>
#include <iostream>
#include <sys/time.h>

int main (int argc, char *argv[])
{
    zmq::context_t context (1);

      zmq::socket_t subscriber (context, ZMQ_DEALER);
       subscriber.setsockopt(ZMQ_IDENTITY,"1",1);
       subscriber.connect("tcp://localhost:5556");

    struct timeval timeofday;
    subscriber.send(" ",1);
    int update_nbr;
    int i=1;
    for (update_nbr = 0; update_nbr < i; update_nbr++) {

        zmq::message_t update;

        subscriber.recv(&update);

    gettimeofday(&timeofday,NULL);
        std::cout << timeofday.tv_sec << ", " << timeofday.tv_usec << std::endl;
    }
    return 0;
}

发送方输出

1562908600, 842072

接收器输出

1562908600, 842533

如您所见，大约需要 400 毫秒。

有什么办法可以减少延迟？

Answer 1

建立 TCP 连接的开销并非微不足道 - 并且 ZMQ 的开销会增加，因为创建连接的动作是在幕后通过一些 TCP 来回来回完成的。

因此，first 消息的延迟不仅仅是消息本身的延迟。这是消息的延迟与建立连接所涉及的消息的延迟相结合。

要注意的另一件事是 1 个字节是一个惊人低效的有效负载，即使使用普通 TCP 也是如此。如果 ZMQ 在发送时进行任何类型的批处理，这将显着改善大量消息的延迟。我不知道它是否在幕后做任何事情，但事实仍然是 1 个字节背负着与 TCP 和 ZMQ 建立连接时相同的不可避免的开销，就像 1000 个字节一样，它只是压倒了发送 1 个字节所涉及的延迟，对于 1000 个字节可以忽略不计。

我建议您发送 2 条消息并观察每条消息的各个延迟 - 如果我是对的，第二条应该回落到 ~25µs 范围内。如果是这种情况，那么该开销是否代表问题取决于您。我怀疑它不会在实践中。