与 kdb 的大量连接

Question

我有一个拥有超过 10,000 名工人的网格，我正在使用 qpython 将数据附加到 kdb。目前有 1000 名工人，我有大约 40 名工人在第一次尝试时无法连接和发送数据，顶部显示 q 在发生这种情况时处于 100% cpu。当我扩展到 10k 工人时，问题将会升级。数据量只有100MB。我试过运行额外的奴隶，但 kdb 告诉我我不能用 -P 选项使用它，我猜我需要使用 qpython。任何想法如何扩展以支持 10k 工人。我目前的想法是在两者之间编写一个服务器来缓冲写入请求并将它们传递给 kdb，有没有更好的解决方案？

Answer 1

令我惊讶的是，您愿意为 Python 提供 10,000 个 cpu，但只为 Kdb 提供一个。

只需运行更多 Kdb 核心（在其他端口上），然后启用另一个进程来接收来自摄取核心的更新。 tickerplant (u.q) 是一个很好的模型。