【发布时间】:2019-01-30 15:52:46
【问题描述】:
我们正在尝试将 Kafka KSQL 迁移到我们的系统,并希望分享一些我们在此过程中无法解决的问题。 我们的集群中有 3 个 Kafka 节点,每个服务器都有:
8 CORE
50G+ RAM
100G ssd
在每台服务器上,我们都有 zookeeper 来管理集群。 所有操作系统限制都增加了,因此节点可以使用比它需要的更多的资源:
Xmx: 10G
Xms: 10G
nofiles: 500000
目前,从生产者到集群的流量很小(大约每秒 10 条消息)。现在我们只有一个生产者,消息格式是:
{"user_id": <id|INT>, "action_id": <id|INT>, "amount": <amount|FLOAT>}
Kafka 中的 Topic 分为 6 个分区,1 个复制:
Topic:<some_topic> PartitionCount:6 ReplicationFactor:1 Configs:
Topic: <some_topic> Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: <some_topic> Partition: 1 Leader: 1 Replicas: 1 Isr: 1
Topic: <some_topic> Partition: 2 Leader: 2 Replicas: 2 Isr: 2
Topic: <some_topic> Partition: 3 Leader: 0 Replicas: 0 Isr: 0
Topic: <some_topic> Partition: 4 Leader: 1 Replicas: 1 Isr: 1
Topic: <some_topic> Partition: 5 Leader: 2 Replicas: 2 Isr: 2
当然,现在节点没有得到充分利用,在 kafka 方面一切都很好)
我们希望在 Kafka 之上使用 KSQL,以便能够使用 SQL 过滤进入我们系统的数据。 以下是 KSQL 服务器资源:
32 CORE
100G+ RAM
50G+ ssd
我们只有一张桌子:
Field | Type
-------------------------------------
ROWTIME | BIGINT (system)
ROWKEY | VARCHAR(STRING) (system)
ACTION_ID | INTEGER
USER_ID | INTEGER
AMOUNT | DOUBLE
创建表的命令如下:
create table <some_table> (action_id INT, user_Id INT, amount DOUBLE) with (KAFKA_TOPIC='<some_topic>', VALUE_FORMAT='JSON', KEY = 'user_id');
在我们的应用中,我们需要通过 user_id 订阅表,像这样:
SELECT * FROM <some_table> WHERE USER_ID=<some_user_id>;
对于生产KSQL服务器配置,我们使用confluent官方推荐的: https://docs.confluent.io/current/ksql/docs/installation/server-config/config-reference.html#recommended-ksql-production-settings
KSQL 服务器的操作系统和软件限制也有所增加:
Xmx: 10G (we have tried till 50G)
Xms: 10G (we have tried till 50G)
nofiles: 500000
如果我们只使用一个订阅,我们不会遇到任何问题(在这种情况下一切都很好)。
但我们总共需要超过 200000 个订阅。因此,当我们尝试获得 100-200 个并行订阅时,我们的客户端会出现“读取超时”。在服务器中,我们没有看到任何可能影响 KSQL 的异常负载。
我们假设该问题仅与 KSQL 有关,因为当我们尝试使用另一个 KSQL 服务器(在不同的机器上)时,同时我们可以看到第二个服务器工作正常并且可以处理大约 1-20 个订阅。
我在与 KSQL 服务器连接的互联网上找不到任何基准测试,在文档中,我也找不到任何提及 KSQL 用例的内容,也许它的设计目的只是为少量连接大量数据提供服务,或者也许我们的系统配置错误,所以我们应该修复它以使用该软件实现我们的目标。
任何建议都会有所帮助。
提前致谢)
【问题讨论】:
-
你能否提供更多关于用例的上下文以及为什么需要 200K 查询。
-
我将给出一个非常简单的案例,我们需要在我们的系统中实现,我们的系统在高峰期可以有超过 200000 个活跃用户。所以每个用户都应该订阅,例如到他的余额更新。另外,我想指出,我们在云中使用自动缩放器,一个实例(服务器)可以为 N 个用户提供服务。因此,每个实例只需要为其用户获取余额更新,而不是为所有用户获取余额更新。因此,对于我们来说,目前,一个用户就是一个查询(订阅)。
-
我想补充一点,还有另一项服务将为所有用户填写(生成)kafka 的所有余额更新。因此,如果我可以通过一些过滤器从我的应用程序中订阅,那应该很棒。
-
我这里有一些简单的图表,这将有助于低估我们遇到的问题:drive.google.com/file/d/1rLp64LjMO8zeIxZ7CrHXV3y3j68T7LXl/…
-
鉴于您的数据如此简单,我也不确定为什么您会有 200K 的唯一查询。也许您的意思是您将拥有该主题的 20 万消费者?而且您使用 KSQL 来使用这些数据,而不是使用普通的 Kafka 消费者库?
标签: apache-kafka ksqldb