【问题标题】:How many connections/subscriptions can handle Kafka KSQL?有多少个连接/订阅可以处理 Kafka KSQL?
【发布时间】:2019-01-30 15:52:46
【问题描述】:

我们正在尝试将 Kafka KSQL 迁移到我们的系统,并希望分享一些我们在此过程中无法解决的问题。 我们的集群中有 3 个 Kafka 节点,每个服务器都有:

8 CORE  
50G+ RAM  
100G ssd  

在每台服务器上,我们都有 zookeeper 来管理集群。 所有操作系统限制都增加了,因此节点可以使用比它需要的更多的资源:

Xmx: 10G  
Xms: 10G  
nofiles: 500000

目前,从生产者到集群的流量很小(大约每秒 10 条消息)。现在我们只有一个生产者,消息格式是:

{"user_id": <id|INT>, "action_id": <id|INT>, "amount": <amount|FLOAT>}

Kafka 中的 Topic 分为 6 个分区,1 个复制:

Topic:<some_topic>   PartitionCount:6        ReplicationFactor:1     Configs:
        Topic: <some_topic>  Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: <some_topic>  Partition: 1    Leader: 1       Replicas: 1     Isr: 1
        Topic: <some_topic>  Partition: 2    Leader: 2       Replicas: 2     Isr: 2
        Topic: <some_topic>  Partition: 3    Leader: 0       Replicas: 0     Isr: 0
        Topic: <some_topic>  Partition: 4    Leader: 1       Replicas: 1     Isr: 1
        Topic: <some_topic>  Partition: 5    Leader: 2       Replicas: 2     Isr: 2

当然,现在节点没有得到充分利用,在 kafka 方面一切都很好)

我们希望在 Kafka 之上使用 KSQL,以便能够使用 SQL 过滤进入我们系统的数据。 以下是 KSQL 服务器资源:

32 CORE
100G+ RAM
50G+ ssd

我们只有一张桌子:

 Field   | Type                      
-------------------------------------
 ROWTIME   | BIGINT           (system) 
 ROWKEY    | VARCHAR(STRING)  (system) 
 ACTION_ID | INTEGER                   
 USER_ID   | INTEGER                   
 AMOUNT    | DOUBLE         

创建表的命令如下:

create table <some_table> (action_id INT, user_Id INT, amount DOUBLE) with (KAFKA_TOPIC='<some_topic>', VALUE_FORMAT='JSON', KEY = 'user_id');

在我们的应用中,我们需要通过 user_id 订阅表,像这样:

SELECT * FROM <some_table> WHERE USER_ID=<some_user_id>;

对于生产KSQL服务器配置,我们使用confluent官方推荐的: https://docs.confluent.io/current/ksql/docs/installation/server-config/config-reference.html#recommended-ksql-production-settings

KSQL 服务器的操作系统和软件限制也有所增加:

Xmx: 10G  (we have tried till 50G)
Xms: 10G  (we have tried till 50G)
nofiles: 500000

如果我们只使用一个订阅,我们不会遇到任何问题(在这种情况下一切都很好)。
但我们总共需要超过 200000 个订阅。因此,当我们尝试获得 100-200 个并行订阅时,我们的客户端会出现“读取超时”。在服务器中,我们没有看到任何可能影响 KSQL 的异常负载。
我们假设该问题仅与 KSQL 有关,因为当我们尝试使用另一个 KSQL 服务器(在不同的机器上)时,同时我们可以看到第二个服务器工作正常并且可以处理大约 1-20 个订阅。

我在与 KSQL 服务器连接的互联网上找不到任何基准测试,在文档中,我也找不到任何提及 KSQL 用例的内容,也许它的设计目的只是为少量连接大量数据提供服务,或者也许我们的系统配置错误,所以我们应该修复它以使用该软件实现我们的目标。
任何建议都会有所帮助。
提前致谢)

【问题讨论】:

  • 你能否提供更多关于用例的上下文以及为什么需要 200K 查询。
  • 我将给出一个非常简单的案例,我们需要在我们的系统中实现,我们的系统在高峰期可以有超过 200000 个活跃用户。所以每个用户都应该订阅,例如到他的余额更新。另外,我想指出,我们在云中使用自动缩放器,一个实例(服务器)可以为 N 个用户提供服务。因此,每个实例只需要为其用户获取余额更新,而不是为所有用户获取余额更新。因此,对于我们来说,目前,一个用户就是一个查询(订阅)。
  • 我想补充一点,还有另一项服务将为所有用户填写(生成)kafka 的所有余额更新。因此,如果我可以通过一些过滤器从我的应用程序中订阅,那应该很棒。
  • 我这里有一些简单的图表,这将有助于低估我们遇到的问题:drive.google.com/file/d/1rLp64LjMO8zeIxZ7CrHXV3y3j68T7LXl/…
  • 鉴于您的数据如此简单,我也不确定为什么您会有 200K 的唯一查询。也许您的意思是您将拥有该主题的 20 万消费者?而且您使用 KSQL 来使用这些数据,而不是使用普通的 Kafka 消费者库?

标签: apache-kafka ksqldb


【解决方案1】:

您在使用 ksqlDB 时遇到可伸缩性问题的原因是您使用推送查询的方式并非设计用于使用它们......但是!

推送查询:

SELECT * FROM <some_table> WHERE USER_ID=<some_user_id>;

您使用它来为特定用户订阅更新似乎是一件完全明智的事情。

但是,在 ksql 版本中,您使用的此类推送查询仅供人类在 CLI 中执行命令使用。每个这样的查询将在内部消耗大量服务器资源并消耗源主题中的所有行。

基本上,推送查询不会扩展。

ksqlDB 团队正在积极致力于增强 ksql 以支持这种确切的用例风格,因为我们认识到这是一件很常见的事情。 (见https://github.com/confluentinc/ksql/issues/5517)。

与此同时,实现这一点的方法是使用您自己的消费者直接从 Kafka 消费数据并在本地进行过滤。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-10-28
    • 2017-06-05
    • 1970-01-01
    • 2021-12-19
    • 2011-08-07
    • 1970-01-01
    相关资源
    最近更新 更多