【问题标题】:How to limit the number of messages from RabbitMQ to spark streaming如何限制来自 RabbitMQ 的消息数量以触发流式传输
【发布时间】:2017-07-22 03:45:50
【问题描述】:

建立连接后,我会从 RabbitMQ 获取所有消息。我想限制获取 RabbitMQ 的消息数量。

【问题讨论】:

    标签: apache-spark rabbitmq spark-streaming


    【解决方案1】:

    您可以设置以下参数

    maxMessagesPerPartition - 最大消息数

    更多详情请见spark-rabbitmq

    希望这会有所帮助。

    【讨论】:

    • 是的,我们有 spark 属性,但这里的问题是 RabbitMQUtils.createStream(ssc, rabbitMQConnection)。我正在设置 queueName、主机、端口、虚拟主机、用户名和密码。如果我尝试在 rabbitMQConnection 参数中设置 MaxMessagesPerPartition。就是说没有具有该签名的方法。我不确定在哪里设置此属性。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-12-09
    • 1970-01-01
    • 2016-01-13
    • 2019-12-20
    相关资源
    最近更新 更多