【问题标题】:How to limit the number of messages from RabbitMQ to spark streaming如何限制来自 RabbitMQ 的消息数量以触发流式传输 【发布时间】:2017-07-22 03:45:50 【问题描述】: 建立连接后,我会从 RabbitMQ 获取所有消息。我想限制获取 RabbitMQ 的消息数量。 【问题讨论】: 标签: apache-spark rabbitmq spark-streaming 【解决方案1】: 您可以设置以下参数 maxMessagesPerPartition - 最大消息数 更多详情请见spark-rabbitmq。 希望这会有所帮助。 【讨论】: 是的,我们有 spark 属性,但这里的问题是 RabbitMQUtils.createStream(ssc, rabbitMQConnection)。我正在设置 queueName、主机、端口、虚拟主机、用户名和密码。如果我尝试在 rabbitMQConnection 参数中设置 MaxMessagesPerPartition。就是说没有具有该签名的方法。我不确定在哪里设置此属性。