【问题标题】:Apache storm process order in boltBolt中的Apache Storm进程顺序
【发布时间】:2016-03-02 16:32:11
【问题描述】:

1 我使用 kafkaSpout 读取来自 KAFKA 的消息并在一些螺栓中处理它们。我想知道每个分区的bolt过程数据是否有序?

2 如果我使用随机分组,相同的元组会被分组到同一个任务中吗?

【问题讨论】:

  • 我想跳过超时失败的元组。所以我想将元组的分区及其与元组 msgId 的最大偏移量存储在映射中。如果元组的偏移量小于我存储的偏移量。我将跳过元组。我使用随机分组。我担心失败的元组不会被发送到同一个任务。所以我提出了 2 个问题。

标签: grouping apache-storm


【解决方案1】:
  1. 没有 kafka 本身并不能保证跨分区排序

  2. 如果您希望对元组进行分组,您可以根据所需的任何字段使用fieldsGrouping

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-09-25
    • 1970-01-01
    • 2015-06-15
    相关资源
    最近更新 更多