【问题标题】:stop processing tuple in certain bolt停止处理某个bolt中的元组
【发布时间】:2014-06-17 05:10:16
【问题描述】:

我有一个拓扑,例如由 1 个喷口和 4 个螺栓组成

spout A -> bolt B -> bolt C -> bolt E
                  -> bolt D

只有当bolt B中的某些条件语句为真时,它才会将一个元组传递给bolt C和bolt D。

只有当bolt C中的某些条件语句为真时,它才会将一个元组传递给bolt E。

所以单个元组只能到达螺栓 B 或(螺栓 C 和 D)。

我正在使用 BaseBasicBolt,据我所知,它会在调用 collector.emit 后自动响应。

例如bolt B中的执行方法如下

public class boltB extends BaseBasicBolt {
    public void execute(Tuple tuple, BasicOutputCollector collector) {
        ...some logic goes here
        if (response.getCount() > 0) {
            collector.emit(new Values(tuple.getString(0)));
        }
    }
}

所以如果collector.emit没有被调用,我认为来自spout的元组失败了,因为我从storm ui中看到几乎所有来自spout的元组都失败了。

在这种情况下,我应该在哪里调用 'ack' 让 spout 不将其视为失败的元组?

【问题讨论】:

    标签: apache-storm


    【解决方案1】:

    您所做的对于您正在实施的逻辑是正确的。您不需要显式调用ack()。使用BaseBasicBolt 时,每个元组在execute() 方法之后由BasicBoltExecutor 确认。对于失败的元组,您应该检查异常。还可以尝试查看 Storm UI 以了解每个 spout 和 bolt 发出/执行/失败的元组中的异常情况。

    【讨论】:

      【解决方案2】:

      当你有 BaseBasicBolt - 确认为你完成,即使你没有发射任何东西。

      BaseBasicBolt 实例在 BasicBoltExecutor 中执行,其 execute() 方法如下所示:

      public void execute(Tuple input) {
           _collector.setContext(input);
           try {
               _bolt.execute(input, _collector);
               _collector.getOutputter().ack(input);
           } catch(FailedException e) {
               if(e instanceof ReportedFailedException) {
                   _collector.reportError(e);
               }
               _collector.getOutputter().fail(input);
           }
      }
      

      所以为了停止处理一个元组,只是不要发出,在执行调用之后,它将被确认。由于没有更多的螺栓来运行 ack 在 spout 中的回调将被调用

      希望它能回答你的问题

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2016-03-07
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多