【问题标题】:Confusion of Storm acker and guaranteed message processingStorm acker 的困惑和保证消息处理
【发布时间】:2016-10-26 10:02:25
【问题描述】:

现在我正在学习 Storm 的保证消息处理,对这部分的一些概念感到困惑。

为了保证 spout 发出的消息被完全处理,Storm 使用 acker 来实现这一点。每次 spout 发出一个元组时,acker 会分配初始化为 0 的“ack val”来存储元组树的状态。每次该元组的下游 bolt 发出新元组或确认“旧”元组时,元组 ID 将与“ack val”异或。 acker 只需要检查“ack val”是否为 0 即可知道元组已被完全处理。让我们看看下面的代码:

public class WordReader implements IRichSpout {
    ... ...
while((str = reader.readLine()) != null){
    this.collector.emit(new Values(str), str);
    ... ...
}

上面的代码片段是“Storm 入门”教程中的字数统计程序中的一个 spout。在 emit 方法中,第二个参数“str”是 messageId。我对这个参数感到困惑: 1)据我所知,每次发出元组(即消息)时,无论是在 spout 中还是在 bolt 中,Storm 都应该负责为该消息分配一个 64 位的 messageId。那是对的吗?或者这里的“str”只是这个消息的一个人类可读的别名? 2)不管1)的答案是什么,这里的“str”在两条不同的消息中都是同一个词,因为在一个文本文件中应该有很多重复的词。如果这是真的,那么 Storm 如何区分不同的消息呢?而这个参数的含义是什么? 3) 在一些代码片段中,我看到一些 spout 使用以下代码在 Spout emit 方法中设置消息 Id:

public class RandomIntegerSpout extends BaseRichSpout {
    private long msgId = 0;
    collector.emit(new Values(..., ++msgId), msgId);
}

这更接近我的想法:消息 ID 在不同的消息中应该完全不同。但是对于这段代码,另一个困惑是:私有字段“msgId”在不同的执行者之间会发生什么?因为每个executor都有自己的msgId初始化为0,那么不同executor中的消息会从0、1、2等开始命名。那么 Storm 是如何区分这些消息的呢?

我是 Storm 的新手,所以也许这些问题很幼稚。希望有人能帮我弄清楚。谢谢!

【问题讨论】:

    标签: apache-storm


    【解决方案1】:

    关于消息 ID 是通用的:在内部它可能是一个 64 位的值,但是这个 64 位的值是从 Spout 中 emit() 中提供的 msgID 对象的哈希计算的。因此,您可以将任何对象作为消息 ID(两个对象哈希到相同值的概率接近于零)。

    关于使用str:我认为在此示例中,str 包含一行(而不是一个单词),并且文档不太可能两次包含完全相同的行(如果没有空行,可能很多)。

    关于作为消息 ID 的计数器:你的观察是绝对正确的——如果多个 spout 并行运行,这会导致消息 ID 冲突并破坏容错。

    如果您想“修复”计数器方法,则应以不同方式初始化每个计数器(最好从 1...#SpoutTasks 开始)。您可以为此使用 taskID(它是唯一的,可以通过 Spout.open() 中提供的 TopologyContext 访问)。基本上,您获取所有并行 spout 任务的所有 taskID,对它们进行排序,并为每个 spout 任务分配其排序号。此外,您需要增加“并行 spout 的数量”而不是 1。

    【讨论】:

    • 谢谢。但是我仍然对您答案中的前两段感到困惑。
    • 对于第一段,64位的值是从msgID计算出来的,那么Bolt中发出的消息呢?因为 Bolt 不会分配带有 msgID 的消息。和我想的一样,Spout 和 Bolt 中消息的 64bit 值是 Storm 随机生成的。
    • 对于第2段,str确实是一行,但是这里每一行都是一个单词,所以这些单词跨行有很多重复。因此,如果 64 位值是从 str 散列的(如您在第 1 段中所述),那么不同的消息可能具有相同的 msgID 以及 64 位值。我对吗?谢谢!
    • link中有一句话,“在拓扑中创建元组时,无论是在spout还是bolt中,都会给它一个随机的64位id”。这就是为什么我认为每个元组(无论是在 spout 还是 bolt 中发出)都被赋予了一个随机的 64 位值。这就是为什么我对 Spout 发射方法中的 msgId 参数感到困惑的原因。谢谢。
    • 好的。比,对于这种情况,我假设 msgId 用于将其和 64 位 ID 放入内部 HashMap (或类似的) - 如果元组处理成功,则可以查看原始 msgId 对象up 并用于Spout#ack() 和Spout#fail() 回调方法。对于这种情况,msgId 必须足以识别原始消息 - 因此,即使 msgId 与 str 有重复,也没有关系,因为两个消息确实具有相同的内容和重试无论哪个内部消息 ID 触发了 fail(),都会发出相同的内容。有意义吗?
    猜你喜欢
    • 2016-07-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-05-31
    • 2014-01-05
    • 2018-11-24
    • 1970-01-01
    相关资源
    最近更新 更多