【发布时间】:2016-10-26 10:02:25
【问题描述】:
现在我正在学习 Storm 的保证消息处理,对这部分的一些概念感到困惑。
为了保证 spout 发出的消息被完全处理,Storm 使用 acker 来实现这一点。每次 spout 发出一个元组时,acker 会分配初始化为 0 的“ack val”来存储元组树的状态。每次该元组的下游 bolt 发出新元组或确认“旧”元组时,元组 ID 将与“ack val”异或。 acker 只需要检查“ack val”是否为 0 即可知道元组已被完全处理。让我们看看下面的代码:
public class WordReader implements IRichSpout {
... ...
while((str = reader.readLine()) != null){
this.collector.emit(new Values(str), str);
... ...
}
上面的代码片段是“Storm 入门”教程中的字数统计程序中的一个 spout。在 emit 方法中,第二个参数“str”是 messageId。我对这个参数感到困惑: 1)据我所知,每次发出元组(即消息)时,无论是在 spout 中还是在 bolt 中,Storm 都应该负责为该消息分配一个 64 位的 messageId。那是对的吗?或者这里的“str”只是这个消息的一个人类可读的别名? 2)不管1)的答案是什么,这里的“str”在两条不同的消息中都是同一个词,因为在一个文本文件中应该有很多重复的词。如果这是真的,那么 Storm 如何区分不同的消息呢?而这个参数的含义是什么? 3) 在一些代码片段中,我看到一些 spout 使用以下代码在 Spout emit 方法中设置消息 Id:
public class RandomIntegerSpout extends BaseRichSpout {
private long msgId = 0;
collector.emit(new Values(..., ++msgId), msgId);
}
这更接近我的想法:消息 ID 在不同的消息中应该完全不同。但是对于这段代码,另一个困惑是:私有字段“msgId”在不同的执行者之间会发生什么?因为每个executor都有自己的msgId初始化为0,那么不同executor中的消息会从0、1、2等开始命名。那么 Storm 是如何区分这些消息的呢?
我是 Storm 的新手,所以也许这些问题很幼稚。希望有人能帮我弄清楚。谢谢!
【问题讨论】:
标签: apache-storm