我是 Storm 的新手，基本问题很少。我的 Storm 用例是流式处理和批处理。
用例 #1：Storm 拓扑将元组作为流接收并对其进行处理。
用例 #2：Storm 拓扑应该将元组作为一批元组接收并对其进行处理。
我使用 Kafka 作为队列机制来提供 Storm 拓扑。
问题：有没有办法，我可以告诉我一个特定的元组是流的结尾，风暴应该告诉我所有元组的处理何时完成？
Storm 是否不是执行此操作的正确框架，因为它用于流处理（用例 #1）。 Storm Trident 对用例 #2 有帮助吗？
【问题讨论】：
标签： apache-kafka apache-storm trident
你不能告诉 Storm，元组是流的最后一个。但是，如果您知道您刚刚从 Spout 发出了最后一个元组，您可以为自己设置一个内部标志，然后等到您在 Spout 中收到所有 acks。当所有acks 都被接收到时，你就知道所有的元组都被Storm 处理完了。
对于问题2，我不清楚，您所说的“做同样的处理”是什么意思？看来，您想以不同的模式两次处理相同的数据（或者我理解错了什么）？为什么要区分“流”和“批处理”情况？你想得到什么不同的语义？ “将元组作为一批元组接收”是什么意思。你知道你有一个有限的数据流吗？您想将 所有 元组放入一个批次吗？还是你想做一些微批处理？
对于微批处理，Trident 会很有用。如果你有一个真正的批处理作业，Storm 并不适合。为此，您可能需要查看 Apache Flink（免责声明，我是 Flink 的提交者）或 Apache Spark。两者都是支持批处理和流式传输的混合系统。根据您对流语义的需求，一种或另一种可能更合适。 Spark 提供微批处理来模拟流式传输，而 Flink 进行真实流式传输。
【讨论】：