用于业务流程的 Apache Spark？

Question

我了解 Spark/Hadoop 的大数据功能，但我被要求将它们用于一组似乎并不真正适合其中的流程，我需要进行健全性检查。

这些流程在较高级别上是并行的，但包含固有的顺序独​​立子流程，无法并行化。这方面的一个例子是启动的 X 个并行顶级进程。每个都使用不同的配置来运行一组有些独立的子流程：

• 下载一组 XML（顺序）
• 验证每个 XML（按顺序）
• 轻松处理每个 XML（按顺序）
• 加载到数据存储中（按顺序）

处理包含一些转换，但在大数据方面并不多。该处理是可能受益的一个步骤，但它仍然必须针对一个流程按顺序完成。

对我来说，这似乎不是大数据。事实上，这似乎是对该平台的完全误用。在这种情况下，唯一的好处可能是为了支持目的而整合多个平台，但总的来说，spark/hadoop 生态系统不会为这种业务流程提供任何好处，对吧？

还是我疯了？

Answer 1

在我看来，您的问题实际上取决于：

1. 数据规模
2. 如果你真的不能并行（加载和验证 xml 听起来像是并行的，但你比我更清楚
3. 如果所有过程都需要每次执行，或者部分过程需要一次执行。

我的意思是：如果流程的很大一部分是连续的（并且需要为每个 spark 作业运行而不是一次）并且瓶颈就在那里，那么听起来你是正确的并且启动时间 + 复杂性Spark 是不使用它的好理由。 但是，如果您被要求使用 Spark，那可能是有充分理由的。