分析 Cloud Data Flow BigQuery 吞吐量/流水线

Question

我试图弄清楚 DataFlow 如何扩展某些操作以及如何使其表现最佳。首先，我刚刚创建了一个从 BigQuery 读取数据（约 2500 万行，总共 30GB）的简单流程，执行 JSON 提取，一个简单的按键分组，然后一个聚合分组（每个约 100 个元素），然后执行另一个对每个键进行转换并将其放回新表中（约 500k 行，总共 25gb）。

管道的总执行时间在 10 到 18 分钟之间，具体取决于我分配的工人数量或我是否使用多核机器等。我无法将其加速到低于此时间。我还没有确定确切的阈值，但基本上 20 个单核或 10 个四核之间的差异不再可靠。

所以我的问题是如何进一步调查并找出哪个步骤花费的时间最多以及如何改进它。我假设 DataFlow 本身负责扩展各个步骤并在它们之间进行平衡。但对我来说，例如现在看到收到的第一条消息和发送的最后一条消息会很有趣，也许每一步的吞吐量随时间变化。这是在某处可用的东西，还是我必须自己开始检测和记录它？有了这些信息，我将开始基于此优化各个步骤，并可能覆盖 DataFlows 缩放。

这是正确的方法，还是有更好的方法可用？

** 我的目标时间是缩短到 2 分钟。

Answer 1

Dataflow 首先执行 BigQuery 导出作业以将您的数据复制到 GCS，然后再将其读入并进行处理。同样，Dataflow 将数据写入 GCS，然后执行 BigQuery 导入作业以加载表。

如果您查看作业消息和/或日志，您应该能够看到导出作业何时完成（并且您的代码开始从导出的文件中读取）以及导入作业何时开始（并且您的代码已经完成写入所有输出数据）。如果 10-18 分钟的大部分时间都花在 BigQuery 导入/导出作业上，那么调整管道不会对性能产生重大影响。

其他常见问题是有一个或两个特别热的键（例如，包含大部分数据）。从您的描述看来，情况并非如此（您提到每个键大约有 100 个元素）。