【发布时间】：2018-11-06 21:37:40
【问题描述】：
如何在工作人员之间分配读取结果？是使用查询结果创建一个表，并且工作人员从其中获取要读取的页面，还是每个工作人员运行查询并读取不同的页面或......如何？
【问题讨论】：
标签： google-bigquery google-cloud-dataflow apache-beam
【发布时间】：2018-11-06 21:37:40
【问题描述】：
从 BigQuery 读取数据时，Dataflow 实际上只是调用 BigQuery 的导出 API 并将表/查询作为一堆分片 Avro 文件转储到 GCS。一旦文件开始登陆 GCS，Dataflow 工作人员就会开始并行读取它们。工作是如何分配的，即哪个工作人员读取哪些分片/记录是从您那里抽象出来的，并由 Dataflow 服务本身处理/编排。
【讨论】：
-
请出处？
-
Stackdriver 审核日志。此外，只需调试管道并在运行时查看 GCS。你会亲眼看到它发生的。