【发布时间】:2015-04-09 20:12:10
【问题描述】:
我使用数据流服务运行我的作业以从 GCS 读取数据并写入 BQ 表,作业成功运行,我想知道如何或在哪里可以找到谷歌为我的作业设置了多少虚拟机的信息?
谢谢。
【问题讨论】:
我使用数据流服务运行我的作业以从 GCS 读取数据并写入 BQ 表,作业成功运行,我想知道如何或在哪里可以找到谷歌为我的作业设置了多少虚拟机的信息?
谢谢。
【问题讨论】:
使用[Blocking]DataflowPipelineRunner 运行 Cloud Dataflow 管道时,工作虚拟机的默认数量为 3。
可以在命令行上使用--numWorkers 参数覆盖此值。
所有虚拟机,包括由 Cloud Dataflow 创建的虚拟机,都在Google Developers Console 中可见,位于:计算、计算引擎、VM 实例部分下。
【讨论】: