【发布时间】:2015-01-07 17:56:32
【问题描述】:
我是否总是保证每个 GCE 实例恰好有 1 个数据流工作者 JVM,或者我是否会遇到调度程序在单个 GCE 实例上启动多个 JVM 的情况 - 例如,如果可能有很多转换已准备好运行,但运行它们的 GCE 实例相对较少?
【问题讨论】:
我是否总是保证每个 GCE 实例恰好有 1 个数据流工作者 JVM,或者我是否会遇到调度程序在单个 GCE 实例上启动多个 JVM 的情况 - 例如,如果可能有很多转换已准备好运行,但运行它们的 GCE 实例相对较少?
【问题讨论】:
Dataflow 服务不保证每个 GCE 实例的工作 JVM 数量。
在当前的实现中,每个 VM 有 1 个工作人员。 Worker 实际上在 Docker 容器中运行,该容器提供了与主机上其他进程的一些隔离。
为了更好地利用多核虚拟机,每个虚拟机的工作人员数量很可能在未来发生变化。
同样,现在我们在 JVM 中使用单个线程来处理工作。
您可以将工作单元视为要由一个或多个转换处理的记录子集
【讨论】: