【问题标题】:How many JVMs are instantiated in each GCE instance in Google Cloud Dataflow?在 Google Cloud Dataflow 的每个 GCE 实例中实例化了多少个 JVM?
【发布时间】:2015-01-07 17:56:32
【问题描述】:

我是否总是保证每个 GCE 实例恰好有 1 个数据流工作者 JVM,或者我是否会遇到调度程序在单个 GCE 实例上启动多个 JVM 的情况 - 例如,如果可能有很多转换已准备好运行,但运行它们的 GCE 实例相对较少?

【问题讨论】:

    标签: google-cloud-dataflow


    【解决方案1】:

    Dataflow 服务不保证每个 GCE 实例的工作 JVM 数量。

    在当前的实现中,每个 VM 有 1 个工作人员。 Worker 实际上在 Docker 容器中运行,该容器提供了与主机上其他进程的一些隔离。

    为了更好地利用多核虚拟机,每个虚拟机的工作人员数量很可能在未来发生变化。

    同样,现在我们在 JVM 中使用单个线程来处理工作。

    您可以将工作单元视为要由一个或多个转换处理的记录子集

    【讨论】:

    • 能否请您也评论一下每个 JVM 中的线程数?
    猜你喜欢
    • 2017-04-17
    • 1970-01-01
    • 2013-04-04
    • 1970-01-01
    • 2018-04-17
    • 2016-06-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多