多处理的 GCP 计算引擎带宽瓶颈

Question

我最近创建了 a tool 以使用多处理后端并行获取 BigQuery 表。当这个工具在 GCP 计算引擎上运行时，我看不到使用多核时的任何带宽改进。但是，参考GCE documentation，每个 vCPU 可以处理 2GB 的入口，最多可处理 6 个 vCPU。 我使用的机器是 e2-standard-32 :32 vCPU，128 GB 内存，使用的带宽峰值约为 100MiB/S，但我预计约为 2GB/s * 6 个 vCPU。 在查看 GCP 中的网络带宽监控时，我看不出使用多处理获取时有什么不同。

有人知道如何改善计算引擎施加的带宽限制吗？

Answer 1

我的猜测是限制来自 BigQuery 服务，而不是您的 VM 带宽。