GCP 数据融合在执行管道时太慢了

Question

我知道 datafusion 是 CDAP 上的一项托管服务，但与 CDAP OSS（在 Google Marketplace 中）相比，当前的 6.1.1 企业版太慢了。配置 dataproc 节点大约需要 3 分钟（无论计算配置文件是什么），启动和运行模式大约需要 1.5 分钟，然后数据将开始流经节点。有什么方法可以优化这一点并提高速度吗？

Answer 1

Google Marketplace 中的 CDAP OSS 在内存中运行，建议仅用于开发，因为执行引擎无法扩展。

如果您想优化 Dataproc 集群的配置，您可以自己预配置 Dataproc 集群，然后使用 Remote Hadoop Provisioner 计算配置文件来提交作业。