我对 DataFusion 数据管道有疑问

Question

我有一个关于 DataFusion 数据管道的问题。

我使用的是 DataFusion 企业版。

我在DataFusion的Studio中创建数据管道时，可以直接在config中设置exit和driver的CPU和内存值。

到目前为止，我知道如果我创建一个数据管道，我将为每个数据管道创建一个 VM 实例。

但是，我刚刚看到创建的虚拟机数量与 Worker 节点、Master 节点一样多。

那么，在创建data-pipeline的时候，exit和driver的CPU和memory是什么意思呢？

Answer 1

对于 Spark 管道运行，Data Fusion 将启动一个具有多个执行器的驱动程序，通常对应于工作节点的数量（尽管并非总是如此）。通常，每个工作节点执行一个执行程序。因此，驱动程序和执行程序的 CPU 和内存设置为每个执行程序和驱动程序的运行设置了 CPU 数量和内存量的上限。

实际上，如果您将执行程序的内存或 CPU 设置为高于工作节点中可用的内存或 CPU，则可能无法达到此上限。