spark中容器和执行器的区别答案

【问题标题】：difference between container and exectuor in sparkspark中容器和执行器的区别
【发布时间】：2020-01-12 14:13:13
【问题描述】：

请提出这句话的意思："The application master will start an executor in container". 换句话说，executor 会在容器中运行。？

我知道容器的定义意味着我们分配了 % 的资源 (cpu,ram,disk) 但是这句话让我仍然感到困惑应用程序主机将在容器中启动一个执行程序

我们的意思是 executor 将在容器中运行 = 何时将 java 虚拟机加载到 Ram 中？

更清楚地看这两个屏幕：

提前致谢。我希望你比上次更清楚地理解我的问题

【问题讨论】：

【解决方案1】：

是的，Spark 执行器将在容器内运行（如 YARN 中所述）。 Application Master 将与节点管理器联系以运行所需的容器，然后 Spark 执行器将在这些容器中运行。

更多详情请参考以下内容：

【讨论】：

【解决方案2】：

Spark Executor 在 Yarn Container 内运行，而不是跨 Containers。

纱线容器由 YARN 资源管理器按需提供 - 在 Spark 应用程序启动时通过 YARN 动态资源分配。

一个 Yarn Container 只能有一个 Spark Executor，但可以为 Executor 分配 1 个或更多 Cores

【讨论】：