【问题标题】:SparkUI Executor tab active is 1SparkUI 执行器选项卡活动为 1
【发布时间】:2022-01-14 20:51:25
【问题描述】:

为什么我只在 sparkUI 的 executor 选项卡中看到驱动程序而不是 executors?

【问题讨论】:

    标签: apache-spark pyspark apache-spark-sql driver executor


    【解决方案1】:

    因为 spark 在local[*] 模式下运行。它在本地运行 spark 与您机器上的逻辑内核一样多的 worker threads

    我无法添加评论。 Driver占用的CPU个数--Cores列与你的逻辑CPU个数一致。

    【讨论】:

    • 我的机器有8个逻辑核心。 wmic cpu get NumberOfCores,NumberOfLogicalProcessors NumberOfCores NumberOfLogicalProcessors 4 8
    猜你喜欢
    • 2019-12-09
    • 2013-07-24
    • 2020-06-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多