我不太明白spark.task.cpus 参数。在我看来，“任务”对应于执行程序中的“线程”或“进程”，如果您愿意的话。假设我将“spark.task.cpus”设置为 2。
一个线程如何同时使用两个 CPU？难道它不需要锁并导致同步问题吗？
我正在查看 deploy/executor/Executor.scala 中的 launchTask() 函数，在这里我没有看到“每个任务的 CPU 数量”的任何概念。那么 Spark 最终在哪里/如何为独立模式下的任务分配多个 cpu？
【问题讨论】：
标签： multithreading scala apache-spark
据我所知，spark.task.cpus 控制集群中任务的并行性，以防某些特定任务已知具有自己的内部（自定义）并行性。
更详细：
我们知道spark.cores.max 定义了您的应用程序需要多少线程（又名内核）。如果您离开spark.task.cpus = 1，那么您将有 #spark.cores.max 同时运行的并发 Spark 任务数。
如果您知道您的任务本身是并行化的（可能每个任务产生两个线程，与外部工具交互等），您只需要更改spark.task.cpus。通过相应地设置spark.task.cpus，您将成为一个优秀的“公民”。现在如果你有 spark.cores.max=10 和 spark.task.cpus=2 Spark 将只创建 10/2=5 个并发任务。鉴于您的任务在内部需要（例如）2 个线程，执行线程的总数永远不会超过 10。这意味着您永远不会超出初始合同（由 spark.cores.max 定义）。
【讨论】：
CPUS_PER_TASK，尽管它并没有真正在运行时强制执行（更多的资源利用提示而不是硬限制）
rdd.mapPartitions(_.toVector.par.map(foo))。并回答您的第二个问题-我们根本不回答。它只是说如果你声明了四个执行器核心，并且spark.task.cpus 等于 2，那么它只能启动 2 个任务。但是有物理内核分配或类似的东西。 Spark 中的core 只是一个线程。