运行火花作业时 CPU 使用率低

Question

我正在运行 Spark 作业。我有 4 个内核和工作内存设置为 5G。应用程序主机位于同一网络中的另一台机器上，并且不托管任何工作人员。这是我的代码：

private void myClass() {
    // configuration of the spark context
    SparkConf conf = new SparkConf().setAppName("myWork").setMaster("spark://myHostIp:7077").set("spark.driver.allowMultipleContexts", "true");
    // creation of the spark context in wich we will run the algorithm
    JavaSparkContext sc = new JavaSparkContext(conf);

    // algorithm
    for(int i = 0; i<200; i++) {
        System.out.println("===============================================================");
        System.out.println("iteration : " + i);
        System.out.println("===============================================================");
        ArrayList<Boolean> list = new ArrayList<Boolean>();
        for(int j = 0; j < 1900; j++){
            list.add(true);
        }
        JavaRDD<Ant> ratings = sc.parallelize(list, 100)
                    .map(bool -> new myObj())
                    .map(obj -> this.setupObj(obj))
                    .map(obj -> this.moveObj(obj))
                    .cache();
        int[] stuff = ratings
                    .map(obj -> obj.getStuff())
                    .reduce((obj1,obj2)->this.mergeStuff(obj1,obj2));
        this.setStuff(tour);

        ArrayList<TabObj> tabObj = ratings
                    .map(obj -> this.objToTabObjAsTab(obj))
                    .reduce((obj1,obj2)->this.mergeTabObj(obj1,obj2));
        ratings.unpersist(false);

        this.setTabObj(tabObj);
    }

    sc.close();
}

当我启动它时，我可以在 Spark UI 上看到进度，但它真的很慢（我必须将并行化设置得相当高，否则我会遇到超时问题）。我以为是CPU瓶颈，但是JVM CPU消耗其实很低（大部分时候是0%，有时候超过5%……）。

根据监控，JVM正在使用大约3G的内存，缓存只有19M。

主控主机有 4 个核心，内存较少 (4G)。那台机器显示 100% 的 CPU 消耗（一个完整的核心），我不明白为什么这么高......它只需将分区发送给另一台机器上的工作人员，对吗？

为什么 Worker 的 CPU 消耗低，而 Master 的 CPU 消耗高？

Answer 1

1. 确保您已通过 Yarn 或集群中的 mesos 提交 Spark 作业，否则它可能仅在您的主节点中运行。

2. 由于您的代码非常简单，因此完成计算应该非常快，但我建议使用 wordcount 示例尝试读取几 GB 的输入源来测试 CPU 消耗情况。

3. 请使用 "local[*]" 。 * 表示使用你的所有核心进行计算

   SparkConf sparkConf = new SparkConf().set("spark.driver.host", "localhost").setAppName("unit-testing").setMaster("local[*]"); 参考文献：https://spark.apache.org/docs/latest/configuration.html

4. 在 spark 中有很多东西会影响 CPU 和内存的使用，例如执行器和您希望分配的每个 spark.executor.memory。