在 Java 中提交作业时，如何解决 Spark 作业服务器中的“作业加载失败”错误？

Question

这是一个作为 Spark 作业的简单 Java 代码，在 Spark 作业服务器 github 存储库中提到

package com.sample.wordcount;

import com.typesafe.config.Config;
import com.typesafe.config.ConfigFactory;
import org.apache.spark.api.java.JavaSparkContext;
import spark.jobserver.japi.JSparkJob;
import spark.jobserver.api.JobEnvironment;

public class SparkJavaJob implements JSparkJob {
    @Override
    public Object run(Object sc, JobEnvironment runtime, Config data) {
        return "OK";
    }

    @Override
    public Config verify(Object sc, JobEnvironment runtime, Config config) {
        return ConfigFactory.empty();
    }
}

提交到 Spark Jobserver 时，显示 Job loading failed。

{ “状态”：“作业加载失败”， “结果”： { "message": "com.sample.wordcount.SparkJavaJob 无法转换为 spark.jobserver.api.SparkJobBase", “errorClass”：“java.lang.ClassCastException” }

谁能帮我解决这个问题？

Answer 1

我能够解决这个问题。基本上我必须在创建上下文类型时更改它。

curl -d '' localhost:8090/contexts/jcontext?context-factory=spark.jobserver.context.JavaSparkContextFactory&num-cpu-cores=2&memory-per-node=1g

我们必须使用“spark.jobserver.context.JavaSparkContextFactory”