Apache SPARK：-广播变量上的 Nullpointer 异常（YARN 集群模式）

Question

我有一个简单的 spark 应用程序，我试图在 YARN 集群上广播一个字符串类型的变量。 但是每次我尝试访问广播变量 value 时，我都会在任务中得到空值。如果你们能提出建议，这将非常有帮助，我在这里做错了什么。 我的代码如下：-

public class TestApp implements Serializable { 
  static Broadcast<String[]> mongoConnectionString; 

  public static void main( String[] args ) { 
    String mongoBaseURL = args[0]; 
    SparkConf sparkConf =  new SparkConf().setAppName(Constants.appName); 
    JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); 

    mongoConnectionString = javaSparkContext.broadcast(args); 

    JavaSQLContext javaSQLContext = new JavaSQLContext(javaSparkContext); 

    JavaSchemaRDD javaSchemaRDD = javaSQLContext.jsonFile(hdfsBaseURL+Constants.hdfsInputDirectoryPath); 

    if(javaSchemaRDD!=null) { 
      javaSchemaRDD.registerTempTable("LogAction"); 
      javaSchemaRDD.cache(); 
      pageSchemaRDD = javaSQLContext.sql(SqlConstants.getLogActionPage); 
      pageSchemaRDD.foreach(new Test());     
    } 
  } 

  private static class Test implements VoidFunction<Row> { 
    private static final long serialVersionUID = 1L; 

    public void call(Row t) throws Exception { 
      logger.info("mongoConnectionString "+mongoConnectionString.value()); 
    } 
  } 
}

Answer 1

这是因为您的广播变量处于类级别。而且由于在工作节点中初始化类时，它不会看到您在 main 方法中分配的值。它只会看到一个空值，因为广播变量没有被初始化为任何东西。我找到的解决方案是在调用方法时将广播变量传递给方法。累加器也是如此