如何为对象列表（即 StructType）定义火花模式？

Question

我在我的项目中使用带有 Java 8 的 spark-sql-2.3.1v。我正在尝试定义一个模式来解码来自 Kafka 流的消息消费。

我有

class Company{
    String companyName;
    Integer companyId;
}

我定义为

public static final StructType companySchema = new StructType(
              .add("companyName", DataTypes.StringType)
              .add("companyId", DataTypes.IntegerType);

但消息定义为

class Message{
    private List<Company> companyList;
    private String messageId;
}

我试图定义为

public static final StructType messageSchema = new StructType()
            .add("companyList", List(companySchema)),true)
            .add("messageId", DataTypes.StringType);

这在列表中给出错误。那么这个schema应该如何定义呢？

Answer 1

以下工作。

public static final StructType messageSchema = new StructType()
            .add("companyList", DataTypes.createArrayType(companySchema, false),false)
            .add("messageId", DataTypes.StringType);