使用 Spark (Java) 将 JSON 插入 Hadoop

Question

我是 Hadoop 的新手，

我将 Spark 与 Java 一起使用。

我有动态 JSON，例如：

   {
    "sourceCode":"1234",
    "uuid":"df123-....",
    "title":"my title"
}{
    "myMetaDataEvent": {
        "date":"10/10/2010",
    },
    "myDataEvent": {
        "field1": {
            "field1Format":"fieldFormat",
            "type":"Text",
            "value":"field text"
        }
    }
}

有时我只能看到 field1，有时我可以看到 field1...field50

也许用户可以从此 JSON 添加字段/删除字段。

我想将这个动态 JSON 从 Spark Java 代码插入到 hadoop（到 hive 表），

我该怎么做？

我希望用户可以在进行 HIVE 查询后，即：select * from MyTable where type="Text

我每天有大约 100B 条 JSON 记录需要插入到 Hadoop，

那么推荐的方法是什么？

*我查看了以下内容：SO Question，但这是已知的 JSON 方案，但不是我的情况。

谢谢

Answer 1

我遇到过类似的问题，我可以用这个解决我的问题。 （因此，如果您在解析 json 之前创建架构，这可能会有所帮助）。

对于具有字符串数据类型的字段，您可以创建架构：-

StructField field = DataTypes.createStructField(<name of the field>, DataTypes.StringType, true);

对于具有 int 数据类型的字段，您可以创建架构：-

StructField field = DataTypes.createStructField(<name of the field>, DataTypes.IntegerType, true);

在List<StructField> 中添加所有字段后，

例如：-

List<StructField> innerField = new ArrayList<StructField>();
.... Field adding logic ....
Eg:- 
 innerField.add(field1);
 innerField.add(field2);    

// 一个实例可以来，或者多个值的实例在一个数组中，则需要放入Array Type中。

ArrayType getArrayInnerType = DataTypes.createArrayType(DataTypes.createStructType(innerField));

StructField getArrayField = DataTypes.createStructField(<name of field>, getArrayInnerType,true);

然后您可以创建架构：-

StructType structuredSchema = DataTypes.createStructType(getArrayField);

然后我使用 Dataset API 生成的模式读取 json。

Dataset<Row> dataRead = sqlContext.read().schema(structuredSchema).json(fileName);