Pyspark：读取 JSON 数据文件，对象之间没有分隔符

Question

我有一个可将数据放入 S3 的 kinesis firehose 传输流。但是在数据文件中，json 对象之间没有分隔符。所以它看起来像这样，

{
  "key1" : "value1",
  "key2" : "value2"
}{
  "key1" : "value1",
  "key2" : "value2"
}

在 Apache Spark 中，我这样做是为了读取数据文件，

df = spark.read.schema(schema).json(path, multiLine=True)

这只能读取文件中的第一个json对象，其余的忽略，因为没有分隔符。

如何在 spark 中使用解决此问题？

Answer 1

您可以使用sparkContext的wholeTextFiles api将json文件读入Tuple2(filename, whole text)，将整个文本解析为多行jsons，最后使用 sqlContext 将其作为 json 读取到数据帧。

sqlContext\
    .read\
    .json(sc
          .wholeTextFiles("path to your multiline json file")
          .values()
          .flatMap(lambda x: x
                   .replace("\n", "#!#")
                   .replace("{#!# ", "{")
                   .replace("#!#}", "}")
                   .replace(",#!#", ",")
                   .split("#!#")))\
    .show()

你应该得到dataframe

+------+------+
|  key1|  key2|
+------+------+
|value1|value2|
|value1|value2|
+------+------+

您可以根据需要修改代码