Apache Spark to_json 选项参数

Question

我要么不知道我在寻找什么，要么缺少文档。鉴于此，后者似乎是这种情况：

http://spark.apache.org/docs/2.2.2/api/java/org/apache/spark/sql/functions.html#to_json-org.apache.spark.sql.Column-java.util.Map-

"options - 用于控制结构列如何转换为 json 字符串的选项。接受相同的选项和 json 数据源。"

太棒了！那么，我有哪些选择？

我正在做这样的事情：

Dataset<Row> formattedReader = reader
    .withColumn("id", lit(id))
    .withColumn("timestamp", lit(timestamp))
    .withColumn("data", to_json(struct("record_count")));

...我得到了这个结果：

{
  "id": "ABC123",
  "timestamp": "2018-11-16 20:40:26.108",
  "data": "{\"record_count\": 989}"
}

我想要这个（从“数据”中删除反斜杠和引号）：

{
  "id": "ABC123",
  "timestamp": "2018-11-16 20:40:26.108",
  "data": {"record_count": 989}
}

这是偶然的选择之一吗？有没有更好的 Spark 指南？关于 Spark 最令人沮丧的部分不是让它做我想做的事，而是缺乏关于它可以做什么的好的信息。

Answer 1

您对 record_count 字段进行了两次 json 编码。删除 to_json。单独的结构就足够了。

就像把你的代码改成这样。

Dataset<Row> formattedReader = reader
    .withColumn("id", lit(id))
    .withColumn("timestamp", lit(timestamp))
    .withColumn("data", struct("record_count"));