json的Pyspark问题具有字符串和数组值的字段

Question

我有一个 Spark 集群，并且必须将 JSON 数据索引到 Elastic Search (ES)。有一列如下（仅两个样本）：

"ADDRESS": "PO box 1234, Lahore"
"ADDRESS": [ "PO box 5678, Karachi", "new city Lahore"]

上列的问题是，在某些记录中，它显示为字符串，而在其他一些情况下，它显示为字符串数组。我在ES中测试过上面的案例，在ES中没有问题，它可以索引两种情况而没有问题（如果直接索引的话）。

我编写了一个 Spark (pyspark) 作业来读取大型 JSON，然后将其插入 ES。在 Spark 模式中，它将此字段显示为字符串而不是数组。现在，当我将数据插入 ES 时，我得到以下响应

"ADDRESS": "PO box 1234, Lahore",
"ADDRESS": "[\"PO box 5678, Karachi\", \"new city Lahore\"]",

它不是显示为数组数据，而是显示为字符串。现在，问题出在哪里？我正在阅读 JSON 如下：

df = spark.read.option("multiline", "false").json(data_path)

更新 在数据框中看到的示例输入数据

Answer 1

我的想法是将 string "PO box 1234, Lahore" 变成 string ["PO box 1234, Lahore"]，然后将它们全部转换成 Array of String，如下所示：

import pyspark.sql.functions as F

(df
    .withColumn('ADDRESS2', F
        .when(~F.col('ADDRESS').startswith('['), F.concat(F.lit('["'), F.col('ADDRESS'), F.lit('"]')))
        .otherwise(F.col('ADDRESS'))
    )
    .withColumn('ADDRESS2', F.from_json('ADDRESS2', T.ArrayType(T.StringType())))
    .show(10, False)
)

# Output
# +------------------------------------------+---------------------------------------+
# |ADDRESS                                   |ADDRESS2                               |
# +------------------------------------------+---------------------------------------+
# |PO box 1234, Lahore                       |[PO box 1234, Lahore]                  |
# |["PO box 5678, Karachi","new city Lahore"]|[PO box 5678, Karachi, new city Lahore]|
# +------------------------------------------+---------------------------------------+


# root
#  |-- ADDRESS: string (nullable = true)
#  |-- ADDRESS2: array (nullable = true)
#  |    |-- element: string (containsNull = true)