Spark：如果键存在，则获取列映射的特定值

Question

我的数据集中有一列“price_map”，它是一个像这样的 HashMap：

(usd_price,100),
(eur_price,200),
(jpy_price,500)...

现在我想检索 usd_price 的价格值（即 100），当键 usd_price 存在于地图中时，并将其作为新行放入我的数据集中。

我尝试过这样的事情：

    dataset = dataset.withColumn("usd_price", when(
            size(map_keys(dataset.col(price_map))),
            map_values(dataset.col(price_map))
                    .getField("usd_price"))
            .otherwise(lit("no data"))
    );

但它告诉我

org.apache.spark.sql.AnalysisException: cannot resolve 'map_values(`price_map`)['usd_price']' due to data type mismatch: argument 2 requires integral type, however, ''usd_price'' is of string type.;;

我想知道这样做的正确方法是什么？

Answer 1

你可以直接使用getItem获取map值，如果找不到key，可以使用coalesce替换null。

dataset2 = dataset.withColumn(
    "usd_price",
    coalesce(
        dataset.col("price_map").getItem("usd_price"),
        lit("no data")
    )
);