Spark数据框到列表

Question

我有一个具有以下架构的 spark 数据框：

root
 |-- cluster_info: struct (nullable = true)
 |    |-- cluster_id: string (nullable = true)
 |    |-- influencers: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- screenName: string (nullable = true)

我需要获取唯一的 screenName 列表，我正在使用下面的代码进行操作。但是collect是一个很繁重的操作，有没有更好的方法呢。

var namesDF = df.select(concat_ws(",", $"cluster_info.influencers.screenName").as("screenName"))
val influencerNameList: List[String] = namesDF.map(r => r(0).asInstanceOf[String]).collect().toList.mkString(",").split(",").toList.distinct

请提出建议。提前致谢。

Answer 1

您可以选择嵌套字段screenName 为array 和explode 它并获取distinct 值如下

var namesDF = df.select($"cluster_info.influencers.screenName").as("screenName"))
  .withColumn("screenName", explode($"screenName"))
  .select("screenName.screenName")
  .distinct()

你已经得到了distinct screenName 要获取列表，您可以使用

namesDF.rdd.map(_.getString(0).collect()

但如果你有大数据集，我不建议你收集结果

希望这会有所帮助！