如何制作两列数据框映射类型？答案

【问题标题】：How to make two columns of dataframe map type?如何制作两列数据框映射类型？
【发布时间】：2020-11-27 14:13:06
【问题描述】：

如何制作两列数据框映射类型？

我想创建一个包含两列数据框的地图类型

--------------结果----- -----------------------------------------------------------

地图 ['账户' -> 3 , 'word1' -> 2, 'word5' ->1 ......]

这是我的代码

keyword_f = df.filter(month(df['date']) >= 7) \
                    .filter(month(df['date']) <= 12) \
                    .filter(df['statistic_type'] == 'keyword_A') \
                    .groupby('word').agg(fn.sum('count'))

【问题讨论】：

标签： dataframe dictionary pyspark transform

【解决方案1】：

你摸索到word和count之后，就可以这样收集结果了。

df.groupBy().agg(map_from_arrays(collect_list('col1'), collect_list('col2')).alias('map')) \
  .show(10, False)

+------------------------+
|map                     |
+------------------------+
|[A -> 1, B -> 2, C -> 3]|
+------------------------+

【讨论】：