Pyspark 在将数据帧行转换为字典时保留字段的顺序

Question

我有一个包含以下数据的数据框 df：

Name        Value     Code
a           1         1
b           2         1
c           3         2
d           4         2

我想将此数据框转换为字典。我尝试使用 asDict()：

 map(lambda row: row.asDict(), df.collect())

它给出以下输出：

[{'Code': 1, 'Name': u'a', 'Value': 1}, {'Code': 1, 'Name': u'b', 'Value': 2}, {'Code': 2, 'Name': u'c', 'Value': 3}, {'Code': 2, 'Name': u'd', 'Value': 4}]

这里的字段是排序的。但我想保留字段的顺序。

我的输出应该是这样的：

[{'Name': u'a', 'Value': 1,'Code': 1}, {'Name': u'b', 'Value': 2,'Code': 1}, {''Name': u'c', 'Value': 3,Code': 2}, {'Name': u'd', 'Value': 4,'Code': 2}]

除了使用 asDict() 方法之外，还有其他方法可以实现吗？

Answer 1

在 python 中，dict 没有任何顺序概念。您需要为此使用OrderedDict。你可以这样做

from collections import OrderedDict
...
map(lambda row: OrderedDict(zip(df.columns, list(row))), df.collect())