从数据框中获取价值

Question

在 Scala 中，我可以使用 get(#) 或 getAs[Type](#) 从数据框中获取值。在pyspark怎么办？

我有一个两列 DataFrame：item(string) 和 salesNum(integers)。我做了一个groupby 和mean 来获得这些数字的平均值，如下所示：

saleDF.groupBy("salesNum").mean()).collect()

它有效。现在我在一个数据框中有了一个平均值。

如何从数据框中获取该值以获取浮点数的平均值？

Answer 1

collect() 将您的结果作为 python 列表返回。要从列表中取出值，您只需要像这样获取第一个元素：

saleDF.groupBy("salesNum").mean()).collect()[0] 

Answer 2

准确地说，collect 返回一个列表，其元素的类型为 class 'pyspark.sql.types.Row'。

在你的情况下，你应该提取真正的价值：

saleDF.groupBy("salesNum").mean()).collect()[0]["avg(yourColumnName)"]

其中yourColumnName 是您正在取平均值的列的名称（pyspark，在应用平均值时，默认以这种方式重命名结果列）。

例如，我运行了以下代码。查看每个步骤的类型和输出。

>>> columns = ['id', 'dogs', 'cats', 'nation']
>>> vals = [
...      (2, 0, 1, 'italy'),
...      (1, 2, 0, 'italy'),
...      (3, 4, 0, 'france')
... ]
>>> df = sqlContext.createDataFrame(vals, columns)
>>> df.groupBy("nation").mean("dogs").collect()
[Row(nation=u'france', avg(dogs)=4.0), Row(nation=u'italy', avg(dogs)=1.0)]
>>> df.groupBy("nation").mean("dogs").collect()[0]
Row(nation=u'france', avg(dogs)=4.0))
>>> df.groupBy("nation").mean("dogs").collect()[0]["avg(dogs)"]
4.0
>>> type(df.groupBy("nation").mean("dogs").collect())
<type 'list'>
>>> type(df.groupBy("nation").mean("dogs").collect()[0])
<class 'pyspark.sql.types.Row'>
>>> type(df.groupBy("nation").mean("dogs").collect()[0]["avg(dogs)"])
<type 'float'>
>>> 
>>>     

Answer 3

我们也可以在这里使用first()。

saleDF.groupBy("salesNum").mean()).first()[0]