如何使用 pyspark 将字段从 double 转换为 float 并舍入

Question

我有两个数据框，其架构如下： books_with_10_ratings_or_more_with_title：

root
 |-- ISBN: string (nullable = true)
 |-- count: long (nullable = false)
 |-- average: double (nullable = true)

和 books_df：

root
 |-- ISBN: string (nullable = true)
 |-- count: long (nullable = false)
 |-- average: double (nullable = true)

我尝试将它们结合在一起并将评级（即平均）更改为浮动

books_with_10_ratings_or_more_with_title = books_with_10_ratings_or_more.join(books_df, 'ISBN').select('ISBN', 'Book-Title', 'Book-Author', 'Year', books_with_10_ratings_or_more.average.cast(float))

所以我可以用以下代码对其进行四舍五入，它会引发错误：

unexpected type:

代码有什么问题，我该如何解决？非常感谢。

Answer 1

你可以这样做

books_with_10_ratings_or_more.average.cast('float')

或

from pyspark.sql.types import FloatType
books_with_10_ratings_or_more.average.cast(FloatType())

官方API文档中有an example

编辑

所以你尝试cast，因为round 抱怨某事不是float。您不必强制转换，因为您的三位数四舍五入与 FloatType 或 DoubleType 没有区别。

您的round 将不起作用，因为您使用的是python 中的函数。您需要从pyspark.sql.functions 导入它。例如，

from pyspark.sql.types import Row
from pyspark.sql.functions import col, round

df = sc.parallelize([
  Row(isbn=1, count=1, average=10.6666666),
  Row(isbn=2, count=1, average=11.1111111)
]).toDF()

df.select(round(col('average'), 3).alias('average')).collect()