pandas中也有,常和pivot_table比较。

(4)pyspark---dataframe清理

查看家庭ID与评分的交叉表:

(4)pyspark---dataframe清理

2、处理缺失值:fillna

(4)pyspark---dataframe清理

withColumn:新增一列数据

cast : 用于将某种数据类型的表达式显式转换为另一种数据类型

(4)pyspark---dataframe清理

 将缺失值删除:dropna

(4)pyspark---dataframe清理

3、处理重复值

查看有没有重复值存在:distinct().count()

(4)pyspark---dataframe清理

将重复值去除:dropDuplicates()

(4)pyspark---dataframe清理

 4、dataframe的agg应用:

(4)pyspark---dataframe清理

 

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-07-31
  • 2021-06-10
  • 2022-12-23
猜你喜欢
  • 2021-06-03
  • 2022-12-23
  • 2022-12-23
  • 2022-03-04
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案