【问题标题】:How to check if a partition for an HDFS dataset/table exists using Dataframes如何使用 Dataframes 检查 HDFS 数据集/表的分区是否存在
【发布时间】:2021-11-03 10:39:18
【问题描述】:

我有一个按日期分区的 HDFS 数据集 person_details。假设这是一个示例分区:hdfs://<path>/person_details/date=20210906。 我正在使用 python 脚本来处理这个数据集。如何使用 Dataframes 检查特定分区(不是整个数据集)是否存在?

【问题讨论】:

  • 将显示分区满足要求
  • 不,我需要使用后续的 if 条件来处理代码中是否存在分区的结果。这不适用于控制台。
  • 我们可以添加条件来根据分区值过滤数据
  • 这个想法是删除现有分区以防重新运行。假设该作业已执行并为日期 20210906 创建了一个分区。如果我需要在同一日期重新运行该作业(临时运行是项目要求),它只会将第二次运行的数据输出附加到由第一次运行。我不想那样。因此,在重新运行的情况下,我想删除现有分区并为同一日期创建一个新分区。为此,我想检查分区是否已经存在。如果是,删除它,否则继续。
  • 实现此目的的一种方法是使用覆盖模式而不是附加模式写入数据帧。其他方法可能是使用 python lib 遍历文件夹并删除所需的分区

标签: dataframe pyspark hdfs


【解决方案1】:

查看 cmets,也许您可​​以使用 show partitions 然后计算结果数据帧以确定是否存在特定分区。

spark.sql("show partitions person_details partition(date=20210906)").count()

如果分区不存在,它会给你 0。

【讨论】:

  • 在 CLI 上快速尝试一下...它抛出语法错误
猜你喜欢
  • 1970-01-01
  • 2019-05-03
  • 1970-01-01
  • 1970-01-01
  • 2016-12-26
  • 2019-11-08
  • 1970-01-01
  • 2019-11-13
  • 2013-07-16
相关资源
最近更新 更多