【发布时间】:2021-11-03 10:39:18
【问题描述】:
我有一个按日期分区的 HDFS 数据集 person_details。假设这是一个示例分区:hdfs://<path>/person_details/date=20210906。
我正在使用 python 脚本来处理这个数据集。如何使用 Dataframes 检查特定分区(不是整个数据集)是否存在?
【问题讨论】:
-
将显示分区满足要求
-
不,我需要使用后续的 if 条件来处理代码中是否存在分区的结果。这不适用于控制台。
-
我们可以添加条件来根据分区值过滤数据
-
这个想法是删除现有分区以防重新运行。假设该作业已执行并为日期 20210906 创建了一个分区。如果我需要在同一日期重新运行该作业(临时运行是项目要求),它只会将第二次运行的数据输出附加到由第一次运行。我不想那样。因此,在重新运行的情况下,我想删除现有分区并为同一日期创建一个新分区。为此,我想检查分区是否已经存在。如果是,删除它,否则继续。
-
实现此目的的一种方法是使用覆盖模式而不是附加模式写入数据帧。其他方法可能是使用 python lib 遍历文件夹并删除所需的分区