从 Spark 数据集中获取 hive 分区

Question

我正在研究在写入 S3 后自动将表和分区注册到配置单元元存储的东西。

在注册所有分区之前，我需要知道所有分区值。现在我正在做ds.select(partitionColumn).distinct().collectAsList(); 来获取所有分区值。

有没有更好的方法从我的数据集中获取分区值？

Answer 1

看完Spark源码，特别是org.apache.spark.sql.execution.command.ddl.scala中的AlterTableRecoverPartitionsCommand，就是ALTER TABLE RECOVER PARTITIONS的Spark实现。它扫描所有分区，然后注册它们。

所以，这是相同的想法，从我们刚刚写入的位置扫描所有分区。

从中获取键名，然后从中提取分区名称/值。

这里是获取路径的代码sn-p。

String location = "s3n://somebucket/somefolder/dateid=20171010/";
Path root = new Path(location);

Configuration hadoopConf = sparkSession.sessionState().newHadoopConf();
FileSystem fs = root.getFileSystem(hadoopConf);

JobConf jobConf = new JobConf(hadoopConf, this.getClass());
final PathFilter pathFilter = FileInputFormat.getInputPathFilter(jobConf);

FileStatus[] fileStatuses = fs.listStatus(root, path -> {
    String name = path.getName();
    if (name != "_SUCCESS" && name != "_temporary" && !name.startsWith(".")) {
        return pathFilter == null || pathFilter.accept(path);
    } else {
        return false;
    }
});

for(FileStatus fileStatus: fileStatuses) {
    System.out.println(fileStatus.getPath().getName());
}