Gobblin 中的 HDFS 回溯配置

【问题标题】：HDFS look back configuration in GobblinGobblin 中的 HDFS 回溯配置
【发布时间】：2021-07-08 01:16:54
【问题描述】：

我看到 Hive 到 Hive 的数据移动在 Gobblin 中有一个回顾配置，我们可以在其中指定我们要使用的分区的哪些日期进行复制

gobblin.data.management.copy.hive.filter.LookbackPartitionFilterGenerator

Gobblin 中是否有类似的 HDFS 到 GCS（Google 云存储）数据复制的回溯配置，只能在特定分区日期之后复制文件？

我的文件在 HDFS 中，按日期分区。

【问题讨论】：

【解决方案1】：

如果您希望将时间分区的 HDFS 文件复制到 GCS，您可以使用 TimeAwareCopyableGlobDatasetFinder。这个数据集查找器实例化一个 TimeAwareRecursiveCopyableDataset，它接受一个配置来指定回顾时间，指定为天数/小时/分钟数。底层的 distcp 作业会将数据集的所有分区复制到指定的回溯时间。

例如，如果您有兴趣复制数据集过去 2 天的所有每小时分区，您的 Gobblin distcp 作业将包含以下配置：

gobblin.dataset.profile.class="org.apache.gobblin.data.management.copy.TimeAwareCopyableGlobDatasetFinder"
gobblin.dataset.pattern=/root/dataset/path
gobblin.copy.recursive.date.pattern=yyyy-MM-dd-HH
gobblin.copy.recursive.lookback.time=2d

【讨论】：