【发布时间】：2022-09-26 17:02:16
【问题描述】：
在以 GCS 存储桶和目标 BigQuery 作为源的有限时间（30 分钟）内执行的管道中，在处理每个文件后，我只想移动在管道中执行的文件，但是在条件和操作中只有 GCS move 可用，困难在于它不允许区分源存储桶中的文件并移动所有在第一次执行超过 30 分钟后开始执行时会产生数据丢失的内容。
关于如何处理此案的任何想法？
标签： google-cloud-data-fusion cdap
【发布时间】：2022-09-26 17:02:16
【问题描述】：
GCS Move 插件不支持过滤器，我猜这会有所帮助。有一个现有的 JIRA - https://cdap.atlassian.net/browse/PLUGIN-698 要跟踪。
一种解决方法是使用支持通配符的文件移动插件。
【讨论】：