数据流作业完成后如何从云存储中删除文件

Question

在 GCP 中，我有一个数据流作业，它负责将文件从云存储复制到大查询中。一旦它们成功插入到大查询中，我想删除这些文件。有人可以提供有关如何实现这一点以及在前一个工作成功后如何触发另一个工作的指针吗？

Answer 1

对于这些类型的场景，通常建议您在架构中引入用于调度和工作负载编排的工具。 Google Cloud 提供了Cloud Composer（Airflow 的托管版本）来准确解决这个用例。您可以在 Composer 中安排一个 DAG（有向无环图）来启动您的 Dataflow 作业，然后在作业运行成功后，执行其他任务以进行文件清理或启动下一个流程。

DAG 示例

要开始使用，我建议查看 Cloud Composer documentation 以及这些看起来与您的用例相似的 Cloud Composer Examples。