【发布时间】：2018-05-02 10:09:11
【问题描述】：
假设我有一个从存储文件加载数据并将其加载到大查询表中的管道。在这个管道完成之前，我可以运行另一个对同一个文件和表执行相同操作的管道吗？
我的假设是它应该失败。另外，我们如何能够触发第二个管道？ （我在 Eclipse 中运行 Apache Beam 代码；它不允许第二次执行，当一个类正在运行时）我们可以使用 CLI 运行吗？
【问题讨论】：
-
我不知道你为什么要这样做，但是你可以。除非管道的 id 相同，否则不会失败。
-
谢谢！我们只是在考虑是否有人会意外地通过同一管道触发副本，以及它是否会运行。管道的 id 将自动生成，因此它应该是唯一的。表和文件不会有任何访问问题，因为这两个作业将尝试访问相同的资源？
-
没有。 Google 会为您处理所有这些 ;-)
-
嗨@GrahamPolley，你能发布这个cmets作为答案吗？以便其他人知道问题已解决:-)
-
如果您的管道配置为将数据附加到 BigQuery 表，您最终会得到重复的结果（来自两个管道）afaik。你必须手动处理它
标签： google-cloud-platform google-bigquery google-cloud-storage google-cloud-dataflow