【问题标题】：Beam Dataflow Pipeline Table Creation Sink as Bigquery from GCSBeam Dataflow Pipeline Table Creation Sink 作为来自 GCS 的 Bigquery
【发布时间】：2021-05-25 16:33:58
【问题描述】：
我想创建梁数据流作业以将数据从 GCS 加载到 Bigquery，我将有 100 个来自 GCS 中不同文件夹的 Parquet 格式文件，是否可以从 GCS 中的不同文件夹加载文件，是否可以创建束代码本身中的源数据集和表。
我的最终目标是创建管道以将数据从 GCS 加载到 Bigquery
提前致谢。
【问题讨论】：
标签：
google-cloud-platform
google-bigquery
google-cloud-dataflow
apache-beam
【解决方案1】：
是的，这非常适合 Dataflow。您可以使用 FileIO 从 GCS 读取数据，使用 BigQueryIO 向 BigQuery 写入数据。
【解决方案2】：
另一种解决方案，您可以使用gsutil 将所有文件从不同的 GCS 文件夹移动到一个文件夹中。然后，一旦您通过 GCS 将所有文件放在一个文件夹中，您就可以轻松地从 GCS 读取数据并将其加载到 BigQuery。