GCP Dataflow- 从 Compute Engine 虚拟机读取 CSV 文件并写入 BigQuery答案

【问题标题】：GCP Dataflow- read CSV file from Compute Engine VM and write into BigQueryGCP Dataflow- 从 Compute Engine 虚拟机读取 CSV 文件并写入 BigQuery
【发布时间】：2020-02-16 14:15:04
【问题描述】：

GCP Dataflow - 从存储中读取 CSV 文件并写入 BigQuery

【问题讨论】：

你能详细点吗？
是的，我在 Google Compute Engine VM 实例上有文件，并希望使用 Google Cloud Dataflow 将这些文件加载到 BigQuey 中
您的文件在加载到 BigQuery 之前是否需要进行大量转换？

标签： google-cloud-platform google-cloud-dataflow apache-beam

【解决方案1】：

Cloud Dataflow 无法从虚拟机磁盘读取文件。最好的方法是将文件上传到存储桶中，然后使用BuiltIn connector。在 Java 中，我使用 FileIO。

【讨论】：