每 5 分钟上传到 GCS 的文本文件如何将它们上传到 BigQuery？

Question

Kafka 将文件作为文本流式传输到 Google Cloud Storage (GCS)。新文件每 5 分钟上传一次。以下是其示例文件的一部分。

这里他们首先提到主题名称，然后是分区和偏移量。它的一些主题具有很少的字段，而其中一些具有大量字段（例如：名为 Sales 的主题具有字段名称 PersonalBC 和 City）。 他们上传到 GCS 的所有文本文件都有大约 15 个主题名称。如何将它们上传到 BigQuery？

最好的方法是什么？

Answer 1

没什么神奇的，你必须手动解析文件。

• 当a file arrive in GCS, trigger a Cloud Functions
• Cloud Functions 执行此操作
  • 下载文件
  • 解析文件并将其转换为存储在/tmp目录中的一个或多个文件
  • 致电BigQuery API to load the data from your local files（每张桌子打一次电话。每张桌子每天最多只能处理 1000 个加载作业）。指定文件格式（CSV 或 JSON 行是最常见且更易于处理/生成的）