我有一个从 API 向我发送数据的应用。数据是半结构化的（json数据）
我想将此数据发送到 Google Big Query 以存储所有信息。
但是，我无法找到正确的方法。
到目前为止，我已经在自己的服务器上使用 Node JS 来使用 POST 请求获取数据。
你能帮帮我吗？谢谢。
【问题讨论】：
标签： api google-app-engine google-bigquery cloud google-cloud-storage
您可以使用 bigquery API 进行流式插入。
您还可以将数据写入 PubSub 或 Google Cloud Storage，并使用数据流管道将它们加载到 bigquery（您可以使用流式插入（产生费用）或批量加载作业（免费））
您还可以登录 stackdriver，然后您可以从那里选择并发送到 bigquery（GCP 中已经存在直接选项，请注意它在后台执行流式插入）
如果您觉得设置数据流很复杂，您可以通过直接调用 bigquery API 来存储文件并执行批量加载作业。请注意，您可以在一天内对特定表进行批量加载的数量有限制（每天 1000 个）
【讨论】：
official documentation 中有一个页面列出了将数据加载到 BigQuery 的所有可能性。
为简单起见，您可以只从本地数据源发送数据。您应该将 Google Cloud 客户端库用于 Big Query。 Here 你有一个关于如何做到这一点的指南以及一个相关的代码示例。
但我诚实的建议是send data to Google Cloud Storage，然后再到load it to BigQuery。这样整个过程会更加稳定。
您可以检查我发布的第一个链接中的所有选项，然后选择您认为最适合您的工作流程的选项。
记住这个过程的limitations。
【讨论】：