使用 BigQuery 提取 Google Analytics 数据并加载到 SQL Server答案

【问题标题】：Extract Google Analytics Data using BigQuery and load in SQL Server使用 BigQuery 提取 Google Analytics 数据并加载到 SQL Server
【发布时间】：2017-06-08 12:49:57
【问题描述】：

我必须使用 JSON 格式的 BigQuery 从 Google Analytics 中提取数据并将 JSON 加载到 SQL Server。

我知道我们可以在 C# 中调用 BigQuery API 并以 JSON 格式流式传输数据并将其上传到 Google Storage 中，然后使用 GSUTIL 将 JSON 文件从 GS 复制到 ETL 服务器进行处理。读取 JSON 并将其加载到 SQL 服务器中。

我的问题是 -

有没有一种方法可以直接将 JSON 流式传输到 ETL 服务器，而不是上传到 Google 存储？

有没有办法在流式传输数据时，解析每一行并将其直接加载到表中？

有没有办法使用 SSIS 直接连接 BigQuery API（没有 ZappySys、CData 等第三方连接器）？

感谢您的帮助。

【问题讨论】：

您问的不是很清楚，但您想知道是否可以将数据直接流式传输到 BigQuery？

标签： c# sql-server json ssis google-bigquery

【解决方案1】：

您可以使用 C# 连接到 BigQuery 数据集并引用 Google.Apis.Bigquery.v2 逐行解析它，并将其相应地加载到表中here's a basic exaple

或者，您可以在 Google 应用脚本（资源 -> 高级 Google 服务 -> BigQuery API）和 JavaScript 中打开 Big Query 访问，并安排您的 ETL 逻辑Google Script example

如果您可以避免在代码中逐行解析数据，您会发现您的解决方案可以更好地扩展，但这取决于您的 ETL 要求和数据集大小

【讨论】：