连接到 BigQuery 中的大型数据集时如何编写 R 语言答案

【问题标题】：How to code R language when connecting to a large dataset in BigQuery连接到 BigQuery 中的大型数据集时如何编写 R 语言
【发布时间】：2020-02-14 04:54:37
【问题描述】：

我想使用 R 代码而不是 SQL 或 DBI 来编程关闭 BigQuery 连接而不下载表。

我想使用 R 代码而不是 SQL 或 DBI 来编程。目前我已连接到 BigQuery，并且我使用的表太大而无法下载。我想知道是否有一种方法可以使用数据库中的 R 代码进行查询。我尝试过的 Google 搜索只显示了如何使用 SQL 和 DBI（在 R 中）进行查询，但我想使用 R 语言。有没有办法在 R 中做到这一点，就像在 BigQuery 或 SAS 中使用 SQL 一样？

我不想使用如下代码：

sql_query <-
"SELECT x,sum(y) FROM `table1`;"

或

x <- y %>% group_by(z) %>% summarise(
w = sum(a + b,
na.rm = TRUE)

【问题讨论】：

您不能在 BigQuery UI 中使用 R，不。但是，您可以通过 R Studio 或笔记本使用 BigQuery，请参阅此博客文章：cloud.google.com/blog/products/gcp/… 和这些笔记本文档：cloud.google.com/ai-platform/notebooks/docs/use-r-bigquery
你能在 R 中以块（年、月、其他部分）查询表并将每个结果保存到文件吗？这使数据集占用空间更小。然后，无论您如何操作文件，您只需遍历它们并对每个文件执行相同的操作。
@Ben P 您能否发表您的评论作为对社区有益的答案？

标签： r google-bigquery database-connection

【解决方案1】：

您不能在 BigQuery 界面中使用 R，不。

不过，您可以通过 R Studio 或笔记本使用 BigQuery，请参阅这篇博文：https://cloud.google.com/blog/products/gcp/google-cloud-platform-for-data-scientists-using-r-with-google-bigquery

还有这些用于笔记本的文档： https://cloud.google.com/ai-platform/notebooks/docs/use-r-bigquery

【讨论】：