将 BigQuery 数据集位置存储为变量的最佳方法 - python答案

【问题标题】：Best way to store BigQuery dataset location as variable - python将 BigQuery 数据集位置存储为变量的最佳方法 - python
【发布时间】：2019-02-04 18:54:48
【问题描述】：

我目前有一个函数可以读取 SQL 文件以在 Google 的 BigQuery 上执行查询。

import pandas as pd

def func1(arg1,arg2):
     with open('query.sql', 'r') as sqlfile:
        sql_query= sqlfile.read()
     df = pd.read_gbq(sql_query.format(arg1=arg1,arg2=arg2)

query.sql
SELECT * 
FROM bigquery.dataset
WHERE col1= {arg1}
AND col2 = {arg2}

数据集位置在 SQL 文件本身中是硬编码的，因此，如果我要更改数据集位置，则很难进行更改（即，我必须单独转到每个 SQL 文件并手动更改“发件人”子句。由于我有很多 SQL 文件，手动编辑每个单独的 SQL 文件的 from 子句变得很麻烦）

所以我的问题是，使数据集位置动态化的最佳方法是什么？理想情况下，数据集位置应该是一个变量，但问题是放置变量的位置。如果它是一个变量，将它作为函数参数传递会更好吗？ IE func1 将有一个参数，称为 dataset_loc

import pandas as pd

def func1(arg1,arg2,dataset_loc):
     with open('query.sql', 'r') as sqlfile:
        sql_query= sqlfile.read()
     df = pd.read_gbq(sql_query.format(arg1=arg1,arg2=arg2,dataset_loc=dataset_loc)

query.sql
SELECT * 
FROM {dataset_loc}
WHERE col1 = {arg1}
AND col2 = {arg2}

想知道这样做的最佳方法是什么。谢谢

【问题讨论】：

我认为这种方法没有任何问题。我们也这样做。
关于whare子句我建议你使用parameterized queries:

标签： python google-bigquery

【解决方案1】：

如果您使用相同的函数对不同的数据集进行操作，最好使函数“与数据集无关”，即将数据集作为参数传递。对我来说，你的第二个例子是很好的方法。

另外，请记住，现在您的应用程序可能很小，但您需要为将来扩大规模做好准备。当然，您不希望为每个数据集编写相同的 SQL 查询文件。

这取决于您的用例，但作为一般规则，建议在代码之外管理应用程序的参数。为此，使用了配置文件，当您使用 Python 时，请查看this Python library，这对阅读它们很有用。

【讨论】：