使用谷歌云数据流执行谷歌 Bigquery 查询

Question

是否可以直接使用谷歌云数据流执行Bigquery的查询并获取数据，而不是从表中读取数据然后放置条件？

例如，PCollections res=p.apply(BigqueryIO.execute("Select col1,col2 from publicdata:samples.shakeseare where ...."))

我们可以直接使用 Bigquery 查询已经实现的方法，而不是使用迭代方法重新发明。

感谢和问候

阿杰·K·N

Answer 1

BigQueryIO 目前仅支持从表中读取，而不支持从查询或视图中读取 (FAQ)。

解决此问题的一种方法是在您的主程序中通过在运行 Dataflow 作业之前发出查询来创建 BigQuery permanent table。之后，您的作业运行后，您可以删除该表。