使用间接架构更改更新 BigQuery 视图

Question

更新视图时，似乎没有发现间接架构更改。

重现步骤

• 使用field1 字段创建view1（例如SELECT 1 AS field1）
• 创建view2 从view1 中选择所有字段
• 更新view1，使其也包括field2（例如SELECT 1 AS field1, 2 AS field2）
• 使用与以前相同的查询更新view2（由于documented limitation）

期望的结果

• view1 和 view2 的架构，包括 field1 和 field2
• 视图更新应该是原子的

实际结果

• view1 的架构已正确更新（包括 field1 和 field2）
• view2 的架构仅包括 field1
• 从view2 中选择实际上会返回field1 和field2

我可以删除 view2 并重新创建它，但这不是原子操作，而且有时视图不可用，这是不希望的。

我还尝试更新 view2 的架构属性，但被 Cannot add fields (field: field2) 拒绝：

google.api_core.exceptions.BadRequest: 400 PATCH https://www.googleapis.com/bigquery/v2/projects/<project-id>/datasets/dataset1/tables/view2: 提供的架构与表 :dataset1.view2 不匹配。无法添加字段（字段：field2）

问题

有什么方法可以自动更新视图，同时更新间接更改的架构（视图从中选择的表/视图）。

注意：当然我的 view2 会添加额外的字段，我目前可以通过创建一个新的临时视图来确定它的架构。

注意：架构很重要，因为 Data Studio 的 BigQuery 连接器等工具正在检查架构。

重现步骤的代码

# Python 3.6+
import google.api_core.exceptions
from google.cloud import bigquery


def delete_table_if_exists(client: bigquery.Client, table: bigquery.Table):
    try:
        client.delete_table(table)
    except google.api_core.exceptions.NotFound:
        pass


def full_table_id(table: bigquery.Table) -> str:
    # Note: the documentation says it should be separated by a dot but uses a colon
    return table.full_table_id.replace(':', '.')


def view_test():
    client = bigquery.Client()

    dataset_ref = client.dataset('dataset1')
    try:
        client.create_dataset(dataset_ref)
    except google.api_core.exceptions.Conflict:
        pass

    view1 = bigquery.Table(dataset_ref.table('view1'))
    view2 = bigquery.Table(dataset_ref.table('view2'))
    delete_table_if_exists(client, view1)
    delete_table_if_exists(client, view2)

    view1.view_query = 'SELECT 1 AS field1'
    view1 = client.create_table(view1)

    view2.view_query = f'SELECT * FROM `{full_table_id(view1)}`'
    client.create_table(view2)

    view1.view_query = 'SELECT 1 AS field1, 2 AS field2'
    client.update_table(view1, ['view_query'])

    client.update_table(view2, ['view_query'])
    print('view2 schema:', client.get_table(view2).schema)

    # trying to update the schema fails with 'Cannot add fields (field: field2)'
    view2.schema = client.get_table(view1).schema
    client.update_table(view2, ['schema'])


if __name__ == '__main__':
    view_test()

Bash 示例做同样的事情

#!/bin/bash

set -e

project_id=$(gcloud config list --format 'value(core.project)' 2>/dev/null)

bq mk -f dataset1

bq rm -f dataset1.view1
bq rm -f dataset1.view2

bq mk --use_legacy_sql=false --view 'SELECT 1 AS field1' dataset1.view1
bq mk --use_legacy_sql=false --view 'SELECT * FROM `'$project_id'.dataset1.view1`' dataset1.view2

bq update --use_legacy_sql=false --view 'SELECT 1 AS field1, 2 AS field2' dataset1.view1
bq update --use_legacy_sql=false --view 'SELECT * FROM `'$project_id'.dataset1.view1`' dataset1.view2

bq show dataset1.view2

更新：接受答案的代码

Python 代码

def get_create_or_replace_view_query(view: bigquery.Table) -> str:
    return f'CREATE OR REPLACE VIEW {view.dataset_id}.{view.table_id} AS {view.view_query}'


def view_test():
    # ...
    query_job = client.query(get_create_or_replace_view_query(view2))
    query_job.result()
    print('view2 schema:', client.get_table(view2).schema)

重击魔法

bq query --use_legacy_sql=false 'CREATE OR REPLACE VIEW dataset1.view2 AS SELECT * FROM `'$project_id'.dataset1.view1`'

Answer 1

您应该使用CREATE OR REPLACE VIEW 声明；见related documentation。 BigQuery 为所有执行表修改的查询提供 ACID 语义，CREATE OR REPLACE VIEW 也不例外，因此它原子地替换了视图的定义和架构。