【发布时间】:2020-11-05 05:34:59
【问题描述】:
通过使用带有变量的脚本来优化查询Google BigQuery optimization with subquery in WHERE clause 的数据处理,指定目的地的能力丧失了。
对问题 Get a Big Query script to output a table 的答案中描述的解决方案进行建模会生成“无法为脚本设置 configuration.query.writeDisposition”错误。
有哪些选项可以解决需要将数据写入(覆盖)到表中的错误?这对于允许后处理和写入(附加)到另一个表以进行报告是必要的。
脚本如下。
DECLARE start_date STRING;
SET start_date = (SELECT MAX(date) FROM `my-project-12345.dataset.my-data-table`);
CREATE OR REPLACE TABLE `my-project-12345.dataset.my-staging-table`
AS SELECT
GA.date,
GA.field1,
hits.field2,
hits.field3
FROM
`my-project-12345.dataset.ga_sessions_*` AS GA, UNNEST(GA.hits) AS hits
WHERE
hits.type IN ('PAGE', 'EVENT')
AND hits.field0 = 'some value'
AND _TABLE_SUFFIX > start_date
AND _TABLE_SUFFIX < '20201025'
【问题讨论】:
-
我只是简单地测试了一下——它确实对我有用!!!有没有机会在
Query settings面板中设置任何目的地? -
查询设置已添加到问题中。
-
写入偏好设置为“附加到表格”,它在不注释掉脚本的情况下作为可设置参数不可见,但在下方显示。
-
我想,这就是我所引用的 - 所以修复这个以确保目标表没有在那里设置!是的 - 我能够重现这种情况 - 所以看起来这些设置不会自动禁用脚本
标签: google-bigquery