tbigqueryinput Talend 限制错误答案

【问题标题】：tbigqueryinput Talend limit errortbigqueryinput Talend 限制错误
【发布时间】：2015-06-26 11:02:23
【问题描述】：

每当我从 Bigquery 表中获取指定超过 100000 条记录的数据时，都会出现以下错误

运行查询：SELECT action_payout FROM [FreeBStaging.fb_appreporting] LIMIT 1000000 组件 tBigQueryInput_1 中的异常 com.google.api.client.googleapis.json.GoogleJsonResponseException: 404 未找到 { “代码”：404， “错误”：[{ “域”：“全球”， “消息”：“未找到：表 igneous-study-87009:_165c6d3f4b2c1dbd0d644a1155ebebf7f2dbacfd.anon22fbed90bfc239ef84ee0345744d6cda6052a060”， “原因”：“未找到” }], “消息”：“未找到：表 igneous-study-87009:_165c6d3f4b2c1dbd0d644a1155ebebf7f2dbacfd.anon22fbed90bfc239ef84ee0345744d6cda6052a060” }

即使我没有指定限制，它也会给我错误。它适用于少于 100000 条记录。

【问题讨论】：

请发布工作 ID，以便 BQ 团队进行调查。
我正在使用 Talend 工具。而且这里没有指定jobid。
复制查询并移至 BigQuery 网页界面：bigquery.cloud.google.com/queries
工作 ID 是：igneous-study-87009:job_m_pq4JxKfMPTKcliU9G9s6vhl1Y

标签： google-bigquery talend

【解决方案1】：

使用您在 cmets 中提供的作业 ID 的查询失败，因为它的结果太大。 BigQuery 具有 AllowLargeResults 选项，可针对此类查询进行扩展，但速度可能较慢。不知道 Talend 是否支持设置这样的查询选项。

【讨论】：

感谢您的回复。但我在 Bigquery 中知道这一点。但问题在于 Talend 工具

【解决方案2】：

在“基本设置”选项卡的底部，您有 3 个选项：小、大或自动。我使用以下配置在单个查询中每天移动大约 4,000,000 行（我的设置为自动...不确定这是否是最佳的，但我害怕更改它，因为它可以工作）

【讨论】：