【问题标题】:Getting HTTP transport error while executing google dataflow job执行谷歌数据流作业时出现 HTTP 传输错误
【发布时间】:2016-08-29 17:27:42
【问题描述】:

我在执行 Dataflow 作业时经常遇到错误:

BigQuery 导入作业“dataflow_job_838656419”失败。,:BigQuery 为项目“TestProject”中数据集“TestDataSet”中的表“TestTable”创建导入作业失败。,:BigQuery 执行失败。,:HTTP 传输错误:消息:无效值:字符串不是有效值 HTTP 代码:400

它没有给出 google Dataflow 作业连续失败的任何具体原因。 我如何知道我在执行 google Dataflow 作业时犯了什么错误?

【问题讨论】:

  • 您能提供工作ID吗?
  • 作业 ID 为 2016-08-29_10_19_38-10605284450672758855
  • 代码是否使用了 TableRow (developers.google.com/resources/api-libraries/documentation/…),如果是,是使用 setF 还是 set?
  • 是的,代码使用 TableRow 对象并使用 set()
  • 看起来该作业将“字符串”指定为模式字段的类型。 BigQuery 文档说它应该拼写为“STRING”。你可以这样试试吗?

标签: google-cloud-dataflow


【解决方案1】:

问题在于 BigQuery API 的使用不正确,该 API 在字段类型方面区分大小写。请在您提供的架构中指定“STRING”作为字段类型。

更多详情请查看https://cloud.google.com/bigquery/docs/reference/rest/v2/tables

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多