【问题标题】:"oauth2client.transport : Refreshing due to a 401" what exactly this log mean?“oauth2client.transport:由于 401 而刷新”这个日志到底是什么意思?
【发布时间】:2016-10-11 00:39:45
【问题描述】:

我在谷歌云数据流上设置了一个工作,它需要 7 多个小时才能完成。我的工作 ID 是 2016-10-10_09_29_48-13166717443134662621。它没有在管道中显示任何错误。只需继续注销“oauth2client.transport:由于 401 而刷新”。我的工人有什么问题还是有什么问题。如果是这样,我该如何解决?

【问题讨论】:

  • 401 的意思是“未授权”...听起来您无法正确验证某些内容

标签: python google-cloud-dataflow


【解决方案1】:

作为一般方法,您应该尝试在本地运行管道,在小型数据集上使用 DirectPipelineRunner 来调试您的自定义转换。

一旦通过,您就可以使用 Google Cloud Dataflow 用户界面来调查管道状态。您可以特别查看Step 选项卡中的Elements Added 字段,以查看您的转换是否产生了输出。


在这个特定的工作中,有一个步骤似乎没有产生输出,这通常表明用户代码中存在问题。

【讨论】:

  • 确实,这项工作似乎没有取得进展 - 看起来某些记录的处理正在挂起。现在我建议取消管道。调试它的最佳方法是首先使用直接运行程序在本地运行它,但您也可以使用日志记录。此外,我建议打开 autoscailng - 这样 Dataflow 可以关闭空闲的工作人员(其中一名工作人员空闲),从而节省资源和成本。
猜你喜欢
  • 2018-06-16
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-03-05
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多