谷歌数据流挂起没有日志答案

【问题标题】：Google Dataflow hangs with no logs谷歌数据流挂起没有日志
【发布时间】：2016-01-30 06:23:44
【问题描述】：

当我使用 *DataflowPipelineRunner 从 Dataflow 文档运行 example WordCount job 时，它会启动工作程序，然后挂起，状态为 Running。

最后两条状态消息：

Jan 29, 2016, 22:05:50
S02: (b959a12901787f4d): Executing operation ReadLines+WordCount.CountWords/ParDo(ExtractWords)+WordCount.CountWords/Count.PerElement/Init+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey+WordCount.CountWords/Count.PerElement/Count.PerKey/Combine.GroupedValues/Partial+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey/Reify+WordCount.CountWords/Count.PerElement/Count.PerKey/GroupByKey/Write

Jan 29, 2016, 22:06:42
(c3fc1276c0229a41): Workers have started successfully.

就是这样。当我单击“工人日志”时，它完全是空的。这样至少保持 20 分钟。

它与 DirectPipelineRunner 配合良好（几秒钟内完成并在我的 gs://... 上创建输出文件）。

我应该看什么？

命令行参数：

--project=my-project
--stagingLocation=gs://my-project/dataflow/staging

【问题讨论】：

只是检查一下，您是否激活了 Dataflow API？
是的，Google Cloud Dataflow API 在console.developers.google.com/apis/…的列表中>
你有什么特殊的防火墙规则吗？
您能提供工作 ID 吗？

标签： google-cloud-dataflow

【解决方案1】：

未显示日志的一个常见原因是未启用 Cloud Logging API。如果getting started guide 中列出的所有 API 都未启用，则可能会导致您描述的两个问题（没有日志记录和挂起工作人员）。

尝试再次浏览入门指南并启用所有相关 API。

【讨论】：

【解决方案2】：

如果启用了所有 API，请检查您的用户身份验证。

glcoud auth login

和

gcloud auth application-default login

另外，请确保您已在用户拥有project owner or editor 访问权限的情况下运行这些命令。

否则，您可以将服务帐户用于您的工作，如下所示 import os os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = '<creds.json>'

【讨论】：