为什么我的 Dataflow 管道未显示步骤？答案

【问题标题】：Why is my Dataflow pipeline not showing steps?为什么我的 Dataflow 管道未显示步骤？
【发布时间】：2015-12-14 21:54:41
【问题描述】：

当我运行示例时，我会得到一张显示流程的漂亮图片，并且我可以监控它的执行情况。在我的应用程序中，它不显示图表，如果我单击“步骤”，它什么也不显示。

添加作业日志截图。没有警告或错误。顺便说一句，我假设日志条目上带有“i”的图标代表信息级别，但是当我将级别从 BASIC 更改为 ALL 时，会添加更多条目并且它们都具有相同的图标。这很令人困惑。图标应该更清晰，并且应该有悬停提示，IMO。

【问题讨论】：

您好，我是 Dataflow 团队的一员。抱歉，您遇到了麻烦。您的管道是否产生输出并且您是否验证了输出正在产生？您能否分享其中一个没有图表显示的职位的职位 ID？
@JeremyLewi 是的，它产生了我预期的输出。这不是第一个屏幕截图中的 Job ID 吗？为了您的方便，复制到这里。作业名称 uotcpipeline-nwh02-1214220911 作业 ID 2015-12-14_14_09_19-5727579938330135228
我刚刚在FAQ 看到这个为什么数据流监控界面不报告我的管道输出步骤的状态？ 这是数据流监控接口的一个已知问题，将在未来版本中解决。作为一种解决方法，您可以在 Cloud Platform 输出位置的相关 Cloud Platform Console 界面中查看实时输出，例如 Cloud Storage 容器资源管理器或 BigQuery 控制台。我不确定这是否适用于我的情况或不。有点模糊。
谢谢。我们正在调查。很抱歉给您带来不便。

【解决方案1】：

我是 Dataflow 团队的一员。很抱歉您遇到了这个问题。

我相信这是因为您的代码使用了自定义步骤名称。从您的作业日志屏幕截图中，似乎已为其中一些步骤指定了代表 GCS 存储路径位置的名称。我从日志中的这条消息中注意到了这一点：

执行操作“gs://datalake/landing/....”

这无法在监视 UI 中呈现，并且可能会遇到断言，因为斜杠是不允许的字符。

为了解决此问题，请您尝试删除代码中使用的自定义步骤名称。这似乎设置为 gs:// 样式路径。您也可以尝试为每个步骤指定名称，而不使用特殊字符。请在更改后再次尝试运行作业，并查看图表是否在数据流 UI 中正确呈现。

我创建了一个github issue 来跟踪此错误并防止将来在数据流 SDK 代码中发送这些斜线字符。

如果您遇到任何其他问题，请告诉我。

【讨论】：

是的。就是这样。我将转换命名为 TextIO.Read.named(inputFile).from(inputFile) 之类的文件名，因为没有明确命名它会给我这个警告：WARNING: Transform TextIO.Read2 没有稳定的唯一名称。这将阻止更新管道。 当我硬编码一个没有斜杠的名称时，警告消失了，监控界面按预期工作。谢谢！