代码如何知道它在 Google Dataflow 上运行？答案

【问题标题】：How could code know it's running on Google Dataflow?代码如何知道它在 Google Dataflow 上运行？
【发布时间】：2017-11-07 16:09:15
【问题描述】：

我想为在 Dataflow 和正常环境中使用的库使用一些配置。

有没有办法让代码检查它是否在 Dataflow 上运行？例如，我看不到环境变量。

【问题讨论】：

【解决方案1】：

一个选项是使用 PipelineOptions，其中包含管道运行器信息。如梁文档中所述：“当您在您选择的运行器上运行管道时，您的代码将可以使用 PipelineOptions 的副本。例如，您可以从 DoFn 的上下文中读取 PipelineOptions。”

【讨论】：

如何访问 DataFlow 中的选项？
您可以在 DoFn 中使用 getPipelineOptions：beam.apache.org/documentation/sdks/javadoc/0.5.0/org/apache/…
谢谢。知道如何在 Python 中做到这一点吗？看起来它在这里不可用：cloud.google.com/dataflow/pipelines/specifying-exec-params。但即使 DataFlow 文档中没有内容，代码中也经常有内容
遗憾的是，Python SDK 目前不支持在 DoFn 中获取 PipelineOptions :(

【解决方案2】：

这不是一个好的答案，但它可能是我们目前能做的最好的答案：

if 'harness' in os.environ.get('HOSTNAME', ''):

【讨论】：