【问题标题】:Hiding dataflow options from plain sight隐藏数据流选项
【发布时间】:2019-05-07 16:01:18
【问题描述】:

我使用带有模板的谷歌云数据流运行器,并通过管道选项(例如用户名和密码)将敏感信息传递给它。从数据流控制台打开我的数据流作业的任何人都可以在侧面板中清楚地看到我通过选项发送的敏感信息。有没有办法隐藏这些选项出现?谢谢你 。

【问题讨论】:

  • 一种想法可能是更改管道以不从参数中获取敏感值,而是使用替代方法。例如,不提供用户名和密码作为管道选项,而是从 GCS 文件中读取这些文件,其中文件包含用户名和密码,并且文件的权限不允许从其他人读取。
  • 您是否能够为您正在使用的服务使用服务帐户等机制?
  • 不,很遗憾,服务帐户不是我们用例的选项。

标签: google-cloud-dataflow apache-beam


【解决方案1】:

在 java 中,您可以在 PipelineOptions 上使用 @Hidden 注释,例如:

    @Hidden
    public interface Options extends PipelineOptions {
        // Add options here you don't want to display in dataflow
    }

https://www.tabnine.com/code/java/classes/org.apache.beam.sdk.options.Hidden

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2011-03-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-08-19
    相关资源
    最近更新 更多