【问题标题】:How can I stage additional files with my Google Cloud Dataflow pipeline?如何使用我的 Google Cloud Dataflow 管道暂存其他文件?
【发布时间】:2016-04-25 12:23:59
【问题描述】:

我的代码:

Foo bar = new Foo("somefile.gz");

当我在 Google Dataflow 流上运行它时,它找不到我的 somefile.gz。 如何将资源文件暂存到 Google Dataflow?

【问题讨论】:

    标签: google-cloud-platform google-cloud-dataflow


    【解决方案1】:

    默认情况下,类路径上的所有文件都会被上传。如果您将所需文件作为资源包含在您的 jar 中,那么它将通过此​​过程上传。然后您可以通过Java resources APIs 访问该文件。

    如果这不适用于您的情况,您可以在命令行上使用setFilesToStage,即--filesToStage。请注意,这会覆盖自动类路径上传,因此您还需要显式上传库依赖项。

    【讨论】:

    • 嗨,Kenn,如何指定当前自动获取的库依赖项和类路径文件?想要暂存一些 dat 文件,但不确定如何在参数中包含当前隐式列表。谢谢。
    • 你可以使用setFilesToStage,在命令行上是--fileToStage
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2022-11-11
    • 1970-01-01
    • 2018-11-29
    • 1970-01-01
    • 2015-08-01
    • 1970-01-01
    • 2018-01-25
    相关资源
    最近更新 更多