【问题标题】:Submitting via Cloud Dataflow API通过 Cloud Dataflow API 提交
【发布时间】:2017-01-07 04:40:19
【问题描述】:

我正在尝试查找 API 文档(不是 Java SDK API,而是与数据流服务本身通信的 HTTP API),但似乎找不到。我正在尝试为具有不同参数的同一应用程序(jar 文件)提交作业,并且希望不必每次都运行应用程序来构建图形并提交自身。 (提交环境可能不支持Java。)

问题:

1) API 文档在哪里,以便我可以构建自己的请求? (有api explorer,但没有其余的就没有用了。)

2) 有没有办法从DataFlowPipelineRunner 转储请求,以便我可以将其用作提交自己的请求的基础。

【问题讨论】:

    标签: google-cloud-dataflow


    【解决方案1】:

    您可以create your Pipeline as a template,并通过使用 Dataflow API 客户端库发出 HTTP POST 请求来执行作业。

    从这里开始了解更多信息:Using Templates Overview

    【讨论】:

    • 什么时候添加的?这看起来对我尝试做的事情非常有用。
    【解决方案2】:

    官方不支持不使用 Dataflow SDK 向 Dataflow 服务提交作业,因此没有任何 API 文档。

    如果您想尝试捕获输出以修改并重新提交作业,请发送请求here。 newJob 变量是解析后的 JSON 对象,您可以将其输出到 JSON 文件中,然后在以后的过程中进行解析和修改

    这个功能绝对是我们感兴趣的,以易于使用的方式支持;您可以查看几周前发出的 API 提案并在此处跟踪进度:https://issues.apache.org/jira/browse/BEAM-551

    【讨论】:

    • 谢谢@danielm!能够提交作业而不必在本地执行将大大简化我们的具体流程。我可能会调查“重放”从 SDK 转储的修改后的 api 调用,并确保团队知道它当前不是受支持的用例。
    • 如果有任何反馈或测试我可以帮助将其转移到稳定的功能,请随时告诉我!
    猜你喜欢
    • 2018-07-25
    • 2022-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-12-14
    • 2016-11-02
    • 2019-02-25
    • 1970-01-01
    相关资源
    最近更新 更多