【问题标题】:How can I provide runtime parameter/argument values via a file for CDAP pipleline如何通过 CDAP 管道的文件提供运行时参数/参数值
【发布时间】:2020-04-27 20:28:46
【问题描述】:

如何将运行时参数/参数添加到 CDAP 管道。

我们可以在所有 Transforms、Source 和 Target 节点中设置参数,并在运行时在 Datafusion 环境中手动输入值。

但是在生产环境中,我想要一个参数文件将值提供给管道,我如何实现此功能。

在 CDAP 文档中,我没有找到关于运行时参数的任何有用信息。我是数据融合的新手,对界面不是很熟悉。如果已经回答了这个问题,则重定向到该主题也会有所帮助

【问题讨论】:

    标签: cdap


    【解决方案1】:

    启动管道时,您可以在请求正文中将运行时参数指定为 JSON 映射。

    首先,您的管道应该包含属性查找宏,记录在 here。 例如,管道 json 定义可能包含 BigQuery Sink 插件的以下配置(为简洁起见,删除了周围的字段):

      {
        "name": "BigQuerySink",
        "plugin": {
          "properties": {
            "table": "${bqsink_table}"
          }
        },
    

    然后,在启动管道时,您可以指定宏的值,如 here 所述。

    在本例中,您将向 v3/namespaces/<namespace-id>/apps/<app-id>/workflows/DataPipelineWorkflow/start 发送一个 POST 请求,请求正文为:

    { "bqsink_table": "myTable" }
    

    【讨论】:

    • 我应该补充一点,如果您希望一次性为所有参数设置默认值,您可以使用Preferences API
    猜你喜欢
    • 2020-11-12
    • 2023-03-06
    • 2020-12-16
    • 2010-09-20
    • 1970-01-01
    • 2012-03-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多