【问题标题】:Cloud Data Fusion - my pipeline is not self awareCloud Data Fusion - 我的管道没有自我意识
【发布时间】:2021-06-11 14:02:12
【问题描述】:

在数据管道运行时声明、存储和重用变量的最佳做法是什么?

如何从管道内的代码中获取管道名称?

我这里是创建ETL模板,不需要太多就可以顺利工作

【问题讨论】:

    标签: google-cloud-platform google-cloud-data-fusion


    【解决方案1】:

    【讨论】:

    • 谢谢肖恩。这看起来更像是应用首选项的初始参数设置。我需要这是动态的。让我通读一遍,看看它是否适合我。我也不想将这些变量存储在存储中,需要存储在内存中并且仅在运行时可用。在管道开始时,我正在创建此运行的 ID。手动这并不理想但很好......然后将其存储在自定义控制表中。我必须在管道的最后一步访问该 ID 值以更新我的自定义控制表中的记录。
    猜你喜欢
    • 2021-08-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-09-26
    • 2021-05-27
    • 1970-01-01
    • 2020-07-19
    • 1970-01-01
    相关资源
    最近更新 更多