【问题标题】:How to modify config file of spark job in Airflow UI?如何在 Airflow UI 中修改 spark 作业的配置文件?
【发布时间】:2022-08-15 17:55:19
【问题描述】:

我正在使用 Airflow 来安排火花作业并使用 conf.properties 文件。 我想在 Airflow UI 中而不是在服务器 CLI 中更改此文件。 我怎么不行??

  • 我认为这是不可能的,Airflow 是一个以编程方式创作、安排和监控工作流程的平台。当工作流被定义为代码时,它们变得更加可维护、可版本化、可测试和协作。 airflow.apache.org/docs/apache-airflow/stable/index.html 如果您需要可以主要在 UI 上编辑的 ETL / 集成工具,那么请查看 Azure 数据工厂

标签: apache-spark airflow


【解决方案1】:

Airflow 网络服务器不支持在其 UI 中编辑文件。但它允许您通过添加 flask_appbuilder 视图(here 是文档)来添加插件和自定义 UI。

你也可以使用非官方的开源插件来做到这一点(例如:airflow_code_editor)。

【讨论】:

    猜你喜欢
    • 2023-01-03
    • 1970-01-01
    • 1970-01-01
    • 2018-10-03
    • 2019-05-30
    • 2022-11-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多