【问题标题】:Enable Data Profiling on Apache Airflow在 Apache Airflow 上启用数据分析
【发布时间】:2019-07-24 13:34:03
【问题描述】:

虽然documentation 中存在数据分析,但在全新安装中不可见。有没有办法启用它,或者它已被弃用?安装的版本是apache-airflow==1.10.3,以防万一。

【问题讨论】:

    标签: airflow adhoc-queries


    【解决方案1】:

    Airflow 2 disabled Data Profiling due to security reasons:(Breaking changes部分)

    出于安全考虑,新的 Web 服务器将不再支持旧 UI 的 Data Profiling 菜单中的功能,包括 Ad Hoc Query、Charts 和 Known Events。

    【讨论】:

      【解决方案2】:

      安装气流 v1.10.3 时,数据配置文件是默认 UI。

      如果您看不到数据配置文件菜单,您可能需要仔细检查第三方是否为您定制了气流。 Airflow 使用烧瓶作为 Web 框架。你可以去相关的文件夹看看有没有被修改过。 配置文件在[你的气流源代码文件夹]\www\app.py


      感谢您为答案投票。 与 dataprofiling 相关的默认 app.py 部分如下:

       with app.app_context():
              from airflow.www import views
      
              admin = Admin(
                  app, name='Airflow',
                  static_url_path='/admin',
                  index_view=views.HomeView(endpoint='', url='/admin', name="DAGs"),
                  template_mode='bootstrap3',
              )
              av = admin.add_view
              vs = views
              av(vs.Airflow(name='DAGs', category='DAGs'))
      
              if not conf.getboolean('core', 'secure_mode'):
                  print("create_app", __file__)
                  av(vs.QueryView(name='Ad Hoc Query', category="Data Profiling"))
                  av(vs.ChartModelView(
                      models.Chart, Session, name="Charts", category="Data Profiling"))
              av(vs.KnownEventView(
                  models.KnownEvent,
                  Session, name="Known Events", category="Data Profiling"))
      

      从上面的代码可以看出,它与安全模式有关。 如果不是 conf.getboolean('core', 'secure_mode'): 您可能还需要检查您的安全模式配置。

      注意:请检查airflow.cfg中的secure_mode是否配置正确。

      只能在 secure_mode = False 中显示数据剖析。

      # If set to False enables some unsecure features like Charts and Ad Hoc Queries.
      # In 2.0 will default to True.
      secure_mode = False
      

      【讨论】:

      • 谢谢,我以为是这样。我自己安装了它。看这里:github.com/apache/airflow/blob/master/airflow/www/app.py 该列表中的某处不应该有 appbuilder.add_view(views.SOMETHING, "TOOLS", category="xxx") 吗?
      • 感谢投票给我的答案。我复制了相关代码供大家参考。
      • 我在编辑中添加了更改。更改 .cfg 文件后,我是否需要执行其他操作(例如将更改传播到数据库或其他内容)?我试过 + 重新启动,但菜单仍然不可见。
      • 嗯,很有趣。我认为您可能需要检查AIRFLOW_HOME 文件夹中的airflow.cfg,将secure_mode 更改为关闭。我注意到secure_mode被配置为禁用数据分析目的。
      猜你喜欢
      • 2019-10-22
      • 2022-12-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-02-07
      • 1970-01-01
      • 2022-07-15
      • 2018-02-18
      相关资源
      最近更新 更多