airflow分布式部署所依赖的组件有mysql,redis,web-server,scheduler,worker等,可以将这些组件部署在不同的机器上,来减低单台机器的压力

单机安装请参考:Ubuntu16.04安装apache-airflow

然后在不同的机器上启动不同的组件

airflow webserver -D
airflow scheduler -D
airflow worker -D

安装airflow其他支持组件,比如airflow-kerberos,参考

https://awesome.dbyun.net/study/details?mid=160&id=7427

airflow启用kerberos,参考

https://github.com/astronomer/airflow-guides/blob/main/guides/kerberos.md

  

相关文章:

  • 2022-12-23
  • 2021-11-23
  • 2021-12-14
  • 2022-01-17
  • 2021-08-01
  • 2021-07-15
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-07-25
相关资源
相似解决方案