【问题标题】:Airflow Kubernetes executor - multiple namespacesAirflow Kubernetes 执行器 - 多个命名空间
【发布时间】:2020-01-14 01:27:18
【问题描述】:

我有一个包含多个命名空间的 Kubernetes 集群。每个客户端都有一个命名空间,这就是我们分离客户端数据的方式。

我想为每个客户端运行一个包含 DAG 的气流集群。但是有没有办法使用 Kubernetes 执行器,以便它根据某些参数在不同的命名空间上执行每个任务? 我注意到 Kubernetes 执行器只有一个命名空间参数。

【问题讨论】:

    标签: kubernetes airflow


    【解决方案1】:

    Kubernetes 目前不支持 --namespace 参数的多个命名空间。有关此的更多信息是herehere

    我认为跨多个命名空间的单个操作会很复杂,并且可能会产生不一致的结果和竞争条件。

    kubectl get --all-namespaces 从所有命名空间获取资源。

    一个操作可以在每个命名空间中以编程方式连续重复运行,如下所示:

    kubectl get ns -o=jsonpath='{range .items[*]}{.metadata.name}{"\n"}{end}' | xargs -n 1 -I % kubectl get pods -n=%
    
    kubectl get ns -o=jsonpath='{range .items[*]}{.metadata.name}{"\n"}{end}' | xargs -n 1 -I % kubectl get all -n=%
    

    【讨论】:

    • 我专门询问有关气流 kubernetes 执行器的问题。每个操作都应该在单个命名空间中运行我正在寻找一种配置它的方法
    • @LiorH 你找到解决方案了吗?
    猜你喜欢
    • 2021-12-06
    • 2022-08-19
    • 1970-01-01
    • 1970-01-01
    • 2019-03-15
    • 1970-01-01
    • 2017-09-23
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多