【问题标题】:Apache NiFi - Generic Execution Flows?Apache NiFi - 通用执行流程?
【发布时间】:2019-11-07 08:02:42
【问题描述】:

我正在尝试弄清楚以下情况是否可能:

  1. 我有数百个表需要使用相同的流,但有不同的间隔、不同的源主机名和目标? 如何建立这样的流程?我也不知道如何使用动态主机/模式/表名...

我们维护一个包含所有这些信息的表,但是如何使用 NiFi 执行它?

  1. 如果我需要在多个集群(每个表不同的集群)上并行加载文件 - 如何实现?

tnx!

【问题讨论】:

  • 解决方案之一:为每个间隔/计划创建 FetchFile,该文件加载 json 文件,其中包含要在此计划中处理的主机/表/模式数组。然后使用 SplitJson 为每个主机/表/模式生成单独的 ff,然后使用 JsonToAttributes 将 json 值放入属性中,然后使用来自流文件的参数的主流..
  • 可以在任意队列中管理节点间的负载均衡

标签: apache-nifi


【解决方案1】:

我找到的解决方案是使用外部计划(如气流) 并使用ListenHttp 处理器。 然后,您可以向该侦听器发送您希望对其进行解析的任何数据,并将其用作其余流程中的参数/属性。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多