【发布时间】:2019-11-07 08:02:42
【问题描述】:
我正在尝试弄清楚以下情况是否可能:
- 我有数百个表需要使用相同的流,但有不同的间隔、不同的源主机名和目标? 如何建立这样的流程?我也不知道如何使用动态主机/模式/表名...
我们维护一个包含所有这些信息的表,但是如何使用 NiFi 执行它?
- 如果我需要在多个集群(每个表不同的集群)上并行加载文件 - 如何实现?
tnx!
【问题讨论】:
-
解决方案之一:为每个间隔/计划创建 FetchFile,该文件加载 json 文件,其中包含要在此计划中处理的主机/表/模式数组。然后使用 SplitJson 为每个主机/表/模式生成单独的 ff,然后使用 JsonToAttributes 将 json 值放入属性中,然后使用来自流文件的参数的主流..
-
可以在任意队列中管理节点间的负载均衡
标签: apache-nifi