【问题标题】:Restarting NiFi Node Joins Cluster as New Node重启 NiFi 节点作为新节点加入集群
【发布时间】:2019-10-01 09:32:26
【问题描述】:

我目前在 Kubernetes 上将 Apache NiFi 作为 StatefulSet 运行。我正在测试如果我杀死一个 pod,但当 pod(NiFi 节点)重新加入集群时遇到问题,集群如何恢复。

该节点将作为一个附加节点重新加入,而不是作为其原始身份出现。例如,如果我有一个 3 节点 NiFi 集群并杀死并重新启动一个 pod/NiFi 节点,我最终会得到一个 4 节点集群,其中一个断开。

之前:

之后:

我相信 NiFi 节点在配置文件中以某种方式被识别,该配置文件在被杀死时不会持续存在。到目前为止,我正在使用持久卷来保留以下配置文件:

  • state-management.xml
  • authorizers.xml

我没有持久化 nifi.properties(它是在启动时动态生成的 而且我看不到任何可以唯一标识节点的东西。

所以我想,问题是节点是如何唯一标识到服务器的,它存储在哪里?

编辑:我正在使用外部 Zookeeper。

提前谢谢你,

哈利

【问题讨论】:

  • 你是如何在 kubernetes 上创建 nifi 集群的??

标签: kubernetes cluster-computing apache-nifi


【解决方案1】:

每个节点将集群的状态存储在本地状态管理器中,默认情况下将写入 nifi-home/state/local 中的预写日志。您很可能会丢失正在重新启动的节点上的状态/本地目录。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-02-25
    • 2016-09-22
    • 2021-01-05
    • 2017-02-07
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多