【发布时间】：2018-03-31 05:41:14
【问题描述】：
我正在为我的一个点击流项目使用 Apache nifi 来执行一些 ETL。
我目前通过以下基础设施获得大约 300 条消息/秒的流量：
- 内存 - 16 GB
- 交换 - 6 GB
- CPU - 16 核
- 磁盘 - 100GB（不需要持久性）
- 集群 - 6 个节点
由于以下问题，整个集群 UI 变得非常缓慢
- 处理器在发生某些故障时提供背压，这会消耗大量线程
- 出处书写变得非常缓慢
- 跨节点的心跳变慢 Cluster Heart beat
我有以下关于设置的问题
- 推荐使用 RPG，因为它是一个 HTTP 调用，我用它来传播 跨所有节点，因为 EMQTT 存在问题 消费者群体的流程。
- 建议分配的线程数是多少 每个内核？
- 基础架构规模调整指南是什么
- 对于具有高传入请求和大量用于转换的大量 JSON 解析的大型集群，调整参数是什么
【问题讨论】：
-
你为 NiFi 配置的堆大小是多少？
标签： performance apache-nifi sizing