如何在 NIFI 中高效使用 Select Hive 处理器？

Question

我一直在使用 Select Hive 处理器从 Hive 获取数据并创建 CSV 文件。我正在观察大约 700 万条记录，大约需要 5 分钟。仔细观察会发现，从 Hive 获取数据的速度更快，几乎不会少于总时间的 10%，但在 CSV 中写入文件花费的时间太长。我正在使用 8 核和 32GB RAM。我已经配置了 16 GB 的堆内存。有人可以帮助提高这种性能吗？我需要做任何系统级别的设置吗？

Answer 1

SelectHiveQL 的 CSV 输出选项当然可以改进，目前它将每一行构建为内存中的字符串，然后将其写入流文件，但它可能只是直接写入流文件等。请随意提交Jira 进行改进。