如何在 curl influxdb 中设置批量大小

Question

我想使用 curl 工具向 influxdb 插入超过 500,000 个点。 所以我想设置“批量大小”以获得更好的卷曲性能，但我找不到关于批量大小的任何选项。

我已经阅读了 influxdb 标准手册部分“编写 Syntex”-“使用 curl 编写一批点”

我认为 curl -X POST 'http://localhost:8086/write' --data-urlencode 'db=mydb&rp=myrp&u=root&p=root' --data-binary @points.txt 中 points.txt 文件的行数是批量大小，但我不确定。

所以我尝试将 insert_file 分离为 5000 行文件并将每个文件插入到 influxdb，但我发现 influxdb 效率不高。

谁能告诉我真相？

Answer 1

InfluxDB 中没有批量大小设置。通过curl 提交的文件中的所有点都被视为一批。批次应该是大约 5k 点以获得最佳吞吐量，但在高功率服务器或非常规则的数据上，更大的批次可能更有效。

我要向influxdb插入超过500,000个点

这太大了，不能一批发送，所以你需要把它分成块。

我认为 curl -X POST 'http://localhost:8086/write' --data-urlencode 'db=mydb&rp=myrp&u=root&p=root' --data-binary @points.txt 中的 points.txt 文件的行数是批量大小，但是我不确定。

是的，cat points.txt | wc -l 会给你文件中的点数。

所以我尝试将 insert_file 分离为 5000 行文件并将每个文件插入到 influxdb，但我发现 influxdb 效率不高。

没有办法知道你认为什么是无效的，所以我无法对此作出回应。在合理的服务器上，5k 批次中的 500k 点可能需要 5-60 秒。