为什么clickhouse写批记录慢？

Question

我使用 clickhouse-jdbc 将数据写入 clickhouse 的分布式“全部”表（3 个主机用于 3 个分片 1 个副本）。

使用 PreparedStatement 对 1000000 条记录进行 5000 次批量提交需要 6280 秒。

...
                ps.setString(68, dateTimeStr);
                ps.setDate(69, date);
                
                ps.addBatch();
                System.out.println("i: " + i);
                
                if(i % 5000 == 0 || i == maxRecords) {
                    System.out.println(new java.util.Date());
                    ps.executeBatch();
                    System.out.println(new java.util.Date());
//                  ps.execute();
                    conn.commit();
                    System.out.println("commit: " + new java.util.Date());
                }
...

每天插入一亿条记录有没有更好的方法？

Answer 1

是的，插入到 Distributed engine 可能会很慢，因为每次插入操作都需要执行大量逻辑（将数据同步到特定分片等）。

您可以尝试调整一些设置，这些设置在上面的链接中有所描述。

但是，我发现直接写入基础表更加方便快捷。但这需要您关心在所有节点上分片和传播数据，即按照自己的喜好分配数据。