【问题标题】:Clickhouse - OOM - When the function of Clickhouse data import is executed, the program is killed by the systemClickhouse - OOM - Clickhouse数据导入功能执行时,程序被系统杀死
【发布时间】:2021-07-22 17:08:28
【问题描述】:

我在执行Clickhouse数据导入功能时,程序被系统杀死了。

执行命令如下: clickhouse-client --user default --password xxxxx --port 9000 -hxxx --database="bds" --input_format_allow_errors_ratio=0.1 --query="insert into ... FORMAT CSV" < /1.csv

报告的错误是: [2478416.927226] Out of memory: Kill process 19696 (clickhouse-serv) score 12 or sacrifice child [2478416.928855] Killed process 19696 (clickhouse-serv), UID 0, total-vm:46668916kB, anon-rss:1008480kB, file-rss:0kB, shmem-rss:0kB

数据文件有122g,服务器内存128G,如何让Clickhouse命令合理导入,希望大家能帮帮我,谢谢!

【问题讨论】:

    标签: database clickhouse


    【解决方案1】:

    最有可能是一个错误。你用的是哪个 CH 版本?

    尝试添加参数--input_format_parallel_parsing=0 --optimize_on_insert=0

    --input_format_parallel_parsing arg                              Enable parallel parsing for some data formats.
    
    --optimize_on_insert arg                                         Do the same transformation for inserted block of data as if merge was done on this block.
    

    【讨论】:

    • 非常感谢。我会尽力。我的Clickhouse 版本是21.4.3.21
    猜你喜欢
    • 2021-07-22
    • 2016-10-23
    • 1970-01-01
    • 2019-12-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-01-30
    • 1970-01-01
    相关资源
    最近更新 更多