【发布时间】:2018-08-08 18:15:57
【问题描述】:
我有一个包含超过 300 万行管道分隔行的文件,我想将其插入到数据库中。它是一个简单的表格(不需要标准化)
设置路径以监视文件,使用流模式读取文件并拆分行很容易。向表中插入行也将是一项简单的接线工作。
问题是:如何使用批量插入来做到这一点?假设 1000 行是最佳的。鉴于文件是流式传输的,SQL 组件如何知道流已经完成。假设该文件有 3,000,001 条记录。如何设置 Camel 以插入最后一条流浪记录?
可以一次插入一行 - 但这会非常慢。
【问题讨论】:
-
最后我无法使用 Camel - 最后使用超时感觉很不稳定,我无法让它以任何其他方式工作。我使用了一个简单的 BufferedLineReader 和 Spring 模板,一次批处理 1000 行。性能确实非常好。
标签: apache-camel