使用Java编写大数据DBF文件的解决方案答案

【问题标题】：Solution of Writing Huge Data DBF Files using Java使用Java编写大数据DBF文件的解决方案
【发布时间】：2015-02-20 03:37:27
【问题描述】：

我在转换或写入包含大量数据的 dbf 文件时遇到了一些问题。我使用 jdbf 库，它为写入所有数据提供了一个数组解决方案。虽然我运行少量数据，但它确实运行得很快。但是，问题是，我通常使用这种转换来写入大量数据（每个请求几乎 200 万行）。

我尝试使用线程，但在写入文件时只能写入一次。有什么解决办法吗？感谢您的任何回答。

【问题讨论】：

标签： java bigdata dbf file-conversion

【解决方案1】：

尝试 JDBF：https://github.com/iryndin/jdbf。它可以处理高达 2G 的文件。 2G 是 DBF 文件 AFAIK 的限制。如果这还不够，您可以将 DBF 文件分成多个部分，并将每个部分写入一个单独的 DBF 文件。 JDBF 可以很好地处理大文件 - 它经过数百万行的战争测试。

【讨论】：

【解决方案2】：

我创建了一个工具，用于将 DBF 文件转换为用 \t 分隔的 TXT 文件。查看我的 github：https://github.com/miguelschwindt/dbf-converter-java。那里有用 java 编写的源代码，或者如果您愿意，可以在 libs/dbf-converter.java.jar 中有一个 .jar 文件，以便直接通过命令行执行该工具。

【讨论】：