在 Java 中将对象列表写入 txt 文件的最快方法答案

【问题标题】：Fastest way to write a list of object to an txt file in Java在 Java 中将对象列表写入 txt 文件的最快方法
【发布时间】：2019-05-08 02:19:48
【问题描述】：

我有一个搜索列表的功能，对于列表中的每个项目，我都有另一个列表。这两个列表必须转换为文本文件才能导入软件。我遇到的问题很慢......

我的第一个列表有大约 500 条记录，并且该列表中的每条记录都有另一个列表，范围可以从 1 条记录到无穷大。这大约需要 20 分钟才能完成。 当我评论更新（更新 2 列表中每个项目的状态）时，时间会减少到 9 分钟。

有人可以帮我吗？

private String getExportacaoApontamento(
            String idsExportar,
            String dataInicial,
            String dataFinal,
            String status,
            String tipoFiltro,
            String filtro,
            String turma,
            boolean exportarTodos) throws SQLException {
        StringBuilder stringBuilder = new StringBuilder();        

        try (
                Connection conMySql = U_Conexao.getConexaoMySQL();
                Connection conOracle = U_Conexao.getConexaoOracle()) {

            if (conMySql != null) {
                List<C_Sequencia> listSequencia;
                R_Sequencia r_Sequencia = new R_Sequencia(conMySql, null);

                if (status.equals(String.valueOf(C_Status.TODOS))) {
                    status = C_Status.PENDENTE + ", " + C_Status.EXPORTADO;
                }

                String orderBy = "S." + C_Sequencia.DATA + ", S." + C_Sequencia.COD_COLETOR + ", S." + C_Sequencia.COD_FISCAL;

                if (exportarTodos == false) {
                    listSequencia = r_Sequencia.listExportarId(idsExportar, dataInicial, dataFinal, orderBy);
                } else {
                    tipoFiltro = verificarFiltroApontamento(tipoFiltro);

                    if (filtro == null || filtro.isEmpty()) {
                        listSequencia = r_Sequencia.listExportarData(dataInicial, dataFinal, status, turma, orderBy);
                    } else {
                        listSequencia = r_Sequencia.listExportarFiltro(dataInicial, dataFinal, tipoFiltro, filtro, status, turma, orderBy);
                    }
                }

                if (!listSequencia.isEmpty()) {

                    if (!verificarLiberacoes(listSequencia, conMySql, conOracle)) {
                        return "-1";
                    }

                    C_Sequencia seqAntiga = null;
                    R_Producao r_Producao = new R_Producao(conMySql, conOracle);

                    for (C_Sequencia sequencia : listSequencia) {

                        C_Sequencia seqNova = sequencia;

                        String retornoSequencia = gerarSequencia(seqAntiga, seqNova);

                        if (!retornoSequencia.isEmpty()) {
                            stringBuilder.append(retornoSequencia);                             
                        }

                        List<C_Producao> listProducao = r_Producao.getProducaoExportar(sequencia.getChave(), status);
                        for (C_Producao producao : listProducao) {
                            DecimalFormat decimal = new DecimalFormat("########.00");
                            String prod = String.valueOf(decimal.format(Double.parseDouble(producao.getProducao())));
                            String meta = String.valueOf(decimal.format(Double.parseDouble(producao.getMeta())));
                            prod = prod.replace(",", "");
                            meta = meta.replace(",", "");
                            stringBuilder.append("02;")
                                    .append(String.format("%5d", producao.getCodColetor())).append(";")
                                    .append(U_DataHora.formatarData(producao.getDataHora(), U_DataHora.DDMMYYYY_HHMMSS, U_DataHora.DDMMYYYY)).append(";")
                                    .append(String.format("%10d", producao.getFuncionario().getMatricula())).append(";")
                                    .append(String.format("%9d", sequencia.getCodCc())).append(";")
                                    .append(String.format("%4d", sequencia.getCodOp())).append(";")
                                    .append(String.format("%4d", sequencia.getCodOp())).append(";")
                                    .append("      ;")
                                    .append(String.format("%6d", Long.parseLong(sequencia.getCodFazenda()))).append(";")
                                    .append(String.format("%6d", Long.parseLong(sequencia.getCodTalhao()))).append(";")
                                    .append(String.format("%10s", prod)).append(";")
                                    .append("        0000000;")
                                    .append(";")
                                    .append("          ;")
                                    .append(String.format("%9s", meta)).append(";")
                                    .append(String.format("%4d", sequencia.getCodSequencia())).append(";")
                                    .append(" ;")
                                    .append(" ;")
                                    .append("     ;")
                                    .append("     ;")
                                    .append(" ;")
                                    .append(" ;")
                                    .append(String.format("%9d", sequencia.getCodOs())).append(";")
                                    .append("\r\n");

                            if (producao.getStatus().getStatus() != C_Status.EXPORTADO) {
                                r_Producao.atualizarStatus(producao.getChave(), C_Status.EXPORTADO); // Atualiza status para exportado
                            }
                        }

                        // Atualiza o status de todas as produções da sequencia da posição atual
                        //r_Producao.atualizaStatusProducoesPorChaveSequencia(sequencia.getChave(), C_Status.EXPORTADO); 

                        seqAntiga = seqNova;

                        if (sequencia.getStatus().getStatus() != C_Status.EXPORTADO) {
                            r_Sequencia.atualizarStatus(sequencia.getChave(), C_Status.EXPORTADO); // Atualiza status para exportado
                        }
                    }
                }
            }
        } catch (Exception e) {
            U_Log.erro(TAG, e.toString());
            return e.toString();
        }
        return stringBuilder.toString();
    }

private String gerarSequencia(C_Sequencia seqAntiga, C_Sequencia seqNova) {
        StringBuilder sequenciaBuilder = new StringBuilder();
        String texto = sequenciaBuilder.append("01;")
                .append(String.format("%5d", seqNova.getCodColetor())).append(";")
                .append(U_DataHora.formatarData(seqNova.getData(), U_DataHora.DDMMYYYY_HHMMSS, U_DataHora.DDMMYYYY)).append(";")
                .append(String.format("%10d", seqNova.getCodFiscal())).append(";")
                .append(String.format("%10d", seqNova.getCodFiscal())).append(";")
                .append("\r\n").toString();

        if (seqAntiga != null) {
            if (!seqAntiga.getData().equals(seqNova.getData())
                    || !Objects.equals(seqAntiga.getCodColetor(), seqNova.getCodColetor())
                    || !Objects.equals(seqAntiga.getCodFiscal(), seqNova.getCodFiscal())) {

                return texto;

            } else {
                return "";
            }
        } else {
            return texto;
        }
    }

Result here

我在这里评论了数据库中的更新

for (C_Sequencia sequencia : listSequencia) {
  ...
  for (C_Producao producao : listProducao) {
    ... 
    // update status in DB
    if (producao.getStatus().getStatus() != C_Status.EXPORTADO) {
      r_Producao.atualizarStatus(producao.getChave(), C_Status.EXPORTADO);
    }
  }
 // update status in DB
 if (sequencia.getStatus().getStatus() != C_Status.EXPORTADO) {
   r_Sequencia.atualizarStatus(sequencia.getChave(), C_Status.EXPORTADO); 
 }
}

结果：总时间 9 分钟

现在，我评论了我构建字符串的部分

for (C_Sequencia sequencia : listSequencia) {
      ...
      // here build a part of the string in method " gerarSequencia "
      // i commented a part inside method " gerarSequencia "
      String retornoSequencia = gerarSequencia(seqAntiga, seqNova);
      ...

      for (C_Producao producao : listProducao) {
        ... 
        // Here i commented another part of the string
         ...
      }
 }

结果：总时间为 14 分钟 - 实际上只运行更新行

【问题讨论】：

A) 了解 java 命名约定 “_”在类名中没有位置。 B) 这个网站主要是英文的。因此，发布大量非英文源代码显着会降低您获得好答案的机会 C) 阅读有关 clean code 的信息。你糟糕的方法正在做太多事情。您应该将每个“功能”放在自己的方法（或类）中，并在它们之间设置清晰、合理的接口。
换句话说：只是你在这里提出你的意见的方式让我觉得“我不想花时间阅读它”。其他人显然并不介意：越多的人想要阅读您的代码，对您就越好。
如果注释掉字符串构建代码，经过的时间是多少？
@Shamit Verma，13 分钟。
你能创建一个可重现的测试用例吗？（即可能在删除/屏蔽敏感数据后发布数据+代码）

标签： java list file

【解决方案1】：

我解决了我的问题。我改变了逻辑。实际问题是在数据库中执行许多 SELECT 操作，这使得它变得非常慢。现在是单个 SELECT。现在总时间为 6 秒。

【讨论】：

【解决方案2】：

private File writeRecords(String filenaam, List<String> records) throws IOException
{
    File file = new File(filenaam);
    try (FileOutputStream fos = new FileOutputStream(file); 
         PrintWriter writer = new PrintWriter(fos))
    {
        records.forEach(rec -> writer.println(rec));
        writer.flush();
    }
    return file;
}

如果你想压缩文件：

private void compressFiles(String zipfile, List<File> files) throws IOException
{
    try (FileOutputStream fos = new FileOutputStream(zipfile);
            ZipOutputStream zos = new ZipOutputStream(new BufferedOutputStream(fos)))
    {
        for (File file : files)
        {
            ZipEntry entry = new ZipEntry(file.getName());
            byte[] bytes = Files.readAllBytes(Paths.get(file.getAbsolutePath()));
            zos.putNextEntry(entry);
            zos.write(bytes, 0, bytes.length);
            zos.closeEntry();
        }
        zos.finish();
        zos.flush();
    }
}

【讨论】：

问题出在我的功能上？你能解释一下吗？

【解决方案3】：

你有两个问题：

1 - 你实际上并没有写入文件，而是返回一些大字符串。我不认为在内存中处理如此大的列表是个好主意。

2 - 你如何进行更新？我想问题是你每行都在打分贝。您应该立即考虑如何去做。

【讨论】：

我更新了查询结果。检索到巨大的文字后，我开始写作。每次轮到我都需要更新每个item的状态……因为以后不能更新了

【解决方案4】：

此链接可能对您的性能问题有所帮助，这可能不是文件写入问题，但据我认为问题是字符串操作问题。 What's the fastest way to concatenate two Strings in Java?

【讨论】：

我做了一些测试，但时间是一样的