使用 openCsv StatefulBeanToCSV 限制 CSV 文件大小 [重复]答案

【问题标题】：Limit CSV file size using openCsv StatefulBeanToCSV [duplicate]使用 openCsv StatefulBeanToCSV 限制 CSV 文件大小 [重复]
【发布时间】：2020-04-18 05:19:09
【问题描述】：

我有一个对象列表，比如说我从数据库中获得的产品列表。我能够使用 openCSV StatefulBeanToCSV 写入器将这些列表写入 CSV 文件以获取 0.5M 记录，将数据写入 CSV 文件需要不到 10 秒的时间。但问题是 StatefulBeanToCSV 将所有这些 0.5M 记录写入单个 CSV 文件，其大小变大了..所以我需要一种将 CSV 文件限制为 20Mb 的方法。如果 CSV 文件的大小达到 20mb，我需要 StatefulBeanToCSV 来写入新的 CSV 文件。非常感谢任何帮助。

public static void buildProductCsv(final List<Product> product,
                final String filePath) {

            try {

                Writer writer = new FileWriter(filePath);

                // mapping of columns with their positions
                ColumnPositionMappingStrategy<Product> mappingStrategy = new ColumnPositionMappingStrategy<Product>();
                // Set mappingStrategy type to Product Type
                mappingStrategy.setType(Product.class);
                // Fields in Product Bean
                String[] columns = new String[] { "productCode", "MFD", "EXD" };
                // Setting the colums for mappingStrategy
                mappingStrategy.setColumnMapping(columns);

                StatefulBeanToCsvBuilder<Product> builder = new StatefulBeanToCsvBuilder<Product>(writer);

                StatefulBeanToCsv<Product> beanWriter = builder.withMappingStrategy(mappingStrategy).build();
                // Writing data to csv file
                beanWriter.write(product);
                writer.close();

                log.info("Your csv file has been generated!");

            } catch (Exception ex) {
                log.warning("Exception: " + ex.getMessage());
            }

        }

【问题讨论】：

也许这可以帮助link
这能回答你的问题吗？ Limit file size while writing in java

标签： java spring-boot csv opencsv supercsv

【解决方案1】：

这可能不是最好的方法，但您可以简单地检查一个 Product 对象的大小，然后您将对可以写入一个 CSV 的最大子列表大小有一个抽象的概念。然后您可以迭代列表创建多个 CSV 文件。

要获得一种产品的尺寸，您可以使用以下方法。注意Product 对象应该是可序列化的。

  private static long getObjectSize( Object value ) // Pass product here
  {
    byte[] serializedObject;
    ByteArrayOutputStream byteArrayOutputStream = null;
    ObjectOutputStream objectOutputStream = null;

    try
    {
        byteArrayOutputStream = new ByteArrayOutputStream();
        objectOutputStream = new ObjectOutputStream( byteArrayOutputStream );
        objectOutputStream.writeObject( value );
        objectOutputStream.flush();
        serializedObject = byteArrayOutputStream.toByteArray();
        byteArrayOutputStream.flush();

        return Math.round( ( double ) serializedObject.length / ( 1024 * 1024 ) ); // Size in MB
    }
    catch( IOException e )
    {
        e.printStackTrace();
    }
    finally
    {
        try
        {
            if( byteArrayOutputStream != null )
            {
                byteArrayOutputStream.close();
            }
            if( objectOutputStream != null )
            {
                objectOutputStream.close();
            }
        }
        catch( IOException e )
        {
        }
    }
    return 0;
}

【讨论】：