XLSX 到 CSV 内存不足错误

Question

我找到了很多如何使用 Java 将 XLSX 转换为 CSV 文件的解决方案，所有解决方案都使用：XSSFWorkbook。我面临的问题是流可能包含太多数据。我只是不明白为什么，文件只有 4mb。

代码：

// For storing data into CSV files
    StringBuffer data = new StringBuffer();
    try {
        FileOutputStream fos = new FileOutputStream(outputFile);
        System.out.println("Getting input stream.");
        // Get the workbook object for XLS file
        XSSFWorkbook workbook = new XSSFWorkbook(new FileInputStream(inputFile));
        System.out.println(" - Done");
        // Get first sheet from the workbook
        XSSFSheet sheet = workbook.getSheetAt(0);
        Cell cell;
        Row row;

        // Iterate through each rows from first sheet
        Iterator<Row> rowIterator = sheet.iterator();
        System.out.println(" - Reading xlsx rows.");
        while (rowIterator.hasNext()) {
            i++;

            row = rowIterator.next();
            // For each row, iterate through each columns
            Iterator<Cell> cellIterator = row.cellIterator();
            while (cellIterator.hasNext()) {
                cell = cellIterator.next();

                switch (cell.getCellType()) {
                case Cell.CELL_TYPE_BOOLEAN:
                    data.append(cell.getBooleanCellValue() + ";");
                    break;

                case Cell.CELL_TYPE_NUMERIC:
                    data.append(cell.getNumericCellValue() + ";");
                    break;

                case Cell.CELL_TYPE_STRING:
                    data.append(cell.getStringCellValue() + ";");
                    break;

                case Cell.CELL_TYPE_BLANK:
                    data.append("" + ";");
                    break;

                default:
                    data.append(cell + ";");
                }

            }
            data.append('\n');
            int limit = 10000;
            if ((i % limit) == 0) {
                System.out.println(" - Writing " + limit + " data.");
                fos.write(data.toString().getBytes());
                fos.flush();
                data = null;
                data = new StringBuffer();
                System.out.println(" - Data written.");
            }
        }

        fos.write(data.toString().getBytes());
        fos.flush();
        fos.close();

错误指向 switch 语句中的行，我在其中向数据 (StringBuffer) 附加了一些内容，但我将其置空，所以它不应该成为问题。

Answer 1

现在您可能无法使用 SXSSFWorkbook（因为它是只写的），但您可以使用 SAX-based API 将您的程序转换为流式传输样式。编辑：您可能想尝试的另一件事是从 File 而不是 InputStream 创建 XSSFWorkbook（我记得在某处读到基于文件的代码需要更少的内存）。

（第一次尝试是： 由于您是按顺序读取数据，因此 SXSSFWorkbook 类应该正是您所需要的。）

Answer 2

xlsx 格式只是一个包含内容 xml 和共享字符串 xml 的 zip。因此 4 MB 压缩后，未压缩可能非常大。

使用 zip 文件系统，您可以将共享字符串加载到内存中，然后顺序读取内容 xml，立即输出。

对于两个内部文件，你可以使用 java 的 zip 文件系统。乏味但不难。

Answer 3

试试这个代码，这个代码对我来说非常有用，我希望它也对你有用。

package com.converting;

import java.io.FileInputStream;
import java.io.*;
import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import com.opencsv.CSVWriter;
import java.util.Iterator;
import java.io.FileWriter;

public class XlsxtoCSV {

        public static void main(String[] args) throws Exception{
             FileInputStream input_document = new FileInputStream(new File("/home/blackpearl/Downloads/aa.xlsx"));
             XSSFWorkbook my_xls_workbook = new XSSFWorkbook(input_document); 
             XSSFSheet  my_worksheet = my_xls_workbook.getSheetAt(0); 

             Iterator<Row> rowIterator = my_worksheet.iterator();
             FileWriter my_csv=new FileWriter("/home/blackpearl/Downloads/Newaa.csv");
             CSVWriter my_csv_output=new CSVWriter(my_csv); 
             while(rowIterator.hasNext()) {
                     Row row = rowIterator.next(); 
                     int i=0;//String array
                     String[] csvdata = new String[20];
                     Iterator<Cell> cellIterator = row.cellIterator();
                             while(cellIterator.hasNext()) {
                                     Cell cell = cellIterator.next(); //Fetch CELL
                                     switch(cell.getCellType()) { //Identify CELL type
                                     case Cell.CELL_TYPE_STRING:
                                             csvdata[i]= cell.getStringCellValue();                                              
                                             break;
                                     }
                                     i=i+1;
                             }
             my_csv_output.writeNext(csvdata);
             }
             System.out.println("file imported");
             my_csv_output.close(); //close the CSV file
             input_document.close(); //close xlsx file
     }
}