【发布时间】:2021-11-20 12:47:44
【问题描述】:
实际上我有一个java内存堆空间不足的问题,我的代码如下:
它适用于中等大小的 csv 文件,另一方面,它适用于大型 csv 文件,java 内存不足错误。
非常感谢您的帮助:)
package routines;
import java.io.FileWriter;
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.StringTokenizer;
import java.io.*;
import java.util.*;
import au.com.bytecode.opencsv.CSVReader;
import au.com.bytecode.opencsv.CSVWriter;
public class RemoveLineBreakFromCsvHelper {
public static void updateCSV (String fileToUpdate) throws IOException {
File inputFile = new File(fileToUpdate);
// Read existing file
CSVReader reader = new CSVReader(new FileReader(inputFile), ';');
List<String[]> csvBody = reader.readAll();
System.out.println("Read CSV File");
// get CSV row column and replace with by using row and column
for(int i=0; i<csvBody.size(); i++){
String[] strArray = csvBody.get(i);
for(int j=0; j<strArray.length; j++){
if(strArray[j].contains("\n")){ //String to be replaced
System.out.println("Remove Line Breaks");
csvBody.get(i)[j] = strArray[j].replace("\n".toString(), ". "); //Target replacement
}
}
}
reader.close();
// Write to CSV file which is open
CSVWriter writer = new CSVWriter(new FileWriter(inputFile), ';');
writer.writeAll(csvBody);
writer.flush();
writer.close();
}
}
【问题讨论】:
-
您好@StephenC,文件大小为 500 万行。
-
为什么标记为 Talend?如果您在 Talend 中执行此操作,我可以建议使用 Talend 组件而不是 java 代码的解决方案
-
我没有静态模式我有一个动态模式,这就是我使用 java 的原因