我有一个非常大的 CSV 文件（1GB+），它有 100,000 行。
我需要编写一个 Java 程序来解析 CSV 文件中的每一行，以创建一个用于发送 HTTP 请求的正文。
换句话说，我需要发送 100,000 个与 CSV 文件中的行相对应的 HTTP 请求。如果我在一个线程中执行这些操作会很长。
我想创建 1,000 个线程来执行 i) 从 CSV 文件中读取一行，ii) 创建一个 HTTP 请求，其正文包含读取行的内容，以及 iii) 发送 HTTP 请求并接收响应。
这样，我需要将 CSV 文件分成 1000 个块，这些块之间应该没有重叠的行。
这种拆分过程的最佳方法是什么？
【问题讨论】：
如果您希望在同一操作中解压缩和解析，请查看https://github.com/skjolber/unzip-csv。
【讨论】：
通过构造 Runnable Task 的对象并将其传递给 Executors's submit() ，一旦获得该行，则在单线程中读取 CSV 文件将异步执行。
public static void main(String[] args) throws IOException {
String fName = "C:\\Amit\\abc.csv";
String thisLine;
FileInputStream fis = new FileInputStream(fName);
DataInputStream myInput = new DataInputStream(fis);
ExecutorService pool=Executors.newFixedThreadPool(1000);
int count = 0; // Concurrent request to Server barrier
while ((thisLine = myInput.readLine()) != null) {
if (count > 150) {
try {
Thread.sleep(100);
count = 0;
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
pool.submit(new MyTask(thisLine));
count++;
}
}
}
这里是你的任务：
class MyTask implements Runnable {
private String lLine;
public MyTask(String line) {
this.lLine=line;
}
public void run() {
// 1) Create Request lLine
// 2) send the HTTP request out and receive response
}
}
【讨论】：
您可以有一个线程来读取 CSV 的行并构建读取的行列表。当这达到某个限制时，例如100 行将其传递到固定大小的线程池以作为请求发送。
我怀疑除非您的服务器有 1000 个内核，否则您可能会发现使用 10-100 个并发请求会更快。
【讨论】：
同时在多个位置读取单个文件不会让你走得更快（但它可能会大大减慢你的速度）。
不是从多个线程读取文件，而是从单个线程读取文件，并并行处理这些行的处理。单个线程应该逐行读取您的 CSV，并将每一行放入队列中。然后，多个工作线程应该从队列中取出下一行，解析它，转换为请求，并根据需要并发处理请求。然后工作的拆分将由单个线程完成，确保没有丢失的行或重叠。
【讨论】：
让一个线程逐行读取文件，并且对于读取的每一行，将任务发布到 ExecutorService 以执行每个任务的 HTTP 请求。
从多个线程读取文件是行不通的，因为要读取nth 行，您必须先读取所有其他行。 （如果您的文件包含固定宽度的记录，理论上它可以工作，但 CSV 不是固定宽度格式。）
【讨论】：