从 C++ 运行 CURL 以异步获取多个 URL

Question

我的 C++ 程序的一个逻辑部分必须获取调用 curl（Linux 程序，而不是库）的文本文件并通过管道获取其输出。可能有很多网址要下载。并且下载时间可能是合理的。该计划旨在“可扩展”且有效。

所以问题是哪种变体更可取：

1. 运行 curl 的单个实例，为其提供 url 列表
2. 创建一个线程池，每个线程都使用单个 url 调用一个 curl 进程程序，并随后聚合线程输出。

换句话说就是curl在下载多个url时是异步的，否则我必须手动实现。

Answer 1

如果您从管道调用 cURL，那么首选的解决方案是创建一个线程池。由于线程彼此独立，因此它们一次获取多个 URL。

但是，另一个有效的解决方案是使用 cURL 库而不是管道。这是example from libcurl。