为什么我的 Futures 没有最大化 CPU？

Question

我正在创建数百个请求来下载同一个文件（这是一个玩具示例）。当我使用 Go 运行等效逻辑时，我得到 200% 的 CPU 使用率，并在约 5 秒内返回（w/800 个请求）。在只有 100 个请求的 Rust 中，它需要将近 5 秒并产生 16 个操作系统线程，CPU 利用率为 37%。

为什么会有这样的差异？

据我了解，如果我有一个 CpuPool 跨 N 个内核管理 Futures，这在功能上就是 Go 运行时/goroutine 组合正在做的事情，只是通过光纤而不是期货.

从性能数据来看，尽管ThreadPoolExecutor，我似乎只使用了 1 个核心。

extern crate curl;
extern crate fibers;
extern crate futures;
extern crate futures_cpupool;

use std::io::{Write, BufWriter};
use curl::easy::Easy;
use futures::future::*;
use std::fs::File;
use futures_cpupool::CpuPool;


fn make_file(x: i32, data: &mut Vec<u8>) {
    let f = File::create(format!("./data/{}.txt", x)).expect("Unable to open file");
    let mut writer = BufWriter::new(&f);
    writer.write_all(data.as_mut_slice()).unwrap();
}

fn collect_request(x: i32, url: &str) -> Result<i32, ()> {
    let mut data = Vec::new();
    let mut easy = Easy::new();
    easy.url(url).unwrap();
    {
        let mut transfer = easy.transfer();
        transfer
            .write_function(|d| {
                data.extend_from_slice(d);
                Ok(d.len())
            })
            .unwrap();
        transfer.perform().unwrap();

    }
    make_file(x, &mut data);
    Ok(x)
}

fn main() {
    let url = "https://en.wikipedia.org/wiki/Immanuel_Kant";
    let pool = CpuPool::new(16);
    let output_futures: Vec<_> = (0..100)
        .into_iter()
        .map(|ind| {
            pool.spawn_fn(move || {
                let output = collect_request(ind, url);
                output
            })
        })
        .collect();

    // println!("{:?}", output_futures.Item());
    for i in output_futures {
        i.wait().unwrap();
    }
}

My equivalent Go code

Answer 1

据我了解，如果我有一个 CpuPool 跨 N 个内核管理 Futures，这在功能上就是 Go 运行时/goroutine 组合正在做的事情，只是通过光纤而不是期货.

这是不正确的。 documentation for CpuPool states，重点是我的：

用于运行 CPU 密集型工作的线程池。

下载文件不是 CPU 密集型的，它是 IO 密集型的。您所做的只是启动许多线程，然后告诉每个线程在等待 IO 完成时阻塞。

改为使用tokio-curl，它将curl 库适应Future 抽象。然后，您可以完全删除线程池。这应该会大大提高您的吞吐量。