如何通过读取和转换文件来创建流？

Question

我正在尝试读取文件、解密文件并返回数据。由于该文件可能非常大，我想在流中执行此操作。

我找不到实现流的好模式。我正在尝试做这样的事情：

let stream = stream::unfold(decrypted_init_length, |decrypted_length| async move {
    if decrypted_length < start + length {
        let mut encrypted_chunk = vec![0u8; encrypted_block_size];
        match f.read(&mut encrypted_chunk[..]) {
            Ok(size) => {
                if size > 0 {
                    let decrypted = my_decrypt_fn(&encrypted_chunk[..]);
                    let updated_decrypted_length = decrypted_length + decrypted.len();
                    Some((decrypted, updated_decrypted_length))
                } else {
                    None
                }
            }
            Err(e) => {
                println!("Error {}", e);
                None
            }
        }
    } else {
        None
    }
});

问题是上述异步闭包中不允许f.read出现以下错误：

89  | |             match f.read(&mut encrypted_chunk[..]) {
    | |                   -
    | |                   |
    | |                   move occurs because `f` has type `std::fs::File`, which does not implement the `Copy` trait
    | |                   move occurs due to use in generator

我不想在闭包内部打开f。有没有更好的方法来解决这个问题？我可以使用不同的 crate 或 trait 或方法（即不是 stream::unfold）。

Answer 1

我找到了解决方案：在here 使用async-stream crate。

stream::unfold 对我不起作用的原因之一是 async move 闭包不允许访问外部的 mut 变量，例如 f 文件句柄。

现在使用async-stream，我将代码更改为以下内容，并且它可以工作：（注意此板条箱添加的yield）。

use async_stream::try_stream;

<snip>

    try_stream! {
        while decrypted_length < start + length {
            match f.read(&mut encrypted_chunk[..]) {
                Ok(size) => 
                    if size > 0 {
                        println!("read {} bytes", size);
                        let decrypted = my_decrypt_fn(&encrypted_chunk[..size], ..);
                        decrypted_length = decrypted_length + decrypted.len();
                        yield decrypted;
                    } else {
                        break
                    }
                Err(e) => {
                    println!("Error {}", e);
                    break
                }
            }
        }
    }

更新：

我发现async-stream 有一些我不能忽视的限制。我最终直接实现了Stream，不再使用async-stream。现在我的代码如下所示：

pub struct DecryptFileStream {
    f: File,
    <other_fields>,
}

impl Stream for DecryptFileStream {
    type Item = io::Result<Vec<u8>>;

    fn poll_next(self: Pin<&mut Self>,
                  _cx: &mut Context<'_>) -> Poll<Option<io::Result<Vec<u8>>>> {
         // read the file `f` of self and business_logic
         // 
         if decrypted.len() > 0 {
             Poll::Ready(Some(Ok(decrypted)))
         } else {
             Poll::Ready(None)
         }
    }
}

//. then use the above stream: 

    let stream = DecryptFileStream::new(...);
    Response::new(Body::wrap_stream(stream))

Answer 2

stream::unfold 仅适用于实现 Stream 的类型，在 Rust 中专门用于异步编程。如果你想做同步读取，你所谓的“流”被标记为在 Rust 中实现 Read。因此，您可以调用Read::read() 从File 的当前位置读取一些数据（受您传入的缓冲区长度的限制），然后解密该数据。