当长度已知时从 Lazy ByteString 构造 RequestBodyStream

Question

我正在尝试调整这个AWS S3 upload code 来处理长度已知的Lazy ByteString（这样它就不会被强制在内存中全部读取——它会通过预先发送长度的网络来传输）。看来我必须在Lazy ByteString 上定义一个GivesPopper 函数才能将其转换为RequestBodyStream。由于定义了GivesPopper 的复杂方式，我不确定如何为Lazy ByteString 编写它。将欣赏有关如何编写它的指针。 Here 是从文件中读取的写法：

let file ="test"
-- streams large file content, without buffering more than 10k in memory
let streamer sink = withFile file ReadMode $ \h -> sink $ S.hGet h 10240

如果我理解正确，上面代码中的streamer 是GivesPopper () 类型。 给定一个已知长度len 的Lazy ByteString，在它上面写GivesPopper 函数的好方法是什么？我们可以一次读取一个块。

Answer 1

这就是你要找的吗？

import qualified Data.ByteString as S
import qualified Data.ByteString.Lazy as L
import System.IO

file = "test"
-- original streamer for feeding a sink from a file
streamer :: (IO S.ByteString -> IO r) -> IO r
streamer sink = withFile file ReadMode $ \h -> sink $ S.hGet h 10240

-- feed a lazy ByteString to sink    
lstreamer :: L.ByteString -> (IO S.ByteString -> IO r) -> IO r
lstreamer lbs sink = sink (return (L.toStrict lbs))

lstreamer 类型检查，但可能不会完全按照您的要求执行。每次接收器调用它时，它都会返回相同的数据。另一方面，S.hGet h ... 最终会返回空字符串。

这是一个使用 IORef 来跟踪我们是否应该开始返回空字符串的解决方案：

import Data.IORef

mklstream :: L.ByteString -> (IO S.ByteString -> IO r) -> IO r
mklstream lbs sink = do
  ref <- newIORef False
  let fetch :: IO S.ByteString
      fetch = do sent <- readIORef ref
                 writeIORef ref True
                 if sent
                   then return S.empty
                   else return (L.toStrict lbs)
  sink fetch

这里fetch 是获取下一个块的动作。第一次调用它时，您将获得原始的惰性 Bytestring（严格）。后续调用将始终返回空字符串。

更新

以下是一次发放少量的方法：

mklstream :: L.ByteString -> (IO S.ByteString -> IO r) -> IO r
mklstream lbs sink = do
  ref <- newIORef (L.toChunks lbs)
  let fetch :: IO S.ByteString
      fetch = do chunks <- readIORef ref
                 case chunks of
                   [] -> return S.empty
                   (c:cs) -> do writeIORef ref cs
                                return c
  sink fetch