在 Julia 中读取 cmd 以流式传输到 BSON

Question

我有 curl 命令，我想使用 BSON 加载其输入。 出于性能原因，我想将 curl 输出直接读取到内存中，而不是将其保存到文件中。 另外，我想尽快关闭 curl，所以我想从 curl 中读取数据，然后将它们传递给 BSON，当 curl 打开时我们遇到了一些问题，因为它比连续解析更快。

我知道这行得通，但它使 curl 保持打开的时间过长，当我们一次并行执行多次并且我们从中下载的服务器有点忙时，这会导致问题。

using BSON
cmd = `curl <some data>`
BSON.load(open(cmd))

要尽快关闭cmd，我有这个：

# created IOBuffer to wrap bytes
import BSON.load
function BSON.load(bytes::Vector{UInt8})
    io = IOBuffer()
    write(io, bytes)
    seekstart(io)
    BSON.load(io)
end
cmd = `curl <some data>`
BSON.load(read(cmd))

这行得通，但我认为它非常难看。此外，我不确定这是否会降低性能。

有没有更优雅的方法来做到这一点？我可以将read(cmd) 放入一些 IO 结构中，然后将其传递给BSON.load 吗？

我意识到Serialization.deserialize 存在完全相同的问题。我的反序列化解决方案是相同的，但我欢迎任何改进。

Answer 1

当你说它“让 curl 打开太久”时，你的问题是什么意思有点不清楚，但这里有两种不同的方法：

julia> using BSON

julia> url = "https://raw.githubusercontent.com/JuliaIO/BSON.jl/master/test/test.bson"
"https://raw.githubusercontent.com/JuliaIO/BSON.jl/master/test/test.bson"

julia> open(BSON.load, `curl -s $url`)
Dict{Symbol,Any} with 2 entries:
  :a => Complex{Int64}[1+2im, 3+4im]
  :b => "Hello, World!"

julia> BSON.load(IOBuffer(read(`curl -s $url`)))
Dict{Symbol,Any} with 2 entries:
  :a => Complex{Int64}[1+2im, 3+4im]
  :b => "Hello, World!"

第一个版本与您的第一个版本相似，但下载完成后立即关闭 curl 进程。第二个版本将 curl 调用的结果读取到字节向量中，将其包装在 IOBuffer 中，然后在其上调用 BSON.load。