来自 iostream 或内存缓冲区的 Apache Arrow 表

Question

我有一些使用 AWS API 从 AWS S3 检索镶木地板文件的代码。结果是一个标准 iostream：

   std::basic_iostream< char, std::char_traits<char>> 

从这里我想创建一个 Apache 箭头表而不将 iostream 保存到本地文件然后加载。但是，我在 API 中看不到任何帮助。 Arrow 仅提供从文件加载拼花的接口。

Answer 1

对直接 S3 支持的初步支持已添加到 master。您应该能够生成一个文件，该文件可以使用新 API 传递给 Parquet 读取。我的理解是这也是建立在官方 S3 客户端之上的，因此您也可以针对您的用例调整代码。