【问题标题】:Apache Arrow or feather plugin?Apache Arrow 还是羽毛插件?
【发布时间】:2021-06-02 01:07:11
【问题描述】:

我想在 Intake 中使用本地羽毛文件作为来源。羽毛/箭头的插件还不存在还是我遗漏了什么?

【问题讨论】:

    标签: pyarrow feather intake


    【解决方案1】:

    你是对的,据我所知,目前没有用于 Intake 的羽毛或箭头(即帧缓冲区)驱动程序。 Dask 也不支持。

    鉴于 pandas确实明确支持羽毛,为 Intake 构建驱动程序将很容易,支持多个远程文件,这些文件甚至可以与 Dask 并行加载,而无需向 dask 添加代码.

    但是,首先我想问:为什么不拼花呢?这似乎是标准格式,至少部分是因为它的范围远远超出了 python/arrow。 Intake 和任何其他表格数据引擎都支持这种格式。

    【讨论】:

    • 主要原因是pandas支持羽毛/箭头,所以我们使用羽毛文件作为我们的存储格式。
    • 熊猫也支持拼花
    猜你喜欢
    • 2020-11-13
    • 2021-06-12
    • 2021-01-13
    • 2018-08-22
    • 2012-11-11
    • 1970-01-01
    • 2019-06-18
    • 2019-09-21
    • 2013-02-10
    相关资源
    最近更新 更多