【问题标题】:How to install arrow for R to access HDFS如何为 R 安装箭头以访问 HDFS
【发布时间】:2020-01-25 00:39:24
【问题描述】:

我想访问 HDFS 上的 parquet 文件并想使用 arrow 库。但是,我需要知道客户端还需要安装哪些其他依赖项?例如,following page 解释了将箭头用于 python (pyarrow) 需要哪些依赖项,但我找不到 R 的那些依赖项。

【问题讨论】:

    标签: pyarrow apache-arrow


    【解决方案1】:

    从 0.14.1 开始,R 箭头绑定尚不支持 HDFS。目前最好的选择可能是在使用它们之前将文件同步到本地文件系统。

    【讨论】:

    • 抱歉,我注意到 0.14.1 版本是最新的。文档中是否有任何地方明确提到他们不再支持 HDFS?旧版本呢?如何使用旧版本的箭头连接到 HDFS?
    • 箭头 R 包从未支持 HDFS。 C++ 库确实支持它,但尚未编写 R 绑定。
    • 你知道其他支持从 HDFS 读取 parquet 文件的库吗?
    • 不在 R 中,没有。因此,为什么我建议使用另一个包或服务在本地同步 Parquet 文件,然后使用arrow 来读取它们。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-12-30
    • 2021-09-12
    • 2022-01-02
    • 1970-01-01
    • 2018-10-26
    • 1970-01-01
    • 2021-08-01
    相关资源
    最近更新 更多