如何在 hdfs 中使用 python 读取 .pkl 文件答案

【问题标题】：How to read .pkl file using python in hdfs如何在 hdfs 中使用 python 读取 .pkl 文件
【发布时间】：2018-05-11 19:06:46
【问题描述】：

我在 IBM 云中使用 Python 3.5.2。我需要在集群环境中运行 pyspark 代码。对于这项工作，我需要使用 python 在 hdfs 中上传 pickle 文件。我看到了comments here

我想上传 terrs.pkl。文件位置在附加的屏幕截图中给出

我正在按照我分享的链接中给出的建议使用以下命令

pickle.load( open( '/user/clsadmin/terrs.pkl', "rb" ) )

但它会抛出错误

No such file or directory: '/user/clsadmin/terrs.pkl'

请参阅随附的屏幕截图。你能建议我如何使用 python 加载这个 .pkl 文件吗？

【问题讨论】：

标签： python hdfs

【解决方案1】：

open_file = open("/user/clsadmin/terrs.pkl", "rb")
data = pickle.load(open_file)
open_file.close()

【讨论】：

在打开文件语句中我也收到错误消息 FileNotFoundError: [Errno 2] No such file or directory: '/user/clsadmin/terrs.pkl'
尝试添加绝对路径。您使用的是什么操作系统？
我正在尝试从我的 Windows 10 连接 IBM Cloud。我正在使用 git 工具连接 IBM Cloud
你的建议和@EmilyJohnson 尝试的有什么区别？ pickle.load( open( '/user/clsadmin/terrs.pkl', "rb" ) ) 与 open_file = open("/user/clsadmin/terrs.pkl", "rb") data = pickle.load(open_file) 相同