【发布时间】:2020-03-09 21:43:38
【问题描述】:
通过 AWS 在 Ubuntu 上设置 Anaconda 后,我配置了 Jupiter notebook 并安装了所有 PySpark,然后尝试将其导入脚本,但它返回了
TypeError: namedtuple() missing 3 required keyword-only arguments: 'verbose', 'rename', and 'module'
原因是 Spark 2.1.0 不支持 python 3.6.0。解决方案是在 anaconda 环境中更改 python 版本。 然后我应用了这个命令:
- [x] conda create -n py35 python=3.5 anaconda
- [x] 激活 py35
但是,应用此命令将下载文件,然后会出现错误提示:
[Errno 28] No space left on device
检查df -i 时显示 3 个弹出节点是 100%,这意味着它们已满
我无法删除文件,如果可以,应该删除哪些文件以腾出空间
请记住,这一切都是在 AWS 上使用标准免费试用包完成的
【问题讨论】:
-
也许您想检查磁盘是否正确安装。我们观察到,在使用 python 3.5 时,磁盘会在大量 spark 操作后自行卸载。升级到 3.7 是我们的解决方案。
标签: python amazon-web-services apache-spark ubuntu anaconda