【问题标题】:Downloading nltk in AWS EMR gives '[Errno 28] No space left on device'在 AWS EMR 中下载 nltk 会给出“[Errno 28] 设备上没有剩余空间”
【发布时间】:2017-02-28 17:18:55
【问题描述】:

在 Amazon AWS EMR 集群中运行以下代码时出现“无空间”错误。

import nltk
nltk.download('all')

我在命令行中检查了内存,下面是可用内存available memory in the cluster的截图。请引导我。

【问题讨论】:

    标签: amazon-web-services amazon-ec2 emr amazon-emr


    【解决方案1】:

    在基于 Unix/Linux 的操作系统上,NLTK 下载器将数据下载到目录/usr/share/nltk_data/。

    将此数据下载到具有足够磁盘空间和写入权限的其他位置。

    python -m nltk.downloader -d /mnt/nltk_data all
    

    由于现在更改了默认数据位置,因此请相应地设置NLTK_DATA 环境变量。

    export NLTK_DATA=/mnt/nltk_data
    

    您的实例似乎已用完 root 下的磁盘空间。 / 目录已填充到 100%,请在继续之前释放一些磁盘空间。

    【讨论】:

    • 感谢您的建议。我还有一个问题:可以在 s3fs 中下载 nltk 数据并将环境变量设置为指向该路径吗?我正在尝试在 s3fs 中下载,但下载数据需要相当长的时间。
    • 将您的 S3 存储桶挂载到挂载点并将路径设置为 NLTK_DATA。我自己没有尝试过,但理想情况下它应该可以工作。
    • @coder007,您是否将文件存储在 S3 中并使用 NLTK_DATA 路径来引用文件?成功了吗?
    • @user422930 是的,它有效。我安装了一个 s3 存储桶并将数据下载到其中。最后,确保将 NLTK_DATA 路径设置为这个挂载目录。
    猜你喜欢
    • 2021-01-07
    • 1970-01-01
    • 1970-01-01
    • 2017-04-06
    • 2017-09-20
    • 2022-07-03
    • 1970-01-01
    • 2020-12-16
    • 2020-03-09
    相关资源
    最近更新 更多