IOError：设备上没有剩余空间 - 哪个设备？

Question

我正在将一个小文件 (8.5 Mb) 上传到烧瓶测试服务器。

文件上传完成后，服务器报告：

    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/wtforms/form.py", 
        line 212, in __call__
    return type.__call__(cls, *args, **kwargs)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/flask_wtf/form.py", line 49, in __init__
        formdata = request.form
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/local.py", 
        line 338, in __getattr__
    return getattr(self._get_current_object(), name)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/utils.py", 
         line 71, in __get__
    value = self.func(obj)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/wrappers.py", 
         line 484, in form
    self._load_form_data()
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/flask/wrappers.py", 
        line 165, in _load_form_data
    RequestBase._load_form_data(self)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/wrappers.py", 
        line 356, in _load_form_data
    mimetype, content_length, options)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/formparser.py", 
        line 193, in parse
    content_length, options)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/formparser.py",
        line 99, in wrapper
    return f(self, stream, *args, **kwargs)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/formparser.py",
        line 210, in _parse_multipart
    form, files = parser.parse(stream, boundary, content_length)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/formparser.py", 
        line 520, in parse
    return self.cls(form), self.cls(files)
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/datastructures.py", 
        line 373, in __init__
    for key, value in mapping or ():
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/formparser.py", 
        line 518, in <genexpr>
    form = (p[1] for p in formstream if p[0] == 'form')
    File "/home/ubuntu/.virtualenvs/eco_app/lib/python2.7/site-packages/werkzeug/formparser.py", 
        line 494, in parse_parts
        _write(ell)
IOError: [Errno 28] No space left on device

现在，服务器有足够的可用空间 - 超过 3Gb。

我查看了Werkzeug github repo，试图找到 Werkzeug 试图写入的位置，但无法找到它。

我还检查了tempfile.gettempdir()，它提供了 /var/tmp 作为临时文件目录，但这个文件夹实际上是空的，所以我认为这不是造成问题的位置。

如何找到没有空间的设备？

Answer 1

@Tom Hunt 的评论是正确的。

这个 unix SE 答案解释了what happened。

为了防止磁盘空间不足，如果根分区的磁盘空间不足，一些守护程序会自动使用 ram 磁盘“隐藏”当前的 /tmp/ 目录。遗憾的是，一旦有足够的磁盘空间再次可用，该过程就不会自动恢复。

我卸载了 /tmp 目录并按照 Nitesh 的建议：

sudo umount /tmp
sudo echo 'MINTMPKB=0' > sudo /etc/default/mountoverflowtmp

现在上传工作正常。

Answer 2

如果您可以在服务器上获得 shell，请尝试输入 df -h 并查找任何显示 Use% 为 100% 或 Avail 小于您的文件大小的条目。

Answer 3

Werkzeug 使用 tempfile.TemporaryFile() 在您的临时目录中存储超过一定大小的文件，但请考虑到这些文件未链接以确保安全。您不会在目录中看到它们。 tempfile.gettempdir() 是确定用于此的目录的正确方法。

您的/var/tmp 目录可能配置为较小的分区。检查df -h 以查看该分区是否还有足够的空间。您还需要使用df -i 来检查免费的inode。

也可能是某个进程（可能是您的）在此类未链接文件上挂起的时间过长，并且空间尚未返回给操作系统。您可以使用以下方法检查保留已删除文件的进程：

lsof -nP | grep '/var/tmp' | grep '(deleted)'

或

find /proc/*/fd -ls | grep '/var/tmp' | grep  '(deleted)'

Answer 4

试试df -i，可能没有空闲的inode。

编辑：

另一种选择，找到werkzeug pid，设为777，

• 运行strace -p 777 &> /tmp/strace_log
• 尝试上传文件
• 停止跟踪
• 找到No space left on device这个消息，会像 write(1, "blah blah ..."..., 57) = -1 ENOSPC (No space left on device) 第一个要写入的参数是文件描述符
• 上去尝试定位特定的open(... = X syscall，X 是一个文件描述符，在“write”系统调用步骤中会失败

很麻烦，我知道，但那是调试。