删除许多文件后出现“打开的文件太多”错误

Question

我的程序每 10 秒在指定目录中创建一个日志文件。然后在另一个线程中，它迭代该目录中的文件。如果文件有内容，则将其压缩并将其上传到外部存储，如果文件为空，则将其删除。程序运行一段时间后，我收到错误"too many open files" (gzopen failed, errno = 24)。

当我查看/proc/<pid>/fd 内部时，我看到许多指向创建日志的同一目录中的文件的断开链接以及链接旁边的单词(deleted)。

知道我做错了什么吗？我检查了两个线程中的返回值，close 函数（在写入日志的线程中）和boost::filesystem::remove（压缩和上传非空日志文件并删除空日志文件的线程）。所有的返回值都为零，而(deleted) 链接列表变得更长，每 10 秒购买 1 个。

我认为这个问题从未在 32 位上发生过，但最近我转向 64 位，现在我得到了这个惊喜。

Answer 1

您忽略了关闭您打开的文件。

根据您的描述，听起来您close 是您为登录日志线程而打开的文件，但您继续说您只是压缩和/或上传后的boost::filesystem::remove 文件。

记住：

• 您使用gzopen 打开的任何压缩文件都必须是gzclosed
• 您为压缩而打开的任何未压缩文件都必须关闭。
• 如果你打开一个文件来检查它是否为空，你必须关闭它。
• 如果您打开文件进行传输，则必须将其关闭。

---

/proc/pid/fd 的输出将非常有助于缩小范围，但不幸的是您没有发布它。看似无用的输出如何提供微妙提示的示例：

# You forgot to gzclose the output file after compressing it
l-wx------ user group 64 Apr 9 10:17 43 -> /tmp/file.gz (deleted)

# You forgot to close the input file after compressing it
lr-x------ user group 64 Apr 9 10:17 43 -> /tmp/file (deleted)

# You forgot to close the input file after logging
l-wx------ user group 64 Apr 9 10:17 43 -> /tmp/file (deleted)

# You forgot to close the input file after transferring it
lr-x------ user group 64 Apr 9 10:17 43 -> /tmp/file.gz (deleted)