我也遇到了同样的问题。
我们经常使用 subprocess.Popen() 在 Windows 环境中调用外部工具。在某些时候，我们遇到了没有更多文件描述符可用的问题。我们深入研究了这个问题，发现 subprocess.Popen 实例在 Windows 中的行为与在 Linux 中的行为不同。
如果 Popen 实例没有被销毁（例如，通过以某种方式保留引用，因此不允许垃圾收集器销毁对象），在调用期间创建的管道在 Windows 中保持打开状态，而在 Linux 中它们会自动打开在调用 Popen.communicate() 后关闭。如果在进一步的调用中继续这样做，管道中的“僵尸”文件描述符将堆积起来，最终导致 Python 异常IOError: [Errno 24] Too many open files。
如何在 Python 中获取打开的文件描述符
为了解决我们的问题，我们需要一种在 Python 脚本中获取有效文件描述符的方法。因此，我们制作了以下脚本。请注意，我们只检查从 0 到 100 的文件描述符，因为我们不会同时打开这么多文件。
fd_table_status.py：
import os
import stat
_fd_types = (
('REG', stat.S_ISREG),
('FIFO', stat.S_ISFIFO),
('DIR', stat.S_ISDIR),
('CHR', stat.S_ISCHR),
('BLK', stat.S_ISBLK),
('LNK', stat.S_ISLNK),
('SOCK', stat.S_ISSOCK)
)
def fd_table_status():
result = []
for fd in range(100):
try:
s = os.fstat(fd)
except:
continue
for fd_type, func in _fd_types:
if func(s.st_mode):
break
else:
fd_type = str(s.st_mode)
result.append((fd, fd_type))
return result
def fd_table_status_logify(fd_table_result):
return ('Open file handles: ' +
', '.join(['{0}: {1}'.format(*i) for i in fd_table_result]))
def fd_table_status_str():
return fd_table_status_logify(fd_table_status())
if __name__=='__main__':
print fd_table_status_str()
简单运行时，它会显示所有打开的文件描述符及其各自的类型：
$> python fd_table_status.py
Open file handles: 0: CHR, 1: CHR, 2: CHR
$>
通过 Python 代码调用 fd_table_status_str() 的输出是一样的。有关“CHR”和尊重“短代码”含义的详细信息，请参阅Python documentation on stat。
测试文件描述符行为
尝试在 Linux 和 Windows 中运行以下脚本：
test_fd_handling.py：
import fd_table_status
import subprocess
import platform
fds = fd_table_status.fd_table_status_str
if platform.system()=='Windows':
python_exe = r'C:\Python27\python.exe'
else:
python_exe = 'python'
print '1) Initial file descriptors:\n' + fds()
f = open('fd_table_status.py', 'r')
print '2) After file open, before Popen:\n' + fds()
p = subprocess.Popen(['python', 'fd_table_status.py'],
stdin=subprocess.PIPE,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
print '3) After Popen, before reading piped output:\n' + fds()
result = p.communicate()
print '4) After Popen.communicate():\n' + fds()
del p
print '5) After deleting reference to Popen instance:\n' + fds()
del f
print '6) After deleting reference to file instance:\n' + fds()
print '7) child process had the following file descriptors:'
print result[0][:-1]
Linux 输出
1) Initial file descriptors:
Open file handles: 0: CHR, 1: CHR, 2: CHR
2) After file open, before Popen:
Open file handles: 0: CHR, 1: CHR, 2: CHR, 3: REG
3) After Popen, before reading piped output:
Open file handles: 0: CHR, 1: CHR, 2: CHR, 3: REG, 5: FIFO, 6: FIFO, 8: FIFO
4) After Popen.communicate():
Open file handles: 0: CHR, 1: CHR, 2: CHR, 3: REG
5) After deleting reference to Popen instance:
Open file handles: 0: CHR, 1: CHR, 2: CHR, 3: REG
6) After deleting reference to file instance:
Open file handles: 0: CHR, 1: CHR, 2: CHR
7) child process had the following file descriptors:
Open file handles: 0: FIFO, 1: FIFO, 2: FIFO, 3: REG
Windows 输出
1) Initial file descriptors:
Open file handles: 0: CHR, 1: CHR, 2: CHR
2) After file open, before Popen:
Open file handles: 0: CHR, 1: CHR, 2: CHR, 3: REG
3) After Popen, before reading piped output:
Open file handles: 0: CHR, 1: CHR, 2: CHR, 3: REG, 4: FIFO, 5: FIFO, 6: FIFO
4) After Popen.communicate():
Open file handles: 0: CHR, 1: CHR, 2: CHR, 3: REG, 5: FIFO, 6: FIFO
5) After deleting reference to Popen instance:
Open file handles: 0: CHR, 1: CHR, 2: CHR, 3: REG
6) After deleting reference to file instance:
Open file handles: 0: CHR, 1: CHR, 2: CHR
7) child process had the following file descriptors:
Open file handles: 0: FIFO, 1: FIFO, 2: FIFO
正如您在第 4 步中所见，Windows 的行为与 Linux 不同。必须销毁 Popen 实例才能关闭管道。
顺便说一句，第 7 步中的差异显示了有关 Windows 中 Python 解释器行为的不同问题，您可以查看有关这两个问题的更多详细信息 here。