args 参数的 subprocess.Popen 最大长度是多少？

Question

我正在使用子进程模块中的Popen 函数来执行命令行工具：

subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)

我正在使用的工具需要一个文件列表，然后它会处理这些文件。在某些情况下，此文件列表可能很长。有没有办法找到 args 参数的最大长度？将大量文件传递给该工具时，我收到以下错误：

Traceback (most recent call last):
  File "dump_output_sopuids.py", line 68, in <module>
    uid_map = create_sopuid_to_path_dict_dcmdump(dicom_files)
  File "dump_output_sopuids.py", line 41, in create_sopuid_to_path_dict_dcmdump
    dcmdump_output = subprocess.Popen(cmd,stdout=subprocess.PIPE).communicate(0)[0]
  File "c:\python26\lib\subprocess.py", line 621, in __init__
    errread, errwrite)
  File "c:\python26\lib\subprocess.py", line 830, in _execute_child
    startupinfo)
WindowsError: [Error 206] The filename or extension is too long

有没有找到这个最大长度的通用方法？我在 msdn 上找到了以下文章：Command prompt (Cmd. exe) command-line string limitation 但我不想在值中硬编码。我宁愿在运行时获取值以将命令分解为多个调用。

我在 Windows XP 64 上使用 Python 2.6。

编辑：添加代码示例

paths = ['file1.dat','file2.dat',...,'fileX.dat']
cmd = ['process_file.exe','+p'] + paths
cmd_output = subprocess.Popen(cmd,stdout=subprocess.PIPE).communicate(0)[0]

出现问题是因为paths 列表中的每个实际条目通常是一个非常长的文件路径并且有几千个。

我不介意将命令分解为多次调用process_file.exe。我正在寻找一种通用方法来获取 args 的最大长度，以便我知道每次运行要发送多少条路径。

Answer 1

如果您传递 shell=False，则 Cmd.exe 不会发挥作用。

在 Windows 上，子进程将使用 Win32 API 中的 CreateProcess 函数来创建新进程。此函数的 documentation 声明第二个参数（由 subprocess.list2cmdline 构建）的最大长度为 32,768 个字符，包括 Unicode 终止空字符。如果 lpApplicationName 为 NULL，则 lpCommandLine 的模块名称部分仅限于 MAX_PATH 字符。

鉴于您的示例，我建议为可执行文件 (args[0]) 提供一个值，并将 args 用作第一个参数。如果我对 CreateProcess 文档和子流程模块源代码的阅读是正确的，那么这应该可以解决您的问题。

[编辑：在我拿到 Windows 机器并进行测试后删除了 args[1:] 位]

Answer 2

对于类 Unix 平台，内核常量 ARG_MAX 是 defined by POSIX. 至少需要 4096 字节，但在现代系统上，它可能是 1 兆字节或更多。

在许多系统上，getconf ARG_MAX 会在 shell 提示符下显示其值。

shell 实用程序xargs 可以方便地拆分长命令行。例如，如果

python myscript.py *

在大目录中失败，因为文件列表扩展为字节长度超过 ARG_MAX 的值，您可以使用类似的方法解决它

printf '%s\0' * |
xargs -0 python myscript.py

（-0 选项是一个 GNU 扩展，但确实是唯一完全安全的方法来明确传递可能包含换行符、引号字符等的文件名列表。）也许还可以探索

find . -maxdepth 1 -type f -exec python myscript.py {} +

相反，将一长串参数传递给subprocess.Popen() 和朋友，类似

p = subprocess.Popen(['xargs', '-0', 'command'],
    stdin=subprocess.PIPE, stdout=subprocess.PIPE,
    stderr=subprocess.PIPE)
out, err = p.communicate('\0'.join(long_long_argument_list))

...在大多数情况下，您可能应该避免使用原始 Popen() 并让 run() 或 check_call() 之类的包装函数完成大部分工作：

r = subprocess.run(['xargs', '-0', 'command'],
    input='\0'.join(long_long_argument_list),
    universal_newlines=True)
out = r.stdout

subprocess.run() 在 3.7+ 中支持 text=True 作为 universal_newlines=True 的新名称。早于 3.5 的 Python 版本没有 run，因此您需要回退到旧的旧函数 check_output、check_call 或（很少）call。