Windows 批处理脚本中 FOR 命令中的令牌数限制答案

【问题标题】：Number of tokens limit in a FOR command in a Windows batch scriptWindows 批处理脚本中 FOR 命令中的令牌数限制
【发布时间】：2010-11-02 02:54:02
【问题描述】：

我试图在 Windows 批处理脚本中处理文本文件，但遇到了一些看起来像是 FOR 循环中 31 个令牌的限制。我在下面的代码中隔离了这个问题：

@ECHO OFF
SET DATA=01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

FOR /F "tokens=31* delims= " %%i IN ("%DATA%") DO (
    ECHO [%%i]
    ECHO [%%j]
)
ECHO.
FOR /F "tokens=32* delims= " %%i IN ("%DATA%") DO (
    ECHO [%%i]
    ECHO [%%j]
)

输出是：

[31]
[32 33 34 35]

[01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35]
[%j]

我期待这个：

[31]
[32 33 34 35]

[32]
[33 34 35]

希望我没有做错什么，我在 FOR 命令的帮助中找不到此限制。我正在使用 Windows XP。除了截断部分数据之外，您是否知道任何解决方法？

谢谢。

【问题讨论】：

我也遇到了这个限制。我只是在做for /F "tokens=32" %%a in ([big list of tokens])....，所以我只想要变量%%a 中的第32 个标记，并且不认为我会遇到任何限制，只从列表中获取一个特定标记。男孩是我错了！很棒的帖子。 :)

标签： windows command-line scripting batch-file

【解决方案1】：

来自for /?：

%i 在 for 中显式声明声明和 %j 和 %k 是通过标记隐式声明= 选项。您最多可以指定 26 个通过 tokens= 行提供的令牌，提供它不会导致尝试声明一个高于字母“z”或“Z”。记住，对于变量是单字母，大小写敏感的，全球性的，你不能拥有超过 52 总活跃在任何一个时间。

【讨论】：

感谢帕特里克的摘录，但它指的是另一个限制，特别是关于在 FOR 循环中可以使用多少与令牌相关的变量。在我的示例中，我只使用了 2 个变量，%%i 和 %jj，问题在于它们的值（处理的数据中的标记）。
对不起，我误解了你的问题。

【解决方案2】：

标记是算作一个块的最小语法单位。在 Windows 95/98/ME 中，批处理命令行的最大限制为 64 个令牌。再多的话，命令行会产生Bad command or file name错误。

这就是为什么您在 DATA 中可能仅限于 31 个。

【讨论】：

我认为2000/XP等的最大限制增加了。

【解决方案3】：

我想出了一个解决方案。它并不优雅，但它解决了我的问题。当命令行解释器无法进一步处理标记时，我将数据的剩余部分传递给 CALL :label 命令。这是一个例子：

@ECHO OFF

SET DATA=01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

FOR /F "tokens=1,31* delims= " %%i IN ("%DATA%") DO (
    ECHO  1st token: %%i
    ECHO 31th token: %%j
    CALL :processdatatokens32-62 %%k
)

:processdatatokens32-62
SET DATA=%*
FOR /F "tokens=1,31* delims= " %%i IN ("%DATA%") DO (
    ECHO 32nd token: %%i
    ECHO 62th token: %%j
    CALL :processdatatokens63-83 %%k
)
GOTO :EOF

:processdatatokens63-83
SET DATA=%*
FOR /F "tokens=1,31* delims= " %%i IN ("%DATA%") DO (
    ECHO 63th token: %%i
    ECHO 93th token: %%j
)
GOTO :EOF

输出是：

 1st token: 01
31th token: 31
32nd token: 32
62th token: 62
63th token: 63
93th token: 93

【讨论】：

请参阅stackoverflow.com/a/8520993/1012053，了解访问多达 64 个令牌的更有效方法。该策略可以扩展到支持超过 64 位，尤其是在使用扩展字符集的情况下。
谢谢，dbenham。你的答案中的附录真的很铁杆。 :)

【解决方案4】：

循环遍历 DATA 数组的方法不止一种：

@ECHO OFF
setlocal ENABLEDELAYEDEXPANSION
SET DATA=01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101

for /l %%a in (0,3,150) do @echo %%a data: !data:~%%a,2!

这仅是因为 %DATA% 数组中有两个字符变量。正如您将看到的，现在限制为 99 个字符，而不是 31 个。当您达到第 100 个及以后，该数字将被截断。

罗伯

【讨论】：

罗布，感谢您的回答。我明白你的意思，但这个解决方案是基于在 DATA 中的不同偏移量处精确拾取 2 个字符，这不是我需要的。我的令牌有各种长度。我在 DATA 中使用的那些仅用于示例目的。

【解决方案5】：

我为批处理创建了一个打字机功能（只是为了好玩），也遇到了这个限制。下面是一个精简的版本，向您展示我是如何解决这个问题的。从命令行执行时，您最多可以使用 8,191 个字符，包括空格分隔符。使用变量时，最大长度为 32,767。

@echo off
::#############################################################################
 :_typeWriter <stringVariable> <skipLinefeed>
::#############################################################################
::
:: Copyleft Denny Lenselink 2018
::

%= Set local environment =%
( call ) & 2>nul setlocal EnableDelayedExpansion || exit /b 99

:: Set vars
set "_CNT=0" && set "_LEN=0" && set "_STR= %~1" && set "_TOT=0"

:_typeWriter_Loop
set /a "_CNT+=1"

:: 31 tokens limit fix. Cut the used part of the string and set counter to 1
if !_CNT! equ 32 ( set "_CNT=1" && set "_STR=!_STR:~%_TOT%!" && set "_TOT=0" )

:: Go through string (seeking words)
for /f "tokens=%_CNT% delims= " %%* in ( "%_STR%" ) do (

    :: Set word var
    set "_WRD=#%%*"

    :: Calculate word length
    for /l %%I in ( 12, -1, 0 ) do (

        set /a "_LEN|=1<<%%I"

        for %%J in ( !_LEN! ) do ( if "!_WRD:~%%J,1!"=="" set /a "_LEN&=~1<<%%I" )
    )

    :: Strip first char (used before to calculate correct word length)
    set "_WRD=!_WRD:~1!"

    :: Count chars including spaces
    set /a "_TOT=!_TOT!+!_LEN!+1"

    :: Type word or use echo
    <nul set /p "=!_WRD! "

    :: Do a loop
    goto _typeWriter_Loop
)

:: No linefeed when specified
if "%~2"=="" echo.

endlocal
exit /b

执行： C:\Temp> typewriter "this is a test that works"

结果：

this is a test that works

将<nul set /p "=!_WRD! " 更改为echo !_WRD! 将导致：

this
is
a
test
that
works

【讨论】：

【解决方案6】：

FOR 循环限制记录在此处的标题“令牌”下：
https://ss64.com/nt/for_f.html

“一个 FOR /F 命令永远不能解析超过 31 个标记，要使用更多，需要使用多个 FOR 命令的解决方法。”

【讨论】：