使用 Windows 批处理脚本拆分文件答案

【问题标题】：Split a file using windows batch script使用 Windows 批处理脚本拆分文件
【发布时间】：2016-08-02 04:23:20
【问题描述】：

我有一个 csv 文件，我需要将其拆分为 n 个文件，这样每个拆分文件不应超过 100 mb。我需要在 Windows 批处理脚本中实现它。我尝试了以下方法，但由于我的未拆分文件以 GB 为单位，因此需要花费大量时间

@echo off
setlocal enableextensions enabledelayedexpansion
set count=1
set maxbytesize=100000000
set size=1
type NUL > output_1.csv

FOR /F  "tokens=*" %%i in (myfile.csv) do (
FOR /F "usebackq" %%A in ('!filename!_!count!.csv') do (
set size=%%~zA) 
if !size! LSS !maxbytesize! (
echo %%i>>!filename!_!count!.csv) else (
set /a count+=1 
echo %%i>>!filename!_!count!.csv 
))

如果有更好的方法来实现这一点，请告诉我。因为我的服务器是 windows，所以我不能使用任何其他脚本语言

【问题讨论】：

是的，你基本上必须在每次迭代时检查文件的 GTR 是否超过 100000000，这可能就是为什么这需要这么长时间。在这种情况下，您是否对使用 Powershell 或 VB 不感兴趣，如果愿意，您愿意下载任何第三方软件（如 7zip），以便更轻松地完成此操作吗？
主要的刹车是for命令（你可以通过运行空FOR /F "tokens=*" %%i in (myfile.csv) do ()循环来检查它）所以你与它无关。我建议使用更高级的语言。

标签： file batch-file split

【解决方案1】：

假设您的线条大小大致相同，这将起到作用。

它的优点是它只是一个 2 pass 解决方案，一个用于计算行数，另一个用于打印它们。

@rem echo off

@rem usage: batchsplit.bat <file-to-split> <size-limit>
@rem it will generate files named <file-to-split>.part_NNN

setlocal EnableDelayedExpansion

set FILE_TO_SPLIT=%1
set SIZE_LIMIT=%2

for /f %%s in ('dir /b %FILE_TO_SPLIT%') do set SIZE=%%~Zs
for /f %%c in ('type "%FILE_TO_SPLIT%"^|find "" /v /c') do set LINE_COUNT=%%c

set /a AVG_LINE_SIZE=%SIZE%/%LINE_COUNT%
set /a LINES_PER_PART=%SIZE_LIMIT%/%AVG_LINE_SIZE%

set "cmd=findstr /R /N "^^" %FILE_TO_SPLIT%"

for /f "tokens=1,2* delims=:" %%a in ('!cmd!') do @(
    set /a ccc = %%a / %LINES_PER_PART%
    echo %%b >> %FILE_TO_SPLIT%.part_!ccc!
)

将其保存为 batchsplit.bat 并使用以下命令运行它：

batchsplit.bat myfile.csv 100000000

【讨论】：

set SIZE=%~Z1 也可以。无论如何，您的解决方案非常好（尤其是确定文件中行数的方法）但也很慢。主刹车是for命令。
感谢@Fr0sT。关于设置大小的好点。我知道“for”很慢，但这是要求。