如何检查多个文件夹并删除具有唯一文件名的任何文件？

Question

我正在从检查系统上的多个摄像头捕获小部件的图像。如果检查不成功，则不会保存图像。图像以小部件的序列号命名。

所以我的文件夹结构可能看起来像

• 相机1
  • 1.tif
  • 2.tif
  • 4.tif
• 相机2
  • 2.tif
  • 3.tif
  • 4.tif
• 相机3
  • 1.tif
  • 2.tif
  • 3.tif
  • 4.tif

我希望能够删除所有三个文件夹中都不匹配的图像。我不介意两次运行该解决方案，一次在相机 1 和相机 2 之间，然后再次使用相机 2 和相机 3。

我希望只剩下以下文件夹结构。

• 相机1
  • 2.tif
  • 4.tif
• 相机2
  • 2.tif
  • 4.tif
• 相机3
  • 2.tif
  • 4.tif

每个文件夹中有大约 12,000 个文件供分析，可能有 2%-3% 的错误需要删除才能继续分析。

我不介意需要付款、python、命令行等的预打包解决方案。

非常感谢！

Answer 1

按照 cmets 的建议，下次您在 SO 上提出问题时，请先自己试一试，并询问任何问题 - 这样您可以了解更多信息。

这是一个开始，如下所示，下面的代码使用文件夹的内容创建 3 个集合，确定这三个集合的交集，然后从原始集合中删除该交集。结果会准确告诉您每个文件夹中需要删除哪些文件：

from pathlib import Path


def find_unmatched(dirs):
    # list the (file) contents of the folders
    contents = {}
    for d in dirs:
        contents[d] = set(str(n.name) for n in Path(d).glob('*') if n.is_file())

    # decide what the folders have in common
    all_files = list(contents.values())
    common = all_files[0]
    for d_contents in all_files[1:]:
        common = common.intersection(d_contents)

    # create a dictionary that tells you what to remove
    return {d: files - common for d, files in contents.items()}


to_remove = find_unmatched(['photos/Camera1', 'photos/Camera2', 'photos/Camera3'])
print(to_remove)

结果（假设您的示例中的文件夹位于名为 photos 的文件夹中）：

{'photos/Camera1': {'1.tif'}, 'photos/Camera2': {'3.tif'}, 'photos/Camera3': {'1.tif', '3.tif'}}

实际上删除文件是一些您可能自己弄清楚的代码。

Answer 2

如前所述，您应该自己努力解决问题，遇到困难时寻求帮助。不过，我现在有一些空闲时间，所以我写了一个完整的 Batch 解决方案：

@echo off
setlocal EnableDelayedExpansion

rem Process files in Camera1 folder and populate "F" array elements = 1
cd Camera1
for %%a in (*.tif) do set "F[%%~Na]=1"

rem Process files in Camera2 and *accumulate* files to "F" array
cd ..\Camera2
for %%a in (*.tif) do set /A "F[%%~Na]+=1"

rem Process files in Camera3 and accumulate files to "F" array
rem if counter == 3 then file is OK: remove "F" element
rem else: delete file
rem       if counter == 1: remove "F" element

cd ..\Camera3
for %%a in (*.tif) do (
   set /A "F[%%~Na]+=1"
   if !F[%%~Na]! equ 3 (
      set "F[%%~Na]="
   ) else (
      del %%a
      if !F[%%~Na]! equ 1 set "F[%%~Na]="
   )
)

rem Remove files of "F" array in both Camera1 and Camera2 folders, ignoring error messages
cd ..
(for /F "tokens=2 delims=[]" %%a in ('set F[') do (
   del Camera1\%%a.tif
   del Camera2\%%a.tif
)) 2>nul

请报告结果...

Answer 3

虽然方法很简单，但可能不是最快的：

@echo off
rem // Change into root directory:
pushd "%~dp0." && (
    rem // Outer loop through target directories:
    for /D %%J in ("Camera?") do (
        rem // Create temporary file with matching contents of current directory:
        dir /B /A:-D-H-S "%%~J\*.tif" > "%TEMP%\%%~nxJ.log"
        rem // Inner loop through target directories:
        for /D %%I in ("Camera?") do (
            rem // Avoid comparing current directory with itself:
            if /I not "%%~I"=="%%~J" (
                rem /* List these files inside of the directory of the inner loop where no
                rem    respective files inside of the directory of the outer loop are found: */
                for /F "delims= eol=|" %%K in ('
                    dir /B /A:-D-H-S "%%~I\*.tif" ^| findstr /L /I /V /G:"%TEMP%\%%~nxJ.log"
                ') do (
                    rem // Actually delete current file:
                    ECHO del "%%~I\%%K"
                )
            )
        )
        rem // Delete temporary file:
        del "%TEMP%\%%~nxJ.log"
    )
    rem // Return from root directory:
    popd
)
exit /B

关键是目标目录上的两个嵌套循环，以便相互比较，findstr command 用于从一个目录中过滤掉另一个目录中不存在的文件。

测试正确的输出后，删除大写的ECHO 命令！

Answer 4

这个新方法是基于文本文件的，所以它应该比环境变量方法运行得更快。在 12000 行文件（6 次！）中搜索缺失名称的繁重任务由 findstr 命令执行。

这种方法也比较简单，可以匹配3个以上的文件夹。

@echo off
setlocal EnableDelayedExpansion

rem Get a list of directories and create temp files with their contents
set "directories="
for /D %%d in (Camera?) do (
   set "directories=!directories! %%d"
   dir /B "%%d\*.tif" > %%d.txt
)

rem Process the directories "d"
for %%d in (%directories%) do (

   rem Compare this directory "d" vs. the others "D"
   for %%D in (!directories:%%d=!) do (

      rem Remove files in this "d" that not exists in the other "D"
      (for /F %%f in ('findstr /V /G:%%D.txt %%d.txt') do del "%%d\%%f") 2>nul

   )

)

for %%d in (%directories%) do del %%d