将 txt 中的字符串与 bash 或 python 忽略模式进行比较

Question

我想在 txt 文件中搜索不包括 [p] 的重复行和比较中的扩展名。一旦确定了相等的行，只显示不包含 [p] 的行及其扩展名。我在 test.txt 中有这行：

Peliculas/Desperados (2020)[p].mp4
Peliculas/La Duquesa (2008)[p].mp4
Peliculas/Nueva York Año 2012 (1975).mkv
Peliculas/Acoso en la noche (1980) .mkv
Peliculas/Angustia a Flor de Piel (1982).mkv
Peliculas/Desperados (2020).mkv
Peliculas/Angustia (1947).mkv
Peliculas/Días de radio (1987) BR1080[p].mp4
Peliculas/Mona Lisa (1986) BR1080[p].mp4
Peliculas/La decente (1970) FlixOle WEB-DL 1080p [Buzz][p].mp4
Peliculas/Mona Lisa (1986) BR1080.mkv

在这个文件中，第 1-6 行和第 9-11 行是相同的（没有 ext 和 [p]）。需要输出：

Peliculas/Desperados (2020).mkv
Peliculas/Mona Lisa (1986) BR1080.mkv

我试试这个，但只显示删除扩展名和模式 [p] 的相同行，但我不知道正确的行，我需要整行完成

sed 's/\[p\]//' ./test.txt | sed 's\.[^.]*$//' | sort | uniq -d

错误输出（缺少扩展名）：

Peliculas/Desperados (2020)
Peliculas/Mona Lisa (1986) BR1080

Answer 1

因为你提到了 bash...

删除任何带有p 的行：

cat test.txt | grep -v p                     
home/folder/house from earth.mkv
home/folder3/window 1.avi

删除任何带有[p]的行：

cat test.txt | grep -v '\[p\]'
home/folder/house from earth.mkv
home/folder3/window 1.avi
home/folder4/little mouse.mpg

不太可能是您的需要，只是因为：从每一行中删除 [p]，然后进行重复数据删除：

cat test.txt | sed 's/\[p\]//g' | sort | uniq
home/folder/house from earth.mkv
home/folder/house from earth.mp4
home/folder2/test.mp4
home/folder3/window 1.avi
home/folder3/window 1.mp4
home/folder4/little mouse.mpg 

Answer 2

在 Python 中，您可以将 itertools.groupby 与一个函数一起使用，该函数生成一个由文件名组成的密钥，不带任何 [p] 并删除扩展名。

对于任何大小为 2 或更大的组，将打印任何不包含 '[p]' 的文件名。

import itertools
import re

def make_key(line):
    return re.sub(r'\.[^.]*$', '', line.replace('[p]', ''))

with open('test.txt') as f:
    lines = [line.strip() for line in f]

for key, group in itertools.groupby(lines, make_key):
    files = [file for file in group]
    if len(files) > 1:
        for file in files:
            if '[p]' not in file:
                print(file)

这给出了：

home/folder/house from earth.mkv
home/folder3/window 1.avi

Answer 3

如果 2-pass 解决方案（读取 test.txt 文件两次）是可以接受的，请尝试一下：

declare -A ary                          # associate the filename with the base
while IFS= read -r file; do
    if [[ $file != *\[p\]* ]]; then     # the filename does not include "[p]"
        base="${file%.*}"               # remove the extension
        ary[$base]="$file"              # create a map
    fi
done < test.txt

while IFS= read -r base; do
    echo "${ary[$base]}"
done < <(sed 's/\[p\]//' ./test.txt | sed 's/\.[^.]*$//' | sort | uniq -d)

输出：

Peliculas/Desperados (2020).mkv
Peliculas/Mona Lisa (1986) BR1080.mkv

• 在第一遍中，它逐行读取文件以创建将文件名（带扩展名）与基本文件名（不带扩展名）相关联的映射。
• 在第二遍中，它将输出（基础）替换为文件名。

如果您更喜欢 1-pass 解决方案（会更快），请尝试：

declare -A ary                  # associate the filename with the base
declare -A count                # count the occurrences of the base
while IFS= read -r file; do
    base="${file%.*}"           # remove the extension
    if [[ $base =~ (.*)\[p\](.*) ]]; then
                                # "$base" contains the substring "[p]"
        (( count[${BASH_REMATCH[1]}${BASH_REMATCH[2]}]++ ))
                                # increment the counter
    else
        (( count[$base]++ ))    # increment the counter
        ary[$base]="$file"      # map the filename
    fi
done < test.txt

for base in "${!ary[@]}"; do    # loop over the keys of ${ary[@]}
    if (( count[$base] > 1 )); then
                                # it duplicates
        echo "${ary[$base]}"
    fi
done