从文件名列表中查找路径的有效方法

Question

从存储在文件f 中的文件名列表中，找到dir 下每个文件名的相对路径并将这个新列表输出到文件p 的最佳方法是什么？我目前正在使用以下内容：

while read name
do
    find dir -type f -name "$name" >> p
done < f

对于大型列表或大型目录树来说太慢了。

编辑：一些数字：

• dir下的目录数：1870
• dir下的文件数：80622
• f 中的文件名数：73487

f 中列出的所有文件确实存在于dir 下。

Answer 1

以下 Python 代码可以解决问题。关键是运行一次 find 并将输出存储在 hashmap 中，以提供从 file_name 获取文件名路径列表的 O(1) 方式。

#!/usr/bin/env python
import os

file_names = open("f").readlines()
file_paths = os.popen("find . -type f").readlines()
file_names_to_paths = {}
for file_path in file_paths:
    file_name = os.popen("basename "+file_path).read()
    if file_name not in file_names_to_paths:
        file_names_to_paths[file_name] = [file_path]
    else:
        file_names_to_paths[file_name].append(file_path) # duplicate file

out_file = open("p", "w")
for file_name in file_names:
    if file_names_to_paths.has_key(file_name):
        for path in file_names_to_paths[file_name]:
            out_file.write(path)

Answer 2

试试这个 perl 单行代码

perl -e '%H=map{chomp;$_=>1}<>;sub R{my($p)=@_;map R($_),<$p/*> if -d$p;($b=$p)=~s|.*/||;print"$p\n" if$H{$b}}R"."' f

1- 创建一个以文件名为键的哈希图：%H=map{chomp;$_=>1}

2- 定义一个递归子程序来遍历目录：sub R{}

2.1- 递归调用目录：map R($_), if -d$p

2.2- 从路径中提取文件名：($b=$p)=~s|.*/||

2.3- 如果 hashmap 包含文件名则打印： print"$p\n" if$H{$b}

3- 使用路径当前目录调用 R：R"."

编辑：遍历隐藏目录 (.*)

perl -e '%H=map{chomp;$_=>1}<>;sub R{my($p)=@_;map R($_),grep !m|/\.\.?$|,<$p/.* $p/*> if -d$p;($b=$p)=~s|.*/||;print"$p\n" if$H{$b}}R"."' f

Answer 3

我认为这应该可以解决问题：

xargs locate -b < f | grep ^dir > p

编辑：我想不出一个简单的方法来为文件名列表添加前缀dir/*/，否则你可以直接将它传递给xargs locate。

Answer 4

根据目录树的百分比被认为是匹配的，找到每个文件可能会更快，然后用grep找出匹配的文件：

find "$dir" -type f | grep -f <( sed 's+\(.*\)+/\1$+' "$f" )

sed 命令将您的文件名列表预处理为仅匹配路径末尾的全名的正则表达式。

Answer 5

这是使用 bash 和 grep 的替代方法

#!/bin/bash

flist(){
for x in "$1"/*; do #*/ for markup
[ -d "$x" ] && flist $x || echo "$x"
done
}

dir=/etc #the directory you are searching
list=$(< myfiles) #the file with file names

#format the list for grep
list="/${list//
/\$\|/}"

flist "$dir" | grep "$list"

...如果您需要完整的 posix shell 合规性（busybox ash、hush 等...）将 $list 子字符串操作替换为 chepner 的 sed 的变体，并将 $(