将大目录拆分为子目录

Question

我有一个包含大约 250 万个文件的目录，超过 70 GB。

我想把它分成子目录，每个子目录有 1000 个文件。

这是我尝试使用的命令：

i=0; for f in *; do d=dir_$(printf %03d $((i/1000+1))); mkdir -p $d; mv "$f" $d; let i++; done

该命令在小范围内对我有用，但我可以让它在这个目录上运行几个小时，但它似乎什么也没做。

我愿意通过命令行以任何方式执行此操作：perl、python 等。无论以最快的方式完成此操作...

Answer 1

我怀疑如果您检查过，您会注意到您的程序实际上正在移动文件，尽管速度非常慢。启动一个程序是相当昂贵的（至少与进行系统调用相比），并且每个文件要执行三到四次！因此，以下应该更快：

perl -e'
   my $base_dir_qfn = ".";
   my $i = 0;
   my $dir;
   opendir(my $dh, $base_dir_qfn)
      or die("Can'\''t open dir \"$base_dir_qfn\": $!\n");

   while (defined( my $fn = readdir($dh) )) {
      next if $fn =~ /^(?:\.\.?|dir_\d+)\z/;

      my $qfn = "$base_dir_qfn/$fn";

      if ($i % 1000 == 0) {
         $dir_qfn = sprintf("%s/dir_%03d", $base_dir_qfn, int($i/1000)+1);
         mkdir($dir_qfn)
            or die("Can'\''t make directory \"$dir_qfn\": $!\n");
      }

      rename($qfn, "$dir_qfn/$fn")
         or do {
            warn("Can'\''t move \"$qfn\" into \"$dir_qfn\": $!\n");
            next;
         };

      ++$i;
   }
'

Answer 2

如果目录没有被使用，我建议如下

find . -maxdepth 1 -type f | split -l 1000 -d -a 5 

这将创建 n 个名为 x00000 - x02500 的文件（只是为了确保 5 位数字，尽管 4 位也可以）。然后，您可以将每个文件中列出的 1000 个文件移动到相应的目录中。

也许set -o noclobber 以消除在名称冲突的情况下被覆盖的风险。

要移动文件，使用大括号扩展来遍历文件名会更容易

for c in x{00000..02500}; 
do d="d$c"; 
   mkdir $d; 
   cat $c | xargs -I f mv f $d; 
done 

Answer 3

我会在命令行中使用以下内容：

find . -maxdepth 1 -type f |split -l 1000
for i in `ls x*`
do 
   mkdir dir$i
   mv `cat $i` dir$i& 2>/dev/null
done

关键是“&”，它穿出每个 mv 语句。

感谢 karakfa 的拆分想法。

Answer 4

注意：ikegami's helpful Perl-based answer 是可行的方法 - 它在一个单个 进程中执行整个操作，因此比下面的 Bash + 标准实用程序解决方案快得多.

---

基于bash 的解决方案需要避免调用外部实用程序的循环才能合理执行。
您自己的解决方案调用两个外部实用程序 em> 并在每次循环迭代中创建一个 subshel​​l，这意味着您最终将总共创建大约 750 万个进程（！）。

以下解决方案避免了循环，但是，考虑到输入文件的绝对数量，仍然需要相当长的时间才能完成（您最终将为每 1000 个输入文件创建 4 个进程，即总共大约 10,000 个进程):

printf '%s\0' * | xargs -0 -n 1000 bash -O nullglob -c '
  dirs=( dir_*/ )
  dir=dir_$(printf %04s $(( 1 + ${#dirs[@]} )))
  mkdir "$dir"; mv "$@" "$dir"' -

• printf '%s\0' * 打印目录中所有文件的 NUL 分隔列表。
  • 请注意，由于printf 是 Bash 内置 而不是外部实用程序，因此最大。 getconf ARG_MAX 报告的命令行长度不适用。

• xargs -0 -n 1000 调用具有 1000 个输入文件名块的指定命令。

  • 请注意，xargs -0 是非标准的，但在 Linux 和 BSD/OSX 上均受支持。
  • 使用 NUL 分隔的输入可以稳健地传递文件名，而不必担心无意中将它们拆分为多个部分，甚至可以使用嵌入了 换行符 的文件名（尽管这样的文件名非常少见）。

• bash -O nullglob -c 打开选项nullglob 执行指定的命令字符串，这意味着不匹配任何内容的通配模式将扩展为空字符串。

  • 命令字符串统计到目前为止创建的输出目录，以确定下一个更高索引的下一个输出目录的名称，创建下一个输出目录，并将当前批次（最多）1000个文件移动到那里.

Answer 5

这可能比 Perl 程序慢（10.000 个文件需要 1 分钟），但它应该适用于任何 POSIX 兼容的 shell。

#! /bin/sh
nd=0
nf=0
/bin/ls | \
while read file;
do
  case $(expr $nf % 10) in
  0)
    nd=$(/usr/bin/expr $nd + 1)
    dir=$(printf "dir_%04d" $nd)
    mkdir $dir
    ;;
  esac
  mv "$file" "$dir/$file"
  nf=$(/usr/bin/expr $nf + 1)

完成

使用 bash，您可以使用算术扩展 $((...))。

当然，这个想法可以通过使用 xargs 来改进 - 对于 250 万个文件，花费的时间不应超过 ~ 45 秒。

nd=0
ls | xargs -L 1000 echo | \
while read cmd;
do
  nd=$((nd+1))
  dir=$(printf "dir_%04d" $nd)
  mkdir $dir
  mv $cmd $dir
done