使用 (scp | rsync) 在创建文件夹结构的同时提取特定文件？

Question

我有一个托管在服务器上的大型项目，其中包含我想要复制到本地计算机的相同文件夹结构中的特定文件，但只有我想要的特定文件。我当前查找这些文件的命令是（在服务器上的项目中）：

find ./ -type f -name '*_out.csv' ! -path './*/doc/*' 2>/dev/null

生成这样的列表（为简洁起见被截断）：

./validation/Riso_AN8/analysis/Riso_AN8_out.csv
./validation/FUMEXII_Regate/analysis/Regate_smeared_out.csv
./validation/FUMEXII_Regate/analysis/Regate_discrete_out.csv
./validation/IFA_432/analysis/rod3/IFA_432_rod3_out.csv
./validation/IFA_432/analysis/rod1/IFA_432_rod1_out.csv
./validation/IFA_432/analysis/rod2/IFA_432_rod2_out.csv
./validation/LOCA_REBEKA_cladding_burst_tests/analysis/rebeka_2d_06MPa/rebeka_singlerod_2d_06MPa_out.csv
./validation/LOCA_REBEKA_cladding_burst_tests/analysis/rebeka_2d_06MPa/rebeka_singlerod_2d_06MPa_tm_out.csv
./validation/LOCA_REBEKA_cladding_burst_tests/analysis/rebeka_2d_08MPa/rebeka_singlerod_2d_08MPa_tm_out.csv

我想使用scp 或rsync 将这些文件拉到我的本地计算机并创建文件夹结构，其中不包含任何其他内容。解决此问题的最佳方法是什么？我有 吨 的文件，所以我真的不想事先创建文件夹结构。我也无法从服务器中提取整个项目，因为它很大，系统管理员会生我的气。

有没有办法拉取这些文件，同时在我的本地机器上创建文件夹结构？

Answer 1

我认为您可以使用rsync 的--exclude 和--include 选项来做到这一点。

rsync --recursive --include '*_out.csv' --exclude '*/doc/*' server:path/to/remote/dir path/to/local/dir

Answer 2

我会鼓励rsync，我可能会通过ssh 调用find，使用basedir 从进程替换中提取文件。然后，您可以提供while 循环以读取在服务器上找到的每个文件名，获取路径并使用mkdir -p 在当前目录下的本地计算机上创建路径（带有验证）。然后您可以调用rsync 以使用rsync -uav 将文件从服务器拉到正确的目录。例如，您可以执行类似的操作：

#!/bin/bash

server=${1:-yourserver}       ## your server name
basedir=${2:-/path/to/files}  ## the base directory to run find on server

while read -r line; do        ## read line at a time from find output on server
    dname="${line%/*}"        ## separate directory name
    mkdir -p "$dname" || {    ## create/validate directory from remote file
        printf "error: unable to create '%s'.\n", "$dname" >&2
        continue
    }
    rsync -uav "$server:$line" "$dname" ## rsync file to correct directory
done < <(ssh "$server" "find $basedir -type f -name '*_out.csv' ! -path './*/doc/*' 2>/dev/null")

然后只需调用本地机器上的脚本，提供服务器名称作为第一个参数和文件在服务器上的基本目录。确保将本地计算机上的目录更改为要在其下创建远程目录结构的目录。这假定您的 find 调用（由本地计算机上的 ssh 在服务器上执行）返回您希望复制到本地计算机的文件列表。

这并不像单个 rsync 调用那样有效，但是如果您的 find 命令在远程目录树下生成分支，这些分支在文件名之前具有多级目录，否则不会在本地创建机器，您必须手动确保在远程文件上调用 rsync 之前创建这些路径。