rsync 排除根据 .gitignore & .hgignore & svn:ignore like --filter=:C

Question

Rsync 包含一个漂亮的选项--cvs-exclude 以“以与 CVS 相同的方式忽略文件”，但 CVS 已过时多年。有没有办法让它也排除现代版本控制系统（Git、Mercurial、Subversion）会忽略的文件？

例如，我有很多从 GitHub 签出的 Maven 项目。通常它们包括一个.gitignore 至少列出target，默认的Maven 构建目录（可能存在于顶层或子模块中）。由于这些目录的内容完全是一次性的，而且它们可能比源代码大得多，所以我想在使用 rsync 进行备份时将它们排除在外。

当然我可以明确地--exclude=target/ 但这会意外地抑制不相关的目录，这些目录恰好被命名为target 并且不应该被忽略。

我可以为我磁盘上的任何.gitignore、.hgignore 或svn:ignore 属性中提到的所有文件名和模式提供绝对路径的完整列表，但这将是一个巨大的列表，必须由某种脚本产生。

由于 rsync 除了 CVS 之外没有对 VCS 检出的内置支持，有没有什么好的技巧可以给它提供忽略模式？或者某种回调系统，可以询问用户脚本是否应该包含给定的文件/目录？

更新：LordJavac 建议的 --filter=':- .gitignore' 似乎对 Git 和 --filter=:C 对 CVS 一样有效，至少在我找到的示例中，尽管不清楚语法是否是完全匹配的。 --filter=':- .hgignore' 不适用于 Mercurial；例如.hgignore 包含类似 ^target$ 的行（Git /target/ 的 Mercurial 等效项）不会被 rsync 识别为正则表达式。 Subversion 似乎没有任何效果，您必须解析 .svn/dir-prop-base 以获得 1.6 或更早版本的工作副本，并沮丧地举手获得 1.7 或更高版本的工作副本。

Answer 1

正如 luksan 所说，您可以通过将 --filter 切换到 rsync 来执行此操作。我通过--filter=':- .gitignore'（“.gitignore”之前有一个空格）实现了这一点，它告诉rsync 与.gitignore 文件进行目录合并，并根据git 的规则将它们排除在外。如果有的话，您可能还想添加全局忽略文件。为了使其更易于使用，我为 rsync 创建了一个别名，其中包含过滤器。

Answer 2

经过数小时的研究，我找到了我真正需要的东西：将目标文件夹与源文件夹同步（如果它们在源中被删除，也会删除目标中的文件），而不是将文件复制到目标.gitignore 忽略的那些，但也不要删除目标中的这些文件：

rsync -vhra /source/project/ /destination/project/ --include='**.gitignore' --exclude='/.git' --filter=':- .gitignore' --delete-after

换句话说，这个命令完全忽略来自 .gitignore 的文件，无论是源文件还是目标文件。 如果还想复制.git 文件夹，可以省略--exclude='/.git' 部分。

您必须从源中复制 .gitignore 文件。如果您将使用 LordJavac 的命令，.gitignore 将不会被复制。 如果您在目标文件夹中创建一个文件，.gitignore 应该忽略该文件，尽管.gitignore，该文件仍将被删除。 这是因为目标中没有.gitignore-files。 但是如果你会有这些文件，.gitignore中描述的文件不会被删除，它们会被忽略，只是意料之中的。

Answer 3

您可以使用git ls-files 构建存储库的.gitignore 文件排除的文件列表。 https://git-scm.com/docs/git-ls-files

选项：

• --exclude-standard 考虑所有 .gitignore 文件。
• -o 不要忽略未分级的更改。
• -i 只输出被忽略的文件。
• --directory 忽略整个目录，只输出目录路径。

我唯一可以忽略的是.git。

rsync -azP --exclude=.git --exclude=`git -C <SRC> ls-files --exclude-standard -oi --directory` <SRC> <DEST>

Answer 4

rsync --exclude-from='path/.gitignore' --exclude-from='path/myignore.txt' source destination怎么样？
它对我有用。
相信你也可以拥有更多--exclude-from参数。

Answer 5

2018年解决方案confirmed

rsync -ah --delete 
    --include .git --exclude-from="$(git -C SRC ls-files \
        --exclude-standard -oi --directory >.git/ignores.tmp && \
        echo .git/ignores.tmp')" \
    SRC DST 

详细信息：--exclude-from 是强制性的，而不是 --exclude，因为排除列表的可能情况不会被解析为参数。从需要文件中排除并且不能使用管道。

当前解决方案将排除文件保存在 .git 文件夹中，以确保它不会影响git status，同时保持其独立性。如果你愿意，欢迎使用 /tmp。

Answer 6

对于mercurial，您可以使用

hg status -i | sed 's/^I //' > /tmp/tmpfile.txt

收集由于 .hgignore 限制而不受可变控制的文件列表 然后运行

rsync -avm --exclude-from=/tmp/tmpfile.txt --delete source_dir/ target_dir/

rsync 除了被忽略的文件之外的所有文件。 注意 rsync 中的 -m 标志，它将从同步中排除空目录，因为 hg status -i 只会列出排除的文件，而不是目录

Answer 7

试试这个：

rsync -azP --delete --filter=":- .gitignore" <SRC> <DEST>

它可以将所有文件复制到远程目录，不包括'.gitignore'中的文件，并删除不在当前目录中的文件。

Answer 8

我有许多非常大的 .gitignore 文件，但没有一个“纯 rsync”解决方案适合我。我写了这个rsync wrapper script，它完全尊重.gitignore 规则（包括! 样式的异常和.gitignore 子目录中的文件）并且对我来说就像一个魅力。

Answer 9

查看 rsync(1) 中的 MERGE-FILES FILTER RULES 部分。

看起来可以创建一个 rsync --filter 规则，该规则将包含 .gitignore 文件作为遍历目录结构。

Answer 10

根据 rsync 手册页，除了文件模式的标准列表：

$HOME/.cvsignore 中列出的文件被添加到列表中，CVSIGNORE 环境变量中列出的所有文件

所以，我的 $HOME/.cvsignore 文件如下所示：

.git/
.sass-cache/

排除.git和Sass生成的文件。

Answer 11

替代方案：

git ls-files -zi --exclude-standard |rsync -0 --exclude-from=- ...

git ls-files -zi --exclude-per-directory=".gitignore" |...

（rsync 只能部分理解.gitignore）

Answer 12

您可以使用git ls-files 来选择每个要rsync 的文件，而不是创建排除过滤器：

#!/usr/bin/env bash

if [[ ! $# -eq 2 ]] ; then
    echo "Usage: $(basename $0) <local source> <rsync destination>"
    exit 1
fi

cd $1
versioned=$(git ls-files --exclude-standard)
rsync --verbose --links --times --relative --protect-args ${versioned} $2

即使git ls-files 返回换行分隔的路径，这仍然有效。如果您的文件名中有空格，则可能无法使用。

Answer 13

简答

rsync -r --info=progress2 --filter=':- .gitignore' SOURCE DEST/

参数含义：

-r: 递归

--info=...：显示进度

--filter=...: 按 .gitignore 文件中列出的规则排除