如何使用 sed/awk 或其他工具辅助查找和替换 12GB 的颠覆转储文件答案

【问题标题】：How can use sed/awk or other tool to assist in search and replace of 12GB subversion dump file如何使用 sed/awk 或其他工具辅助查找和替换 12GB 的颠覆转储文件
【发布时间】：2010-08-23 13:07:11
【问题描述】：

我遇到了一种特殊情况，我需要删除 Subversion 存储库中一系列提交的操作。 (/trunk /tags /branches) 的全部内容都被标记并在发现错误时随后被删除。我会简单地使用 svndumpfilter 删除有问题的节点，但有人在稍后重新使用了错误的标签名称，因此基于路径的排除会导致其他问题。我需要手动编辑 12GB 的转储文件。我需要编辑一系列 15 个连续修订，它们以下列格式显示在转储中：

Revision-number: 60338
Prop-content-length: 143
Content-length: 143

K 7
svn:log
V 41
Tagging test prior to creating xx branch
K 10
svn:author
V 7
userx
K 8
svn:date
V 27
2009-05-27T15:01:31.812916Z
PROPS-END

Node-path: test/tags/XX_8_0_FINAL
Node-kind: dir
Node-action: add
Node-copyfrom-rev: 60337
Node-copyfrom-path: test

根据我所做的测试，我知道我需要将以上部分更改为以下部分

Revision-number: 60338
Prop-content-length: 112
Content-length: 112

K 7
svn:log
V 38
This is an empty revision for padding.
K 8
svn:date
V 27
2009-05-27T15:01:31.812916Z
PROPS-END

还有 14 个修订版需要进行相同的替换。尝试在 VIM 中手动编辑文件是非常不切实际的。转储文件是二进制和 ascii 文本的混合体。如果有人有任何可以帮助我的 awk/sed 魔法，我将不胜感激。

【问题讨论】：

标签： svn sed awk svndumpfilter

【解决方案1】：

首先要注意一点：sed 和 awk 设计用于处理纯文本文件。如果您的文件是二进制文件和 ascii 的混合文件，那么我不确定以下内容是否可行（我个人会使用 Perl）。

我假设“修订号：60338”是您想要用作触发器的东西（如果它出现在二进制文件中，天堂会帮助您）。将修改后的部分（“...这是一个空的修改...”）放在一个单独的文件中，例如，newsection。那么：

sed -e '/^Revision-number: 60338$/r newsection' -e '/^Revision-number: 60338$/,/^Node-copyfrom-path: test$/d' bigfilename

【讨论】：

【解决方案2】：

SvnDumpTool 怎么样？您也许可以将最初的“好”部分与增量转储的编辑部分结合起来。

【讨论】：

【解决方案3】：

我最终使用了以下步骤：

cat dump.file | grep -C 250 "Revision-number: xxxxx"

这给了我节点操作文件中“坏”提交的确切行号。然后我使用 sed 删除每个提交的节点操作范围（按行号），如下所示：

sed -e "123,456d" -e "234,456d"

事实证明这非常快。对于那些好奇的人，我需要完全删除这些的原因是因为我们的存储库扫描器（Atlassian Fisheye）需要数天时间来索引错误的提交。我使用的排除规则应该已经解决了这个问题，但结果我发现了一个排除规则的错误，该错误将在下一个 Fisheye 版本中修复。看： http://jira.atlassian.com/browse/FE-2752

【讨论】：

【解决方案4】：

这些提交是否包含机密材料或删除它们的原因是什么？为什么不让他们在存储库中删除标签/分支，仅此而已。编辑：监督您已经删除了标签/分支...

【讨论】：