不区分大小写的搜索和替换为 sed

Question

我正在尝试使用 SED 从日志文件中提取文本。我可以毫不费力地进行搜索和替换：

sed 's/foo/bar/' mylog.txt

但是，我想让搜索不区分大小写。从我用谷歌搜索的内容来看，似乎将i 附加到命令的末尾应该可以工作：

sed 's/foo/bar/i' mylog.txt

但是，这给了我一条错误消息：

sed: 1: "s/foo/bar/i": bad flag in substitute command: 'i'

这里出了什么问题，我该如何解决？

Answer 1

使用以下替换所有匹配项：

sed 's/foo/bar/gI' mylog.txt

Answer 2

sed FAQ 处理密切相关的不区分大小写的搜索。它指出 a) 许多版本的 sed 都支持它的标志 b) 在 sed 中这样做很尴尬，您应该使用 awk 或 Perl。

但是要在POSIX sed 中执行此操作，他们建议了三个选项（此处适用于替换）：

1. 转换为大写并将原始行存储在保持空间中；但是，这不适用于替换，因为原始内容将在打印之前恢复，因此它仅适用于基于不区分大小写的匹配插入或添加行。

2. 可能的可能性仅限于FOO、Foo 和foo。这些可以通过

    s/FOO/bar/;s/[Ff]oo/bar/
   

3. 要搜索所有可能的匹配项，可以对每个字符使用括号表达式：

    s/[Ff][Oo][Oo]/bar/
   

Answer 3

更新：从 ma​​cOS Big Sur (11.0) 开始，sed 现在是否支持 I 标志不区分大小写的匹配，因此问题中的命令现在应该可以工作（BSD sed 不报告其版本，但您可以按man 页面底部的日期，这应该是March 27, 2017 或更新）；一个简单的例子：

# BSD sed on macOS Big Sur and above (and GNU sed, the default on Linux)
$ sed 's/ö/@/I' <<<'FÖO'
F@O   # `I` matched the uppercase Ö correctly against its lowercase counterpart

^{注意：I（大写）是标志的记录形式，但i 也可以。}

同样，从 ma​​cOS Big Sur (11.0) awk 现在 支持区域设置（awk --version 应该报告 @987654336 @ 或更新）：

# BSD awk on macOS Big Sur and above (and GNU awk, the default on Linux)
$ awk 'tolower($0)' <<<'FÖO'
föo  # non-ASCII character Ö was properly lowercased

---

以下内容适用于 ma​​cOSCatalina (10.15)：

明确一点：在 macOS 上，sed - 这是 BSD 实现 - 不支持不区分大小写的匹配 - 难以置信，但确实如此。 formerly accepted answer 本身显示了一个 GNU sed 命令，由于 cmets 中提到的基于 perl 的解决方案而获得了该状态。

要使 Perl 解决方案 也可以通过 UTF-8 处理 外来字符，请使用类似以下内容：

perl -C -Mutf8 -pe 's/öœ/oo/i' <<< "FÖŒ" # -> "Foo"

• -C 开启对流和文件的 UTF-8 支持，假设当前语言环境是基于 UTF-8 的。
• -Mutf8 告诉 Perl 将 源代码 解释为 UTF-8（在这种情况下，字符串传递给 -pe） - 这是更冗长的 -e 'use utf8;'. ^{的较短等价物谢谢，Mark Reed}

（请注意，使用 awk 也不是一个选项，就像 macOS 上的 awk（即，BWK awk 和 BSD awk) 似乎完全不知道语言环境 - 它的 tolower() 和 toupper() 函数忽略外来字符（并且 sub() / gsub() 没有以不区分大小写的标志开头）。）

---

关于sed 和awk 与 POSIX 标准的关系的注释：

BSD sed 和 awk 将它们的功能大部分限制在 POSIX sed 和 POSIX awk 规范要求，而他们的 GNU 同行实现了更多的扩展。

Answer 4

^{编者注：此解决方案不适用于 macOS（开箱即用），因为它仅适用于 GNU sed，而 macOS BSD 自带sed.}

将“I”大写。

sed 's/foo/bar/I' file

Answer 5

如果您先进行模式匹配，例如，

/pattern/s/xx/yy/g

那么你想把I放在模式之后：

/pattern/Is/xx/yy/g

例子：

echo Fred | sed '/fred/Is//willma/g'

返回willma；如果没有I，它会返回未触及的字符串（Fred）。

Answer 6

我也有类似的需求，想出了这个：

这个命令可以简单地查找所有文件：

grep -i -l -r foo ./* 

this 排除 this_shell.sh（如果您将命令放在名为 this_shell.sh 的脚本中），将输出发送到控制台以查看发生了什么，然后对每个使用 sed找到用 bar 替换文本 foo 的文件名：

grep -i -l -r --exclude "this_shell.sh" foo ./* | tee  /dev/fd/2 | while read -r x; do sed -b -i 's/foo/bar/gi' "$x"; done 

我选择了这种方法，因为我不喜欢为未修改的文件更改所有时间戳。输入 grep 结果只允许查看带有目标文本的文件（因此也可能会提高性能/速度）

请务必在使用前备份您的文件并进行测试。对于带有嵌入空格的文件，在某些环境中可能不起作用。 (?)

Answer 7

sed 在 Mac OS X 上的另一个解决方法是从 MacPorts 或 HomeBrew 安装 gsed，然后创建别名 sed='gsed'。

Answer 8

sed 的 Mac 版本似乎有点受限。解决此问题的一种方法是使用具有sed 可用版本的 linux 容器（通过 Docker）：

cat your_file.txt | docker run -i busybox /bin/sed -r 's/[0-9]{4}/****/Ig'