从 Grep RegEx 中捕获组

Question

我在sh (Mac OSX 10.6) 中有这个小脚本来查看文件数组。 Google 目前已停止提供帮助：

files="*.jpg"
for f in $files
    do
        echo $f | grep -oEi '[0-9]+_([a-z]+)_[0-9a-z]*'
        name=$?
        echo $name
    done

到目前为止（显然，对你来说，shell 专家）$name 仅包含 0、1 或 2，这取决于 grep 是否发现文件名与提供的内容匹配。 我想要捕获括号内的内容 ([a-z]+) 并将其存储到变量中。

如果可能，我希望只使用grep。如果没有，请不要使用 Python 或 Perl 等。sed 或类似的东西 - 我是 shell 新手，想从 *nix 纯粹主义者的角度来攻击它。

另外，作为一个超酷的奖励，我很好奇如何在 shell 中连接字符串？我捕获的组是存储在$name中的字符串“somename”，我想在它的末尾添加字符串“.jpg”，我可以cat $name '.jpg'吗？

如果你有时间，请解释一下发生了什么。

Answer 1

我相信只用 grep 是不可能的

对于 sed：

name=`echo $f | sed -E 's/([0-9]+_([a-z]+)_[0-9a-z]*)|.*/\2/'`

不过，我会尝试一下奖金：

echo "$name.jpg"

Answer 2

给您的建议 - 您可以使用参数扩展来删除从最后一个下划线开始的名称部分，并且在开头类似：

f=001_abc_0za.jpg
work=${f%_*}
name=${work#*_}

那么name 的值将是abc。

请参阅 Apple developer docs，向前搜索“参数扩展”。

Answer 3

这对于纯 grep 来说是不可能的，至少一般情况下是不可能的。

但如果您的模式合适，您可以在管道中多次使用grep，首先将您的行缩减为已知格式，然后仅提取您想要的位。 （尽管像cut 和sed 这样的工具在这方面要好得多）。

假设您的模式更简单一点：[0-9]+_([a-z]+)_ 您可以这样提取：

echo $name | grep -Ei '[0-9]+_[a-z]+_' | grep -oEi '[a-z]+'

第一个grep 将删除与您的整体模式不匹配的所有行，第二个grep（指定--only-matching）将显示名称的字母部分。这只适用于模式是合适的：“alpha 部分”足够具体，可以提取出您想要的内容。

（旁白：我个人会使用grep + cut 来实现您的目标：echo $name | grep {pattern} | cut -d _ -f 2。这让cut 通过在分隔符_ 上拆分来将行解析为字段，并且仅返回字段 2（字段编号从 1 开始）。

Unix 哲学是拥有做一件事的工具，并且把它做好，并将它们结合起来完成不平凡的任务，所以我认为grep + sed 等是一种更 Unixy 的做事方式事情:-)

Answer 4

如果您使用 Bash，您甚至不必使用 grep：

files="*.jpg"
regex="[0-9]+_([a-z]+)_[0-9a-z]*"
for f in $files    # unquoted in order to allow the glob to expand
do
    if [[ $f =~ $regex ]]
    then
        name="${BASH_REMATCH[1]}"
        echo "${name}.jpg"    # concatenate strings
        name="${name}.jpg"    # same thing stored in a variable
    else
        echo "$f doesn't match" >&2 # this could get noisy if there are a lot of non-matching files
    fi
done

最好将正则表达式放在变量中。如果按字面意思包含，某些模式将不起作用。

这使用=~ 这是 Bash 的正则表达式匹配运算符。匹配结果保存到名为$BASH_REMATCH 的数组中。第一个捕获组存储在索引 1 中，第二个（如果有）存储在索引 2 中，依此类推。索引 0 是完全匹配。

您应该知道，如果没有锚，此正则表达式（以及使用 grep 的正则表达式）将匹配以下任何示例以及更多示例，这可能不是您想要的：

123_abc_d4e5
xyz123_abc_d4e5
123_abc_d4e5.xyz
xyz123_abc_d4e5.xyz

要消除第二个和第四个示例，请使您的正则表达式如下：

^[0-9]+_([a-z]+)_[0-9a-z]*

表示字符串必须以一位或多位数字开始。克拉代表字符串的开头。如果您在正则表达式的末尾添加一个美元符号，如下所示：

^[0-9]+_([a-z]+)_[0-9a-z]*$

那么第三个示例也将被删除，因为点不在正则表达式中的字符之间，而美元符号表示字符串的结尾。请注意，第四个示例也使匹配失败。

如果你有 GNU grep（我想，大约是 2.5 或更高版本，当添加了 \K 运算符时）：

name=$(echo "$f" | grep -Po '(?i)[0-9]+_\K[a-z]+(?=_[0-9a-z]*)').jpg

\K 运算符（可变长度后视）导致前面的模式匹配，但不包括结果中的匹配。等价的固定长度是 (?<=) - 该模式将包含在右括号之前。如果量词可能匹配不同长度的字符串（例如+、*、{2,4}），则必须使用\K。

(?=) 运算符匹配固定或可变长度的模式，称为“前瞻”。它也不在结果中包含匹配的字符串。

为了使匹配不区分大小写，使用了(?i) 运算符。它会影响跟随它的模式，因此它的位置很重要。

可能需要根据文件名中是否有其他字符来调整正则表达式。您会注意到，在这种情况下，我展示了一个在捕获子字符串的同时连接字符串的示例。

Answer 5

如果你有 bash，你可以使用扩展通配符

shopt -s extglob
shopt -s nullglob
shopt -s nocaseglob
for file in +([0-9])_+([a-z])_+([a-z0-9]).jpg
do
   IFS="_"
   set -- $file
   echo "This is your captured output : $2"
done

或

ls +([0-9])_+([a-z])_+([a-z0-9]).jpg | while read file
do
   IFS="_"
   set -- $file
   echo "This is your captured output : $2"
done

Answer 6

这是一个使用 gawk 的解决方案。这是我发现我需要经常使用的东西，所以我为它创建了一个函数

function regex1 { gawk 'match($0,/'$1'/, ary) {print ary['${2:-'1'}']}'; }

使用只是做

$ echo 'hello world' | regex1 'hello\s(.*)'
world

Answer 7

我意识到这个答案已经被接受，但从“严格 *nix 纯粹主义者的角度”看来，适合这项工作的工具是 pcregrep，这似乎不是尚未提及。换行试试：

    echo $f | grep -oEi '[0-9]+_([a-z]+)_[0-9a-z]*'
    name=$?

到以下：

    name=$(echo $f | pcregrep -o1 -Ei '[0-9]+_([a-z]+)_[0-9a-z]*')

只获取捕获组1的内容。

pcregrep 工具利用了您已在 grep 中使用的所有相同语法，但实现了您需要的功能。

-o 参数的工作方式与grep 版本相同，但它也接受pcregrep 中的数字参数，表示您要显示哪个捕获组。

使用此解决方案，脚本所需的更改最少。您只需用另一种模块化实用程序替换一个模块化实用程序并调整参数。

有趣的注意事项：您可以使用多个 -o 参数来返回多个捕获组，按照它们在行上出现的顺序。

Answer 8

我更喜欢python 或perl 这一行命令，它们通常都包含在主要的Linux 发行版中

echo $'
<a href="http://stackoverflow.com">
</a>
<a href="http://google.com">
</a>
' |  python -c $'
import re
import sys
for i in sys.stdin:
  g=re.match(r\'.*href="(.*)"\',i);
  if g is not None:
    print g.group(1)
'

以及处理文件：

ls *.txt | python -c $'
import sys
import re
for i in sys.stdin:
  i=i.strip()
  f=open(i,"r")
  for j in f:
    g=re.match(r\'.*href="(.*)"\',j);
    if g is not None:
      print g.group(1)
  f.close()
'

Answer 9

str="1w 2d 1h"
regex="([0-9])w ([0-9])d ([0-9])h"
if [[ $str =~ $regex ]]
then
    week="${BASH_REMATCH[1]}"
    day="${BASH_REMATCH[2]}"
    hour="${BASH_REMATCH[3]}"
    echo $week --- $day ---- $hour
fi

输出： 1 --- 2 ---- 1

Answer 10

我在使用带有perl 的捕获组的正则表达式方面取得了巨大成功，例如

for f in 123_abc_123.jpg 123_xyz_432.jpg
do
    echo $f
    echo $f | perl -ne 'if (/[0-9]+_([[a-z]+)_[0-9a-z]*/) { print $1 . "\n" }'
done

输出：

123_abc_123.jpg
abc
123_xyz_432.jpg
xyz

因此perl 中的 if-regex 条件将同时过滤掉所有不匹配的行，对于那些匹配的行，它将应用您可以使用 $1 访问的捕获组, $2, ... 分别，