两个文件之间的grep‘\<’和‘\>’

Question

a.txt 包含单词，b.txt 包含字符串。

我想知道 b.txt 中有多少字符串以 a.txt 中的单词开头或结尾。

我在 GREP-s 用户手册中找到了这个： " 假设我要搜索整个单词，而不是单词的一部分？ grep -w '你好' * 仅搜索作为完整单词的“hello”实例；它不匹配“奥赛罗”。如需更多控制，请使用“\”来匹配单词的开头和结尾。例如：

      grep 'hello\>' *

只搜索以‘hello’结尾的词，所以它匹配‘Othello’这个词。”

但我不知道如何修改它来解决我的问题。

示例：a.txt

apple
peach
potato
green
big
pink

b.txt

greenapple
bigapple
rottenapple
pinkpeach
xxlpotatoxxx

输出

ends.txt

3 apple greenapple bigapple rottenapple
1 peach pinkpeach

starts.txt

1 green greenapple
1 big bigapple
1 pink pinkpeach

我在这里收到了一些想法： grep two files (a.txt, b.txt) - how many lines in b.txt starts (or ends) with the words from a.txt - output: 2 files with the results

但由于 a.txt 包含大约 50K 行，而 b.txt 包含超过 100M 行，我认为 grep 是唯一的解决方案。

Answer 1

最好的办法是编写一个脚本，循环遍历文件的每一行，其中包含模式和 grep 用于另一个文件中的模式：

以下将获得 startsWith 字符串：

while read -r w; do
  start=($(grep "^${w}" b.txt));
  (( ${#start[@]} != 0 )) && echo "${#start[@]} $w ${start[@]}";
done < a.txt

在您的示例输入上执行它，它会产生：

1 green greenapple
1 big bigapple
1 pink pinkpeach

同样，您可以编写另一个获取 endsWith 字符串的单行代码：

while read -r w; do
  end=($(grep "${w}$" b.txt));
  (( ${#end[@]} != 0 )) && echo "${#end[@]} $w ${end[@]}";
done < a.txt

会产生：

3 apple greenapple bigapple rottenapple
1 peach pinkpeach

---

编辑：如果你想将输出重定向到单独的文件，你可以在一个循环中完成这两个部分：

> startswith.txt     # Truncate the output files to begin with
> endswith.txt
while read -r w; do
  start=($(grep "^${w}" b.txt));
  (( ${#start[@]} != 0 )) && echo "${#start[@]} $w ${start[@]}" >> startswith.txt;
  end=($(grep "${w}$" b.txt));
  (( ${#end[@]} != 0 )) && echo "${#end[@]} $w ${end[@]}" >> endswith.txt;
done < a.txt

Answer 2

awk 将是我在这里的第一选择。即使在您的条件下，它也应该表现得很好。

awk '
    NR == FNR {word[$1]; next} 
    {
        for (w in word) {
            if ($1 ~ "^" w) starts[w] = starts[w] $1 " "
            if ($1 ~ w "$") ends[w] = ends[w] $1 " "
        }
    } 
    END {
        for (w in ends) {
            n = split(ends[w], a)
            print n, w, ends[w] > "ends.txt"
        }
        for (w in starts) {
            n = split(starts[w], a)
            print n, w, starts[w] > "starts.txt"
        }
    }
' a.txt b.txt

$ cat ends.txt
3 apple greenapple bigapple rottenapple
1 peach pinkpeach
$ cat starts.txt
1 pink pinkpeach
1 big bigapple
1 green greenapple

Answer 3

您可以使用简单的 bash 脚本：

#!/bin/bash

INPUT=a.txt
SEARCH=b.txt
OUTS=starts.txt
OUTE=ends.txt

while read line ; do
    echo -n "$line " >> "$OUTS"
    echo -n "$line " >> "$OUTE"
    grep "$line\>" "$SEARCH" | xargs >> "$OUTE"
    grep "\<$line" "$SEARCH" | xargs >> "$OUTS"
done < "$INPUT"

（这不会打印行前的匹配数）

Answer 4

这一行

for a in `cat a.txt` ; do echo $a ; grep -c $a\\\>\\\|\\\<$a b.txt ; done

产生这个输出：

apple
3
peach
1
potato
0
green
1
big
1
pink
1

虽然这不是替代方案产生的漂亮输出，但它很简洁，并且在 a.txt 中每行只执行一次 grep