尝试使用 BASH 删除段落中的重复项

Question

您好，我正在编写一个简单的 BASH 来删除段落中由单个空格分隔的任何单词的连续重复出现，并将输出重定向到标准输出，这是我得到了多远。

文件1

**double double toil and trouble 
fire burn and cauldron bubble bubble 
tomorrow and tomorrow and tomorrow 
creeps in this this petty pace from day toto day**

echo `<file1` | sed -e 's/\b\([a-z ]\+\)\1/\1/g' | cat > file2

这是在一行中输出，如下所示。

double toil and trouble fire burn and cauldron bubble tomorrow and tomorrow creeps in this petty pace from day to day

并且遗漏了一些东西，因为它没有正确删除事件。

Answer 1

你可以使用

sed 's/\b\([a-z]\+\)\s\1\b/\1/g' file > file1
sed 's/\b\([a-z]\+\)[[:space:]]\1\b/\1/g' file > file1

请参阅online demo。正则表达式匹配

• \b - 单词边界
• \([a-z]\+\) - 第 1 组：任意一个或多个小写字母
• [[:space:]] / \s - 一个空格
• \1 - 与第 1 组中的值相同
• \b - 单词边界。