连续重复二元组的正则表达式

Question

我的问题是早先question 的直接扩展，关于检测字符串中的连续单词（unigrams）。

在上一个问题中，

不那是相关的

可以通过这个正则表达式检测到：\b(\w+)\s+\1\b

在这里，我想检测连续的二元组（单词对）：

是蓝色的然后很亮

理想情况下，我也想知道如何将检测到的模式（重复）替换为单个元素，从而得到：

是蓝色的，然后很亮

（对于这个应用程序，如果重要，我在 R 中使用gsub）

Answer 1

这里的重点是，在某些情况下，会出现包含较短重复子串的重复子串。所以，为了匹配更长的，你会使用

(\b.+\b)\1\b

（参见regex demo）对于那些找到较短子字符串的人，我会依赖惰性点匹配：

(\b.+?\b)\1\b

见this regex demo。替换字符串将是 \1 - 对捕获部分的反向引用首先与分组构造 (...) 匹配。

您需要一个 PCRE 正则表达式才能使其工作，因为在将多个单词边界与 gsub 匹配方面存在记录问题（因此，添加 perl=T 参数）。

gsub 和 gregexpr 的 POSIX 1003.2 模式无法正确处理重复的单词边界（例如，pattern = "\b"）。使用 perl = TRUE 进行此类匹配（但对于非 ASCII 输入，这可能无法按预期工作，因为“单词”的含义取决于系统）。

请注意，如果您的重复子字符串可以跨越多行，您可以在模式的开头使用带有 DOTALL 修饰符 (?s) 的 PCRE 正则表达式（这样. 也可以匹配换行符）。

所以，R 代码看起来像

gsub("(?s)(\\b.+\\b)\\1\\b", "\\1", s, perl=T)

或

gsub("(?s)(\\b.+?\\b)\\1\\b", "\\1", s, perl=T)

见IDEONE demo：

text <- "are blue and then and then more and then and then more very bright"
gsub("(?s)(\\b.+?\\b)\\1\\b", "\\1", text, perl=T) ## shorter repeated substrings
## [1] "are blue and then more and then more very bright"
gsub("(?s)(\\b.+\\b)\\1\\b", "\\1", text, perl=T) ## longer repeated substrings
## [1] "are blue and then and then more very bright"

Answer 2

试试下面的正则表达式：

(\b.+?\b)\1\b

RegEx 将捕获一个单词边界，然后是数据，然后是另一个单词边界。 \1 将引用捕获的内容，然后再次选择它。然后它将检查末尾的单词边界以防止选择a and 和z zoo

至于替换，使用\1。这将包含来自 1st Capture Group 的数据（二元组的第一部分），第一部分将用于替换整个数据。

Live Demo on Regex101