如何在 Java 中对标记进行复杂的负面回顾？

Question

我有许多 EDIFACT 格式的行需要在 + 上进行标记。但是，根据 EDIFACT 规范，可以使用 ? 转义字符。例如：?? 代表 ?，?+ 代表 +，?: 代表 :。 ?+ 是字段的一部分，因此不应被视为分隔符。

我使用否定的lookbehind 来处理+ 后跟?：

delimiter = "\\+";
String[] tokens = data.split("(?<!\\?)" + delimiter);

这会分裂

a+b+c 转换为 a、b 和 c

a?+b+c 转换为 a?+b 和 c

但是，当涉及?? 转义序列时，它会失败：

a??+b+c 产生 2 个令牌：a??+b、c

而实际上应该是 3 个令牌：a?、b 和 c

另一方面：a???+b+c 应该产生两个令牌：a???+b 和 c

有没有办法使用消极的后视来实现这一点？

如果你愿意，这里有一个可运行的测试。

import java.util.Arrays;

public class Main {
   public static void main(String[] args) {
      assertTokens("a+b+c", "a", "b", "c");
      assertTokens("a?+b+c", "a?+b", "c");
      assertTokens("a??+b+c", "a??", "b", "c");
      assertTokens("a???+b+c", "a???+b", "c");
   }

   private static void assertTokens(String data, String... expectedTokens) {
      String delimiter = "\\+";
      String[] tokens = data.split("(?<!\\?)" + delimiter);

      if(!Arrays.deepEquals(tokens, expectedTokens)) {
         throw new IllegalStateException("Not equals for " + data);
      }
   }

}

Answer 1

与拆分相比，使用匹配更容易标记化。在您的情况下，要使 split 工作，您必须使用 java 不支持的可变长度的lookbehind。

试试下面的正则表达式：

(?:[^+:?]++|\?.)+

DEMO

（我使用所有格量词 (++) 纯粹是为了避免无用的回溯）

---

如果你想匹配空标记（a++b yielding、a、空字符串和b），正则表达式会变得更复杂：

(?:[^+:?\r\n]++|\?.)+|(?<=[+:]|^)(?=[+:]|$)

DEMO

这意味着

• 两者都与上述相同（我刚刚将\r\n 添加到组中，因此换行符不匹配）
• 或一个空字符串，即：
  • 前面有记号分隔符或行首
  • 后跟标记分隔符或行尾

我已经添加了m 选项，这意味着^ 和$ 匹配每行的开头和结尾。

Answer 2

供参考：

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Main {
    public static void main(String[] args) {
        assertTokens("+", "a+b+c", "a", "b", "c");
        assertTokens("+", "a?+b+c", "a?+b", "c");
        assertTokens("+", "a??+b+c", "a??", "b", "c");
        assertTokens("+", "a???+b+c", "a???+b", "c");
        assertTokens("+", "a?'??+b+c", "a?'??", "b", "c");

        assertTokens("\\:", "a???:b:c", "a???:b", "c");
        assertTokens("\\:", "a????:b:c", "a????", "b", "c");
    }

    private static void assertTokens(String delim, String data, String... expectedTokens) {
        Pattern pattern = Pattern.compile("(?:[^" + delim + ":?]++|\\?.)+");
        Matcher matcher = pattern.matcher(data);

        List<String> tokens = new ArrayList<>();
        while (matcher.find()) {
            tokens.add(matcher.group());
        }

        if(!Arrays.deepEquals(tokens.toArray(), expectedTokens)) {
            for (String token: tokens) {
                System.out.println(token);
            }
            throw new IllegalStateException("Not equals for " + data);
        }
    }
}