拆分嵌套字符串保留引号

Question

我正在开发一个需要嵌套字符串的 Java 项目。

对于纯文本格式的输入字符串，如下所示：

这是“一个字符串”，这是“一个\”嵌套\“字符串”

结果必须如下：

[0] This
[1] is
[2] "a string"
[3] and
[4] this
[5] is
[6] "a \"nested\" string"

注意，我希望保留 \" 序列。
我有以下方法：

public static String[] splitKeepingQuotationMarks(String s);

我需要根据给定的规则从给定的s 参数中创建一个字符串数组，而不使用Java 集合框架 或其衍生物。

我不确定如何解决这个问题。
可以制作一个正则表达式来解决这个问题吗？

根据来自 cmets 的问题更新：

• 每个未转义的" 都有其结束的未转义的"（它们是平衡的）
• 每个转义字符 \ 也必须转义，如果我们要创建表示它的文字（要创建表示 \ 的文本，我们需要将其写为 \\）。

Answer 1

您可以使用以下正则表达式：

"[^"\\]*(?:\\.[^"\\]*)*"|\S+

见regex demo

Java demo:

String str = "This is \"a string\" and this is \"a \\\"nested\\\" string\""; 
Pattern ptrn = Pattern.compile("\"[^\"\\\\]*(?:\\\\.[^\"\\\\]*)*\"|\\S+");
Matcher matcher = ptrn.matcher(str);
while (matcher.find()) {
    System.out.println(matcher.group(0));
}

解释：

• "[^"\\]*(?:\\.[^"\\]*)*" - 双引号后跟除 " 和 \ ([^"\\]) 之外的任何 0+ 个字符，后跟任何转义序列 (\\.) 的 0+ 个序列，后跟任何 0+ 个字符除了 " 和 \
• | - 或者...
• \S+ - 1 个或多个非空白字符

注意

@Pshemo's suggestion - "\"(?:\\\\.|[^\"])*\"|\\S+"（或"\"(?:\\\\.|[^\"\\\\])*\"|\\S+" 会更正确） - 是相同的表达式，但效率要低得多，因为它使用的是用* 量化的交替组。这个结构涉及更多的回溯，因为正则表达式引擎必须测试每个位置，并且每个位置有 2 个概率。我的基于 unroll-the-loop 的版本将一次匹配文本块，因此更快更可靠。

更新

由于需要String[] 类型作为输出，您需要分两步完成：计算匹配项，创建数组，然后再次重新运行匹配器：

int cnt = 0;
String str = "This is \"a string\" and this is \"a \\\"nested\\\" string\""; 
Pattern ptrn = Pattern.compile("\"[^\"\\\\]*(?:\\\\.[^\"\\\\]*)*\"|\\S+");
Matcher matcher = ptrn.matcher(str);
while (matcher.find()) {
    cnt++;
}
System.out.println(cnt);
String[] result = new String[cnt];
matcher.reset();
int idx = 0;
while (matcher.find()) {
    result[idx] = matcher.group(0);
    idx++;
}
System.out.println(Arrays.toString(result));

见another IDEONE demo

Answer 2

另一种有效的正则表达式方法使用否定的lookbehind：“words”（\w+）OR“引号后跟任何不带反斜杠的下一个引号”，并将你的匹配设置为“全局”（不要在第一次匹配时返回）

(\w+|".*?(?<!\\)")

see it here.

Answer 3

不使用正则表达式的替代方法：

import java.util.ArrayList;
import java.util.Arrays;

public class SplitKeepingQuotationMarks {
    public static void main(String[] args) {
        String pattern = "This is \"a string\" and this is \"a \\\"nested\\\" string\"";
        System.out.println(Arrays.toString(splitKeepingQuotationMarks(pattern)));
    }

    public static String[] splitKeepingQuotationMarks(String s) {
        ArrayList<String> results = new ArrayList<>();
        StringBuilder last = new StringBuilder();
        boolean inString = false;
        boolean wasBackSlash = false;

        for (char c : s.toCharArray()) {
            if (Character.isSpaceChar(c) && !inString) {
                if (last.length() > 0) {
                    results.add(last.toString());
                    last.setLength(0); // Clears the s.b.
                }
            } else if (c == '"') {
                last.append(c);
                if (!wasBackSlash)
                    inString = !inString;
            } else if (c == '\\') {
                wasBackSlash = true;
                last.append(c);
            } else
                last.append(c); 
        }

        results.add(last.toString());
        return results.toArray(new String[results.size()]);
    }
}

输出：

[this, is, "a string", and, this, is, "a \"nested\" string"]