无法在 JavaScript 中标记字符串，保留所有标点符号

Question

我正在尝试将基于 JavaScript 中的正则表达式：/[\w'-]+|[^\w\s]+/g 的字符串标记化为带有适当标点符号的相应单词。

我的 RegEx 在这些用例中失败：

let text = `Hello-world.`;
let text2 = `I'm Kunal`;
let text3 = `... that Manhattan vegetarian restaurant Dirt Candy is "waging war on the 'eat your vegetables' mind-set"?`;


console.log(JSON.stringify(text.match(/[\w'-]+|[^\w\s]+/g), undefined, 4));
console.log(JSON.stringify(text2.match(/[\w'-]+|[^\w\s]+/g), undefined, 4));
console.log(JSON.stringify(text3.match(/[\w'-]+|[^\w\s]+/g), undefined, 4));

---

我的正则表达式在这些情况下失败：

---

总而言之，我无法对某些字符进行标记，例如：-、'、?、. 和其他类似的字符，而我的正则表达式在上述用例中被打破。

编辑：

标点符号与英语共享，其中大部分是：

• . -> 期间
• , -> 逗号
• ! -> 感叹号
• ? -> 问号
• : -> 冒号
• ; -> 分号
• ~ -> 波浪号
• - -> 连字符
• - -> 破折号
• & -> & 符号
• ... -> 省略号
• "" -> 双引号
• '' -> 单引号
• [ and ] -> 括号
• { , } -> 大括号
• ( and ) -> 括号
• | -> 水平线
• \ and / -> 正斜杠和反斜杠
• * -> 星号
• ^ -> 插入符号
• $ -> 美元符号
• # -> 井号/井号
• @ -> 在符号处

所以拆分规则是：在词尾和上面提到的标点处拆分字符串。

---

我还想将转义序列过滤为单个标记。

这是我的解决方案的fiddle。

Answer 1

你可以使用

/\\[^]|\.{3}|\w+|[^\w\s]/g

请参阅regex demo。

详情

• \\[^] - 匹配 \ 后跟任何字符
• | - 或
• \.{3} - 匹配 3 个点
• | - 或
• \w+ - 匹配一个或多个单词字符（字母、数字或_）
• | - 或
• [^\w\s] - 匹配除单词和空格字符以外的任何字符。

JS 演示：

let text = `Hello-world.`;
let text2 = `I'm Kunal`;
let text3 = `... that Manhattan vegetarian restaurant Dirt Candy is "waging war on the 'eat your vegetables' mind-set"?`;
let text4=`abc_def`;
let text5=`Hello\\nWorld`;

console.log(text.match(/\\[^]|\.{3}|\w+|[^\w\s]/g));
console.log(text2.match(/\\[^]|\.{3}|\w+|[^\w\s]/g));
console.log(text3.match(/\\[^]|\.{3}|\w+|[^\w\s]/g));
console.log(text4.match(/\\[^]|\.{3}|\w+|[^\w\s]/g));
console.log(text5.match(/\\[^]|\.{3}|\w+|[^\w\s]/g));