如何在 Perl 中删除所有带有非单词字符的标记？答案

【问题标题】：How can I remove all tokens with non-word characters in Perl?如何在 Perl 中删除所有带有非单词字符的标记？
【发布时间】：2009-04-03 17:01:12
【问题描述】：

我正在尝试提出一个正则表达式来删除所有包含非单词字符的单词。

因此，如果它包含冒号、逗号、数字、括号等，则将其从行中删除，不仅是字符，还有单词。到目前为止我有这个。

$wordline = s/\s.*\W.*?\s//g;

不必完美，因此可以删除带有破折号和撇号的字符串。

【问题讨论】：

【解决方案1】：

$wordline = join(" ", grep(/^\w+$/, split(/\s+/, $wordline)));

【讨论】：

【解决方案2】：

s/\w*([^\w\s]|\d)+\w* ?//g;

【讨论】：

【解决方案3】：

s/(?<!\S)(?![A-Za-z]+(?:\s|$))\S+(?!\S)//g

在 regex-land 中，“单词字符”是字母、数字或下划线 ([A-Za-z0-9_])。听起来你只是用它来表示字母，所以\w 和\W 对你没有任何好处。我的正则表达式匹配：

这将留下它删除的单词周围的所有空格。正确处理这些问题比您想象的要复杂一些。在单独的步骤中执行起来要容易得多，例如：

s/^ +| +(?= |$)//g

【讨论】：

[A-Za-z] 不处理 Unicode，您可能想使用 [[:alpha:]] 代替。
我申请了教师执照。 :) 使用 [A-Za-z] 非常清楚您匹配的是什么（以及您不匹配的是什么）。顺便说一句， [[:alpha:]] 也不处理 Unicode；它是 POSIX 语言中的“在底层平台的语言环境中归类为字母的事物”。