从字符串中删除非 ASCII 字符答案

【问题标题】：Removing non-ASCII characters from string从字符串中删除非 ASCII 字符
【发布时间】：2021-03-29 01:01:46
【问题描述】：

我正在尝试从从文本文件中读取的字符串中去除非 ASCII 字符，但无法这样做。我检查了一些来自 SO 和其他网站的帖子的建议，但均无济于事。

这是我所拥有的，也是我尝试过的：

文本文件中的字符串：

2021-03-26 10:00:16:648|2021-03-26 10:00:14:682|MPE->IDC|[10.20.30.40:41148]|203, ?  ?'F?~?^?W?|?8wL?i??{?=kb ?   Y  R?

从文件中读取的字符串：

"2021-03-26 10:00:16:648|2021-03-26 10:00:14:682|[10.20.30.40:41148]|203,\u0016\u0003\u0001\0?\u0001\0\0?\u0003\u0001'F?\u001e~\u0018?^?W\u0013?|?8wL\v?i??{?=kb\t?\tY\u0005\0\0R?"

去除非ASCII字符的方法：

Regex reAsciiPattern = new Regex(@"[^\u0000-\u007F]+");  // Non-ASCII characters
sLine = reAsciiPattern.Replace(sLine, "");   // remove non-ASCII chars

Regex reAsciiPattern2 = new Regex(@"[^\x00-\x7F]+");  // Non-ASCII characters
sLine = reAsciiPattern2.Replace(sLine, "");   // remove non-ASCII chars

string asAscii = Encoding.ASCII.GetString(
    Encoding.Convert(
        Encoding.UTF8,
        Encoding.GetEncoding(
            Encoding.ASCII.EncodingName,
            new EncoderReplacementFallback(string.Empty),
            new DecoderExceptionFallback()
            ),
        Encoding.UTF8.GetBytes(sLine)
    )
);

我错过了什么？

谢谢。

【问题讨论】：

我认为您将 ASCII 与“可打印”混淆了。您拥有的字符是 ascii，只是不可打印。

标签： c# string non-ascii-characters

【解决方案1】：

这可以在没有Regex 的情况下使用循环和StringBuilder 来完成：

var sb = new StringBuilder();
foreach(var ch in line) {
   //printable Ascii range
   if (ch >= 32 && ch < 127) { 
       sb.Append(ch);
   } 
}

line = sb.ToString();

或者你可以使用一些 LINQ：

line = string.Concat(
  line.Where(ch => ch >= 32 && ch < 127)
);

如果您必须使用 Regex 执行此操作，那么以下内容就足够了（同样，这仅保留可打印的 ASCII）

line = Regex.Replace(line, @"[^\u0020-\u007e]", "");

Try It Online

如果您想要所有 ASCII（包括不可打印）字符，则将测试修改为

ch <= 127 // for the loops
@"[^\u0000-\u007f]" // for the regex

【讨论】：

【解决方案2】：

您可以使用以下正则表达式去除所有不可打印的字符。

Regex.Replace(sLine, @"[^\u0020-\u007E]+", string.Empty);

【讨论】：

我列出的第一个正则表达式不会涵盖这些吗？
感谢大家的回复。我相信正如 Poul Bak 评论的那样，我将非 ascii 与不可打印混淆了。最后，我在另一个 SO 帖子 (stackoverflow.com/questions/40564692/…) 找到了解决方案。我发布了解决方案。

【解决方案3】：

根据here 的帖子，这对我有用

using System.Text.RegularExpressions;
...

Regex reAsciiNonPrintable = new Regex(@"\p{C}+");  // Non-printable characters
string sLine;

using (StreamReader sr = File.OpenText(Path.Combine(Folder, FileName)))
{
    while (!sr.EndOfStream)
    {
        sLine = sr.ReadLine().Trim();

        if (!string.IsNullOrEmpty(sLine))
        {
            Match match = reAsciiNonPrintable.Match(sLine);

            if (match.Success)
                continue;    // skip the line
            ...
        }
        ...
    }
    ....
}

【讨论】：

【解决方案4】：

由于string 是IEnumerable<char>，其中每个char 代表一个UTF-16 代码单元（可能是代理），您也可以这样做：

var ascii = new string(sLine.Where(x => x <= sbyte.MaxValue).ToArray());

或者如果你只想要可打印的 ASCII：

var asciiPrintable = new string(sLine.Where(x => ' ' <= x && x <= '~').ToArray());

我现在意识到这主要是pinkfloydx33的答案的重复，所以去投票吧。

如果字符串包含重音字母，则结果可能取决于规范化，所以比较：

var sLine1 = "olé";
var sLine2 = sLine1.Normalize(NormalizationForm.FormD);

【讨论】：