删除文本文件中包含编码错误的行

Question

我必须警告你我是一个初学者。我有一个文本文件，其中一些行包含编码错误。通过“错误”，这是我在 linux 控制台中解析文件时得到的结果（问号而不是字符）：

我想删除显示那些“问号”的每一行。我试图 grep -v 有问题的字符，但它不起作用。该文件本身是 UTF8，我猜有些行来自以另一种格式编码的文本。我知道我可以找到一种方法来正确地重新转换它们，但我现在只想让它们消失。

请问您有什么想法吗？

PS：有些行包含显示良好的变音符号。 “字符串”命令似乎删除了太多“好”行。

Answer 1

在处理非 ANSI 字符编码的 mojibake 时，您必须检查 2 件事：

1. 文件真的是用X 编码的吗？ （X 在您的情况下是没有 BOM 的 UTF-8。您可能正在尝试将 UTF-8 WITH BOM、UTF-16、latin-1 等读取为 UTF-8，这将是问题所在）。尝试读入（不转换为）其他编码，看看它们是否适合。

2. 您的语言环境或文本编辑器是否设置为以 UTF-8 格式读取文件？如果不是，那可能就是问题所在。检查支持并找出如何更改设置。在 linux 中尝试locale 和setlocale 命令来检查并正确设置它。

我喜欢 Windows 的notepad++（也可以使用 wine 在 linux 中完美运行）让您设置任何想要读取文件的编码而不尝试转换它（当然，如果您设置的不是文件被编码在你只会看到那些奇怪的字符），并且还有一个不同的选项，它允许你将它从一种编码转换为另一种。这对我很有用。

如果您是初学者，您可能会对这个article 感兴趣。它简要而清晰地解释了字符编码的内容、原因和方法。

[编辑] 如果以上都失败了，即使是windows-1252之类的ANSI编码，我刚刚学了here如何使用tr unix命令去除非ascii字符，转将其转换为 ASCII（但请注意，此输出中会丢失有关额外字符的信息并且不会返回，因此请保留输入文件以防万一您找到更好的修复方法）：

 tr -cd '\11\12\40-\176' < $INPUT_FILE > $OUTPUT_FILE

或者，如果你想去掉整行：

 grep -v -P "[^\11\12\40-\176]" $INPUT_FILE > $OUTPUT_FILE

[EDIT 2] 这个答案here 很好地猜测了如果您的文件上没有任何编码会发生什么（不幸的是，唯一直接的解决方案似乎是删除那些有问题的字符）。

Answer 2

您可以使用微型 Perl 脚本，例如：

perl -pe 's/[^[:ascii:]]+//g;' my_utf8_file.txt