使用 ReadList 读取 UTF-8 文本文件

Question

是否可以使用ReadList 来读取使用ReadList[..., Word] 的UTF-8（或任何其他）编码的文本文件，还是只能使用ASCII？如果它是纯 ASCII 码，是否有可能以良好的性能“修复”已读取数据的编码（即保留 ReadList 相对于 Import 的性能优势）？

_{Import[..., CharacterEncoding -> "UTF8"] 可以工作，但它比ReadList 慢很多。 $CharacterEncoding 对 ReadList 没有影响}

Download a sample UTF-8 encoded file here.

要在大输入上测试性能，请参阅this question 中的测试文件。

---

以下是大型文本文件的答案时间安排：

导入

In[2]:= Timing[
 data = Import[file, "Text"];
 ]

Out[2]= {5.234, Null}

海克

In[4]:= Timing[
 data = ReadList[file, String];
 FromCharacterCode[ToCharacterCode[data], "UTF8"];
 ]

Out[4]= {4.328, Null}

先生。向导

In[5]:= Timing[
 string = FromCharacterCode[BinaryReadList[file], "UTF-8"];
 ]

Out[5]= {2.281, Null}

Answer 1

如果我遗漏了Word，这可行：

$CharacterEncoding = "UTF-8";

ReadList["UTF8.txt"]

然而这是失败的，因为数据不是作为字符串读取的。

请在更大的文件上试试这个并报告它的性能：

FromCharacterCode[BinaryReadList["UTF8.txt"], "UTF-8"]

Answer 2

这似乎有效

FromCharacterCode[ToCharacterCode[ReadList["raw.php.txt", Word]], "UTF-8"]

我得到的链接测试文件的时间是

FromCharacterCode[ToCharacterCode[ReadList["test.txt", Word]], "UTF-8"]); // Timing

(* ==> {0.000195, Null} *)

Import["test.txt", "Text"]; // Timing

(* ==> {0.01784, Null} *)