希伯来语在 R 中编码地狱并在 Windows 中编写 UTF-8 表

Question

我正在尝试从https://www.magna.isa.gov.il/Details.aspx?l=he 保存使用RSelenium 提取的数据，但是尽管R 成功将希伯来字符打印到控制台，但在导出TXT、CSV 或其他简单的R 函数（如data.frame()）时却没有、readHTMLTable()等

这里有一个例子。

> head(lines)
[1] "גלובל פיננס ג'י.אר. 2 בע\"מ נתונים כספיים באלפי דולר ארה\"ב"
[2] "513435404"                                                  
[3] ""                                                           
[4] ""                                                           
[5] ""                                                           
[6] "4,481" 

使用data.frame()时第一行变为奇怪的字符（下）

> head(as.data.frame(lines))
[1] <U+05D2><U+05DC><U+05D5><U+05D1><U+05DC> <U+05E4><U+05D9><U+05E0><U+05E0><U+05E1> <U+05D2>'<U+05D9>.<U+05D0><U+05E8>. 2 <U+05D1><U+05E2>"<U+05DE> <U+05E0><U+05EA><U+05D5><U+05E0><U+05D9><U+05DD> <U+05DB><U+05E1><U+05E4><U+05D9><U+05D9><U+05DD> <U+05D1><U+05D0><U+05DC><U+05E4><U+05D9> <U+05D3><U+05D5><U+05DC><U+05E8> <U+05D0><U+05E8><U+05D4>"<U+05D1>

write.table 或 write.csv 导出 .TXT 或 .CSV 时也会发生同样的情况：

write.csv(lines,"lines.csv",row.names=FALSE)

我尝试将编码更改为“UTF-8”，就像在几个类似问题中建议的那样，但问题仍然是不同的格式：

iconv(lines, to = "UTF-8")
1 ׳’׳׳•׳‘׳ ׳₪׳™׳ ׳ ׳¡ ׳’'׳™.׳׳¨. 2 ׳‘׳¢"׳ ׳ ׳×׳•׳ ׳™׳ ׳›׳¡׳₪׳™׳™׳ ׳‘׳׳׳₪׳™ ׳“׳•׳׳¨ ׳׳¨׳”"׳‘

希伯来语 ISO-8859-8 也是如此：

iconv(lines, to = "ISO-8859-8")
    1 ×'×o×.×'×o ×₪×T× × ×! ×''×T.×ר. 2 ×'×¢"×z × ×a×.× ×T× ×>×!×₪×T×T× ×'××o×₪×T ×"×.×oר ×ר×""×'

我不明白为什么控制台能很好地打印希伯来字符，而 write.table()、write.csv() 和 data.frame() 会出现编码问题。

有人帮我导出吗？

Ken 回答了，使用 writeLines() 导出文本效果很好：

f = file("lines.txt", open = "wt", encoding = "UTF-8")
writeLines(lines, "lines.txt", useBytes = TRUE)
close(f) 

然而，主要问题R在处理表格时以as.data的形式使用希伯来语编码是 .frame()、write.table() 和 write.csv()。有什么想法吗？

一些机器信息：

Sys.info()
                 sysname                      release                      version 
               "Windows"                      "7 x64" "build 7601, Service Pack 1" 
                nodename                      machine                        login 
              "TALIS-TP"                        "x86"

> Sys.getlocale()
[1] "LC_COLLATE=English_United States.1252;LC_CTYPE=English_United States.1252;LC_MONETARY=English_United States.1252;LC_NUMERIC=C;LC_TIME=English_United States.1252"

Answer 1

许多人在使用 8 位系统编码 (Windows) 的平台上处理 UTF-8 文本时遇到了类似的问题。在 R 中编码可能会很棘手，因为不同的方法处理编码和转换的方式不同，而且在一个平台（OS X 或 Linux）上似乎可以正常工作的方法在另一个平台上却很糟糕。

问题与您的输出连接以及 Windows 如何处理编码和文本连接有关。我尝试使用 UTF-8 和 8 位编码的一些希伯来语文本来复制该问题。我们还将讨论文件读取问题，因为那里也可能存在一些障碍。

用于测试

• 创建了一个简短的希伯来语语言文本文件，编码为 UTF-8：hebrew-utf8.txt

• 创建了一个简短的希伯来语语言文本文件，编码为 ISO-8859-8：hebrew-iso-8859-8.txt。 （注意：您可能需要告诉您的浏览器有关编码以便正确查看该编码 - 例如 Safari 就是这种情况。）

读取文件的方法

现在让我们进行实验。我正在使用 Windows 7 进行这些测试（它实际上适用于我常用的操作系统 OS X）。

lines <- readLines("http://kenbenoit.net/files/hebrew-utf8.txt")
lines
## [1] "העברי ×”×•× ×—×‘×¨ בקבוצה ×”×›× ×¢× ×™×ª של שפות שמיות."                                                                     
## [2] "זו היתה ×©×¤×ª× ×©×œ ×”×™×”×•×“×™× ×ž×•×§×“×, ×בל מן 586 ×œ×¤× ×”\"ס ×–×” התחיל להיות מוחלף על ידי ב×רמית."

失败了，因为它假定编码是您的系统编码，Windows-1252。但是由于读取文件时没有发生转换，因此只需将编码位设置为 UTF-8 即可解决此问题：

# this sets the bit for UTF-8
Encoding(lines) <- "UTF-8"
lines
## [1] "העברי הוא חבר בקבוצה הכנענית של שפות שמיות."                                          
## [2] "זו היתה שפתם של היהודים מוקדם, אבל מן 586 לפנה\"ס זה התחיל להיות מוחלף על ידי בארמית."

但最好在阅读文件时这样做：

# this does it in one pass
lines2 <- readLines("http://kenbenoit.net/files/hebrew-utf8.txt", encoding = "UTF-8")
lines2[1]
## [1] "העברי הוא חבר בקבוצה הכנענית של שפות שמיות."
Encoding(lines2)
## [1] "UTF-8" "UTF-8"

现在看看如果我们尝试读取相同的文本，但编码为 8 位 ISO 希伯来语代码页会发生什么。

lines3 <- readLines("http://kenbenoit.net/files/hebrew-iso-8859-8.txt")
lines3[1]
## [1] "äòáøé äåà çáø á÷áåöä äëðòðéú ùì ùôåú ùîéåú." 

设置编码位在这里没有帮助，因为读取的内容没有映射​​到希伯来语的 Unicode 代码点，并且Encoding() 没有实际的编码转换，它只是设置了一个额外的位，可以用来告诉R 几个可能的编码值之一。我们可以通过在readLines() 调用中添加encoding = "ISO-8859-8" 来解决这个问题。我们也可以在加载后转换文本，使用iconv()：

# this will not fix things
Encoding(lines3) <- "UTF-8"
lines3[1]
## [1] "\xe4\xf2\xe1\xf8\xe9 \xe4\xe5\xe0 \xe7\xe1\xf8 \xe1\xf7\xe1\xe5\xf6\xe4 \xe4\xeb\xf0\xf2\xf0\xe9\xfa \xf9\xec \xf9\xf4\xe5\xfa \xf9\xee\xe9\xe5\xfa."
# but this will
iconv(lines3, "ISO-8859-8", "UTF-8")[1]
## [1] "העברי הוא חבר בקבוצה הכנענית של שפות שמיות."

总的来说，我认为上面用于lines2 的方法是最好的方法。

如何输出文件，保留编码

现在关于如何编写这个问题：最安全的方法是在低级别控制您的连接，您可以在其中指定编码。否则，默认为 R/Windows 选择您的系统编码，这将丢失 UTF-8。我认为这会起作用，这确实可以在 OS X 中完全正常 - 在 OS X 上调用 writeLines() 也可以正常工作，只需命名一个没有 textConnection 的文本文件。

## to write lines, use the encoding option of a connection object
f <- file("hebrew-output-UTF-8.txt", open = "wt", encoding = "UTF-8")
writeLines(lines2, f)
close(f)

但它不适用于 Windows。您可以在此处查看 Windows 7 结果：hebrew-output-UTF-8-file_encoding.txt。

所以，在 Windows 中如下所示：一旦您确定您的文本被编码为 UTF-8，只需将其写为原始字节，而不使用任何编码，如下所示：

writeLines(lines2, "hebrew-output-UTF-8-useBytesTRUE.txt", useBytes = TRUE)

您可以在hebrew-output-UTF-8-useBytesTRUE.txt 看到结果，它现在是 UTF-8 并且看起来是正确的。

为 write.csv 添加

请注意，您希望这样做的唯一原因是使 .csv 文件可用于导入其他软件，例如 Excel。 （祝您在 Excel/Windows 中使用 UTF-8 好运……）否则，您应该使用 write(myDataFrame, file = "myDataFrame.RData") 将 data.table 编写为二进制文件。但是如果你真的需要输出.csv，那么：

如何在 Windows 中从 data.table 写入 UTF-8 .csv 文件

使用write.table() 和write.csv() 编写UTF-8 文件的问题在于这些开放的文本连接，而Windows 对UTF-8 的编码和文本连接有限制。 （This post 提供了一个有用的解释。）根据here 发布的 SO 答案，我们可以重写它来编写我们自己的函数来输出 UTF-8 .csv 文件。

这假设您已经将任何字符元素的 Encoding() 设置为 "UTF-8"（在上面为 lines2 导入时发生）。

df <- data.frame(int = 1:2, text = lines2, stringsAsFactors = FALSE)

write_utf8_csv <- function(df, file) {
    firstline <- paste('"', names(df), '"', sep = "", collapse = " , ")
    data <- apply(df, 1, function(x) {paste('"', x, '"', sep = "", collapse = " , ")})
    writeLines(c(firstline, data), file , useBytes = TRUE)
}

write_utf8_csv(df, "df_csv.txt")

当我们现在在非 Unicode 挑战的操作系统中查看该文件时，它现在看起来很好：

KBsMBP15-2:Desktop kbenoit$ cat df_csv.txt 
"int" , "text"
"1" , "העברי הוא חבר בקבוצה הכנענית של שפות שמיות."
"2" , "זו היתה שפתם של היהודים מוקדם, אבל מן 586 לפנה"ס זה התחיל להיות מוחלף על ידי בארמית."
KBsMBP15-2:Desktop kbenoit$ file df_csv.txt 
df_csv.txt: UTF-8 Unicode text, with CRLF line terminators