显示 iso-8859-1 编码数据给出奇怪的字符

Question

我有一个 ISO-8859-1 编码的 csv 文件，我尝试用 ruby​​ 打开和解析它：

require 'csv'

filename = File.expand_path('~/myfile.csv')
file = File.open(filename, "r:ISO-8859-1")
CSV.parse(file.read, col_sep: "\t") do |row| 
  puts row 
end

如果我在调用 File.open 时省略了编码，我会收到错误

ArgumentError: UTF-8 中的无效字节序列

我的问题是对puts row 的调用显示奇怪的字符而不是挪威字符æ,ø,å:

BOKF.RINGSDATO

如果我在 textmate 中打开文件，我会得到相同的结果，强制它使用 UTF-8 编码。

通过将文件内容分配给字符串，我可以检查用于字符串的编码。正如预期的那样，它显示 ISO-8859-1。

那么当我puts每一行时，为什么它输出字符串为UTF-8？ 与 csv 库有关吗？

我使用 ruby​​ 1.9.2。

Answer 1

通过尝试文档中的不同方法，为自己找到了答案：

require 'csv'

filename = File.expand_path('~/myfile.csv')
File.open(filename, "r:ISO-8859-1") do |file|
  CSV.parse(file.read.encode("UTF-8"), col_sep: "\t") do |row| 
    #                    ↳  returns a copy transcoded to UTF-8.
    puts row 
  end
end

如您所见，我所做的只是在 CSV 解析器获取字符串之前将字符串编码为 UTF-8 字符串。

---

编辑：
在 macruby-head 上尝试此解决方案，我从 encode() 收到以下错误消息：

Encoding::InvalidByteSequenceError: "\xD8" on UTF-8

即使我在打开文件时指定了编码，macruby 还是使用 UTF-8。 这似乎是一个已知的 macruby 限制：Encoding is always UTF-8

Answer 2

ISO-8859-1 和 Win-1252 的字符集非常接近。某些应用程序可以处理文件并转换它吗？或者它可能是从默认为 Win-1252（这是 Window 的标准设置）的机器接收到的？

如果 0x80 到 0x9F 字节范围内没有字符，则感知代码集的软件可能会出错，因此您可以尝试将 file = File.open(filename, "r:ISO-8859-1") 设置为 file = File.open(filename, "r:Windows-1252")。 （我认为“Windows-1252”是正确的编码名称。）

我曾经写过蜘蛛，而 HTML 因标签错误或将一个字符集中的编码二进制字符嵌入另一个字符集而臭名昭著。几年前，在大多数语言实现 UTF-8 和 Unicode 之前，我多次使用一些糟糕的语言来解决这些问题，所以我理解这种挫败感。

ISO/IEC_8859-1, Windows-1252

Answer 3

也许您可以在解析之前使用 Iconv 将文件内容转换为 UTF-8？