如何使用 ruby​​ 1.9 转换字符编码

Question

我目前在使用 amazon api 的结果时遇到问题。

服务返回一个带有 unicode 字符的字符串：Mac 上的Learn Objective\xE2\x80\x93C（Learn 系列）

使用 ruby​​ 1.9.1 甚至无法处理字符串：

REXML::ParseException: #<Encoding::CompatibilityError: incompatible encoding regexp match (UTF-8 regexp with ASCII-8BIT string)>

...

Exception parsing

Line: 1

Position: 1636

Last 80 unconsumed characters:

Learn Objective–C on the Mac (Learn Series)

Answer 1

作为例外点，您的字符串是 ASCII-8BIT 编码的。您应该更改编码。对此有一个long story，但如果您对快速解决方案感兴趣，请在进行任何处理之前在字符串上添加force_encoding：

s = "Learn Objective\xE2\x80\x93C on the Mac"
# => "Learn Objective\xE2\x80\x93C on the Mac"
s.encoding
# => #<Encoding:ASCII-8BIT>
s.force_encoding 'utf-8'
# => "Learn Objective–C on the Mac"

Answer 2

如果以 ASCII-8BIT 编码的所有内容实际上都可以直接转换为 UTF-8，则 Mladen 的解决方案有效。当存在 1) 无效或 2) 在 UTF-8 中未定义的字符时，它会中断。但是，这将起作用（在 1.9.2 及更高版本中：

new_str = s.encode('utf-8', 'binary', :invalid => :replace, 
  :undef => :replace, :replace => '')

ASCII-8BIT 实际上是二进制的。此代码将编码转换为 UTF-8，同时正确处理无效和未定义的字符。 :invalid 选项指定替换无效字符。 :undef 选项指定替换未定义的字符。 :replace 选项定义了应该用什么替换无效或未定义的字符。在这种情况下，我选择简单地删除它们。