【问题标题】:How can I convert a string from windows-1252 to utf-8 in Ruby?如何在 Ruby 中将字符串从 windows-1252 转换为 utf-8?
【发布时间】:2009-06-04 17:12:59
【问题描述】:

我正在 Windows XP 上使用 Ruby 1.8.6 将一些数据从 MS Access 2003 迁移到 MySQL 5.0(为此编写一个 Rake 任务)。

原来 Windows 字符串数据被编码为 windows-1252,Rails 和 MySQL 都假设输入 utf-8,所以一些字符,例如撇号,被破坏了。它们最终变成带有口音的“a”之类的东西。

有人知道将 windows-1252 字符串转换为 utf-8 的工具、库、系统、方法、仪式、咒语或咒语吗?

【问题讨论】:

  • 当您说“我正在将一些数据从 MS Access 2003 迁移到 MySQL 5.0”时,您的意思是“我正在将一些数据从 MS Jet 4 迁移到 MySQL 5.0”。区别很关键——您根本没有使用 Access,只使用了 Jet 数据库引擎。

标签: windows ruby ms-access encoding character-encoding


【解决方案1】:

对于 Ruby 1.8.6,您似乎可以使用标准库的一部分 Ruby Iconv:

Iconv documentation

根据helpful article,看来您至少可以像这样从字符串中清除不需要的 win-1252 字符:

ic = Iconv.new('UTF-8//IGNORE', 'UTF-8')
valid_string = ic.iconv(untrusted_string + ' ')[0..-2]

然后可能会尝试像这样进行完全转换:

ic = Iconv.new('UTF-8', 'WINDOWS-1252')
valid_string = ic.iconv(untrusted_string + ' ')[0..-2]

【讨论】:

    【解决方案2】:

    如果您使用的是 Ruby 1.9...

    string_in_windows_1252 = database.get(...)
    # => "Fåbulous"
    
    string_in_windows_1252.encoding
    # => "windows-1252"
    
    string_in_utf_8 = string_in_windows_1252.encode('UTF-8')
    # => "Fabulous"
    
    string_in_utf_8.encoding
    # => 'UTF-8'
    

    【讨论】:

    • 谢谢,很高兴知道。但是,我目前正在处理 Ruby 1.8.6。我想我可以安装 1.9、RubyGems 等。
    • 我当然希望 ruby​​ 不会将“Fåbulous”编码为“Fabulous”,因为对于任何支持它的语言,“å”与“a”是一个非常不同的字符。如果 UTF-8 编码的字符串将在 Windows 1252 代码页中打印,则该字符串应该看起来像“FÃ¥bulous”,如果它以 UTF-8 打印,它应该是“Fåbulous”。
    【解决方案3】:

    喂,

    我也遇到了同样的问题。

    这些提示帮助我开始:

    始终检查正确的编码名称,以便正确输入您的转换工具。 如有疑问,您可以使用以下方法获取 iconv 或重新编码的支持编码列表:

    $ recode -l
    

    或

    $ iconv -l
    

    始终从您的原始文件开始并编码样本以使用:

    $ recode windows-1252..u8 < original.txt > sample_utf8.txt
    

    或

    $ iconv -f windows-1252 -t utf8 original.txt -o sample_utf8.txt
    

    安装 Ruby1.9,因为它在编码方面对您有很大帮助。即使您没有在您的程序中使用它,您也可以随时启动一个 irb1.9 会话并选择字符串以查看输出是什么。 File.open 在 Ruby 1.9 中有一个新的 'mode' 参数。用它! 这篇文章帮助很大:http://blog.nuclearsquid.com/writings/ruby-1-9-encodings

    File.open('original.txt', 'r:windows-1252:utf-8')
    # This opens a file specifying all encoding options. r:windows-1252 means read it as windows-1252. :utf-8 means treat it as utf-8 internally.
    

    玩得开心,发誓!

    【讨论】:

      【解决方案4】:

      如果要转换名为 win1252file 的文件,请在 unix 操作系统上运行:

      $ iconv -f windows-1252 -t utf-8 win1252_file > utf8_file
      

      你应该可以在 Windows 上用 cygwin 做同样的事情。

      【讨论】:

      • 谢谢,很高兴知道未来,但我不确定在这种情况下我会如何做到这一点,因为我在 Windows XP 环境中处理 MS Access 和 MySQL,而不是 Cygwin。
      【解决方案5】:

      如果您不使用 Ruby 1.9,并且假设 yhager 的命令有效,您可以尝试

      File.open('/tmp/w1252', 'w') do |file|
        my_windows_1252_string.each_byte do |byte|
          file << byte
        end
      end
      
      `iconv -f windows-1252 -t utf-8 /tmp/w1252 > /tmp/utf8`
      
      my_utf_8_string = File.read('/tmp/utf8')
      
      ['/tmp/w1252', '/tmp/utf8'].each do |path|
        FileUtils.rm path
      end
      

      【讨论】:

      • 哎呀:这与 yhager 的失败原因相同:Windows 没有 iconv(或 /tmp/ 目录,就此而言)。嗯……
      猜你喜欢
      • 1970-01-01
      • 2019-08-19
      • 2021-04-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-05-06
      • 2018-09-30
      • 2013-10-10
      相关资源
      最近更新 更多