尝试使用 Ruby 1.8 / FasterCSV 解析带有变音符号等的 CSV 文件时出现问题答案

【问题标题】：Problems trying to parse CSV file with umlaut's etc in it using Ruby 1.8 / FasterCSV尝试使用 Ruby 1.8 / FasterCSV 解析带有变音符号等的 CSV 文件时出现问题
【发布时间】：2011-06-30 13:27:10
【问题描述】：

我有一个 CSV 文件，其中包含这样的行：

...,"Städtische Galerie im Lenbachhaus",...

我正在使用带有 FasterCSV gem 的 Ruby 1.8，如下所示：

FasterCSV.foreach(file, :encoding => 'u', :headers => :first_row) do |r|
    as = ImportObject.create!(r.to_hash)
end

对于大多数行，它工作正常，但对于这些行，带有特殊字符的字段被截断，因此我们将“St”保存在数据库中。

我已将 $KCODE="u" 和带/不带编码选项，但无济于事。

数据库是 MySQL。

编辑：

我尝试将代码推送到 Heroku (Postgres)，但现在出现新错误：

2011-02-19T17:19:01-08:00 应用 [web.1]： ActiveRecord::StatementInvalid （PGError：错误：无效字节编码“UTF8”的序列：0xe46474

2011-02-19T17:19:01-08:00 应用 [web.1]：提示：如果出现此错误，也可能发生字节序列不匹配服务器期望的编码，其中由“client_encoding”控制。

2011-02-19T17:19:01-08:00 应用 [web.1]：：插入“import_objects”（... "title", ...) VALUES (..., 'St?dtische 伦巴赫豪斯画廊，...) 返回“id”）：

【问题讨论】：

如果您只是读取文件并直接从 Ruby 打印名称，您会得到什么？也就是说，是 Ruby 对编码感到窒息，还是只有在通过数据库后才被截断？
嗨@Xavier，我试过了，但不确定结果......它显示的不仅仅是St，但没有显示特殊字符，即“St?dtische Galerie Lenbachhaus” - 但是当它放入数据库时会被截断。不确定问题是由于误读文件还是未正确配置以写入文件。
由于 FasterCSV 大概可以很好地读取 UTF-8，我认为它不理解您的 ä 表明您的文件实际上不是 UTF-8 编码的，但是 something else...我在这一点上有点不合群，但 wuputah 有一个（第二个）答案可能会有所帮助。祝你好运！

标签： ruby string encoding csv fastercsv

【解决方案1】：

问题不在于 FasterCSV，因为在我的测试中，FasterCSV 读取这些数据没有问题。例如：

>> FasterCSV.parse("a,Städtische Galerie im Lenbachhaus,b,ä", :headers => [:a,:b,:c,:d]) do |r|
|    r = r.to_hash
|    p r
|    puts r[:d]
|  end  
{:c=>"b", :a=>"a", :d=>"\303\244", :b=>"Städtische Galerie im Lenbachhaus"}
ä

请注意，Ruby 1.8 不能正确处理 unicode 字符，但这主要会影响String#length 之类的内容。例如，Ruby 会将此字符串的长度返回为 34 而不是 33。但是，在您对字符串执行某些操作（例如对其运行验证）之前，这不会产生影响。

>> "Städtische Galerie im Lenbachhaus".length
=> 34
>> "Stadtische Galerie im Lenbachhaus".length
=> 33

所以我猜这与ImportObject 或您的数据库连接的配置方式有关。

这些测试中使用的 Ruby 版本：

>> RUBY_DESCRIPTION 
=> "ruby 1.8.7 (2010-04-19 patchlevel 253) [i686-darwin10.4.0], MBARI 0x6770, Ruby Enterprise Edition 2010.02"

【讨论】：

嗨 wuputah - 我正在使用“ruby 1.8.7 (2010-12-23 patchlevel 330) [i686-darwin10.5.0]”。 ImportObject 是一个 ActiveRecord::Base 对象，没有验证 - 但我确实使用 attr_accessible。我曾尝试通过 Rails 控制台修改 AR 对象，这似乎与特殊字符一起使用 - 所以我认为那一边没问题...
很公平。根据您的 cmets，听起来您确实有文件编码问题 - 它本身不是 FasterCSV 本身，而是将文件读入 Ruby... 将发布一个新答案。

【解决方案2】：

你没有说你使用的是什么数据库类型，但很可能数据库没有配置为 UTF-8，而是期待 ASCII。向其抛出非 ASCII 字符可能会导致字符串被截断、字符丢失或被占位符替换的字符，具体取决于数据库以及您使用的与其对话的 gem 或 ORM。当我建立一个数据库时，我确保它是为 UTF-8 配置的，或者，我确保我推入它的文本是经过编码的，这样它就可以在没有损坏或丢失的情况下进行往返。我和你一样学到了这一课，很难。

检查数据库的日志，和/或检查您的代码，看看您是否可以为数据库插入启用日志记录以及错误和警告消息。

禁用大量数据库的警告和错误很容易，但在开发过程中您不想这样做。这些信息很重要，可能预示着即将出现的大问题。忽略它们并将代码推送到生产环境可能会导致不眠之夜。

【讨论】：

嗨 - 使用 MySQL - 我可以通过前端输入这些特殊字符，然后将它们重新呈现 - 所以我认为没关系......谢谢。

【解决方案3】：

正如您推测的那样，问题可能是文件编码问题。最可能的情况是您的文件实际上并未使用 UTF-8 编码，因此您的应用程序的其余部分无法识别外部编码。也有可能 - 但我认为不太可能 - 编码中使用的字节之一是 ASCII 中的引号或逗号，这会弄乱 FasterCSV 解析数据。

首先，在 CSV 文件中创建一个仅包含“问题行”的测试文件。接下来，读取文件中的数据：

text_in = File.read('data.csv')

现在你必须转换它。问题是，你真的不知道它是什么。你将不得不尝试一些不同的事情。我最好的猜测是文本是 Latin-1 编码的。

require 'iconv'
text_out = Iconv.conv("UTF8", "LATIN1", text_in)

现在尝试导入此数据。或者，您可以写入磁盘并打开它，看看它是否正确编码。

但老实说，您可以在 Ruby 之外更轻松地做到这一点。

$ iconv -t UTF8 -f LATIN1 < data.csv > data_conv.csv

进一步阅读：

【讨论】：

完美 - iconv 命令行成功了 - 文件现在加载到带有元音变音符号的数据库中。 FWIW，在我的 MBA 上，它的 UTF-8 不是 UTF。