使用 Text::CSV 在 perl 中解析 CSV 文件的问题

Question

我正在尝试使用Text::CSV 来解析这个CSV file。这是我的做法：

open my $fh, '<', 'test.csv' or die "can't open csv";
my $csv = Text::CSV_XS->new ({ sep_char => "\t", binary => 1 , eol=> "\n"});
$csv->column_names($csv->getline($fh));

while(my $row = $csv->getline_hr($fh)) {
    # use row
}

因为文件有 169,252 行（不包括标题行），我希望循环运行那么多次。但是，它只运行 8 次并给了我 8 行。我不确定发生了什么，因为 CSV 看起来就像一个普通的 CSV 文件，其中 \n 作为行分隔符，\t 作为字段分隔符。如果我像这样遍历文件：

while(my $line = <$fh>) {
    my $fields = $csv->parse($line);
}

然后循环遍历所有行。

Answer 1

Text::CSV_XS 静默失败并出现错误。如果您在 while 循环之后添加以下内容：

 my ($cde, $str, $pos) = $csv->error_diag ();
 print "$cde, $str, $pos\n";

您可以查看解析文件是否有错误并获得输出：

2034, EIF - Loose unescaped quote, 336

表示列：

GT New Coupe 5.0L CD Wheels: 18" x 8" Magnetic Painted/Machined 6 Speakers

有一个未加引号的转义字符串（“”之前没有反斜杠）。

Text::CSV perldoc 声明：

allow_loose_quotes

默认情况下，解析在不带引号的字段中包含 quote_char 字符的字段，例如

1,foo "bar" baz,42

会导致解析错误。尽管允许这种格式仍然是一种不好的做法，但我们无法帮助有些供应商让他们的应用程序吐出这样样式的线条。

如果您将创建Text::CSV_XS 的参数更改为：

my $csv = Text::CSV_XS->new ({ sep_char => "\t", binary => 1,
    eol=> "\n", allow_loose_quotes => 1 });

问题消失了，直到第 105265 行出现错误 2023：

2023, EIQ - QUO character not allowed, 406

perldoc 中此错误的详细信息：

2023 “EIQ - 不允许使用 QUO 字符”

像 "foo "bar" baz",qu 和 2023,",2008-04-05,"Foo, Bar",\n 这样的序列会导致这个错误。

将引号字符设置为空（在调用Text::CSV_XS->new() 时设置quote_char => ''）似乎可以解决此问题并允许处理整个文件。但是，我会花时间检查这是否是 CSV 数据的明智选择。

TL;DR 总而言之，您的 CSV 格式不是最好的，您将不得不解决它。