Apache Pig 处理带有引号的字段的 CSV

Question

如何处理某些字段用引号括起来的 CSV 文件？

例如要处理的行（字段分隔符是','）

我是column1，我是column2，“是的，我是column3”

该示例包含三列。但是下面的例子会说我有四列：

A = 使用 PigStorage(',') 加载 '/path/to/file'；

请有任何建议，链接到资源..？

Answer 1

尝试加载数据，然后执行 FOREACH GENERATE 以将数据重新生成为您需要的任何格式。对于需要删除引号的字段，请使用 REPLACE($3, '\"')。

data = LOAD 'testdata' USING PigStorage(",");
data = FOREACH data GENERATE
    (chararray) $0                AS col1:chararray,
    (chararray) $1                AS col2:chararray,
    (chararray) REPLACE($3, '\"') AS col3:chararray);