如何使用 PIG/HIVE/Hbase 加载没有文本限定符的数据？

Question

我有一个 CSV 文件，其中包含文本限定符（“”）数据。我想使用没有文本限定符的 PIG/Hive/Hbase 将数据加载到 hdfs 中。请帮忙

my file input.CSV
"Id","Name"
"1","Raju"
"2","Anitha"
"3","Rakesh"

我想要这样的输出：

Id,Name
1,Raju
2,Anitha
3,Rakesh

Answer 1

在猪脚本中试试这个

假设您的输入文件名为 input.csv

1.首先使用copyfromlocal命令将此输入文件移动到HDFS。
2.在猪脚本下面运行这个

PigScript：
HDFS 模式：

A = LOAD 'hdfs://<hostname>:<port>/user/test/input.csv' AS line;
B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT_ALL(line,'"(.*)","(.*)"')) AS (id:int,name:chararray);
STORE B INTO '/user/test/output' USING PigStorage(',');

本地模式：

A = LOAD 'input.csv' AS line;
B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT_ALL(line,'"(.*)","(.*)"')) AS (id:int,name:chararray);
STORE B INTO 'output' USING PigStorage(',');

输出：

Id,Name
1,Raju
2,Anitha
3,Rakesh