Apache Pig 中的 Json 解析

Question

我有一个 json ：

{"Name":"sampling","elementInfo":{"fraction":"3"},"destination":"/user/sree/OUT","source":"/user/sree/foo.txt"}

我发现我们可以将 json 加载到 PigScript 中。

A = LOAD ‘data.json’
USING PigJsonLoader();

但是如何在 Apache Pig 中解析 json

--Sampling.pig
--pig -x mapreduce -f Sampling.pig -param input=foo.csv -param output=OUT/pig -param delimiter="," -param fraction='0.05'

--Load data
inputdata = LOAD '$input' using PigStorage('$delimiter');

--Group data
groupedByAll = group inputdata all;

--output into hdfs
sampled = SAMPLE inputdata $fraction;
store sampled into '$output' using PigStorage('$delimiter'); 

以上是我的猪脚本。 如何在 Apache pig 中 parse json（每个元素）？ 我需要将上面的 json 作为输入并解析其source,delimiter,fraction,output 并分别传入$input,$delimiter,$fraction,$output。

如何解析相同的 . 请推荐

Answer 1

试试这个：

--Load data
inputdata = LOAD '/input.txt' using JsonLoader('Name:chararray,elementinfo:(fraction:chararray),destionation:chararray,source:chararray');

--Group data
groupedByAll = group inputdata all;

store groupedByAll into '/OUT/pig' using PigStorage(',');

现在你的输出看起来：

all,{(sampling1,(4),/user/sree/OUT1,/user/sree/foo1.txt),(sampling,(3),/user/sree/OUT,/user/sree/foo.txt)}

在双引号中的输入文件分数数据{"fraction":"3"}。所以我使用分数作为 chararray 所以无法运行示例命令所以我使用上面的脚本来获取结果。

如果您想执行示例操作，请将分数数据转换为 int，然后您将得到结果。