猪中的 DUMP 需要很长时间答案

【问题标题】：DUMP in pig taking long time猪中的 DUMP 需要很长时间
【发布时间】：2016-04-21 04:20:39
【问题描述】：

我有一个猪脚本，我们在 UDF 的帮助下进行一些数据操作。

让我们理解一个例子。

data=someoperation;
olddata = newoperation;
Uniondata = UNION data,olddata;
DUMP Uniondata;

因此，我在这里使用 DUMP 来确保执行上述所有语句，而不是用于将数据流式传输到控制台。我认为 DUMP 的执行方式会导致与性能相关的问题。在这里，要确保 data 和 olddata 从 UDF 中不返回任何内容。我如何确保这些语句在不使用 DUMP 的情况下执行。

谢谢。

【问题讨论】：

【解决方案1】：

您可以为此目的使用 ILLUSTRATE 运算符。

使用 ILLUSTRATE 运算符查看数据是如何转换的一系列 Pig 拉丁语句。 ILLUSTRATE 允许您测试您的在小型数据集上运行程序并获得更快的周转时间。

因此，只需将 DUMP 替换为 ILLUSTRATE。还要对数据集进行采样以进行测试。

data=someoperation;
data= SAMPLE data 0.01; --# sample by 1%
olddata = newoperation;
uniondata = UNION data,olddata;
ILLUSTRATE Uniondata;

【讨论】：

【解决方案2】：

使用LIMIT 减少数据大小。

A = operation1;
B = operation2;
A1 = LIMIT A 100;
B1 = LIMIT B 100; 
A1B1 = UNION A1,B1;
DUMP A1B1;

【讨论】：