猪脚本中可能的存储语句的最大数量是多少？

Question

到目前为止，我在一个pig脚本中只使用了两个store语句。在一个pig脚本中使用多个store语句有什么限制吗？

 A = load 'page_views'; 
store A into 'tmp1' using PigStorage();
 B = load 'tmp1' using PigStorage();
 C = filter B by $0 is not null; 
store C into 'tmp2';
....
....
store D into 'tmp3';

Answer 1

具有多个存储命令的脚本可能导致大量重复工作，但这在很大程度上取决于您如何使用 PIG。从技术上讲，单个脚本中没有最大数量的 store 语句。但是，如果您做错了，您可能会遇到一些性能问题。 Apache PIG Wiki 中有一篇关于性能的非常简洁的文章，您可能会发现有用的阅读材料。在多查询优化方面，还有an issue filed in Jira。