Apache Pig 在 AWS EMR Hadoop 集群中没有输出答案

【问题标题】：Apache Pig no output in AWS EMR Hadoop clusterApache Pig 在 AWS EMR Hadoop 集群中没有输出
【发布时间】：2016-07-23 12:59:00
【问题描述】：

我是 AWS Hadoop 集群的新手。

我通过 EMR 使用 pig 0.14.0 部署了一个 Hadoop 集群。

我调用了一个 UDF，它有一些输出到标准输出 (System.out.println())。

但是，在管道成功完成后，我的 UDF 没有输出。

我也试过stderr 和file stream。

但仍然没有输出。

有人遇到过同样的问题吗？

如何处理？

【问题讨论】：

【解决方案1】：

您的 UDF 在集群的各个节点上运行，UDF System.out 调用将出现在节点的标准输出日志中。它们不会打印给您 Pig log。

您可以从资源管理器访问这些日志，您可以通过 AWS EMR 控制台轻松找到这些日志。您可以在那里找到如何启用访问的说明。

【讨论】：