在 Amazon EMR 上安装 PIG 0.14答案

【问题标题】：installing PIG 0.14 on Amazon EMR在 Amazon EMR 上安装 PIG 0.14
【发布时间】：2015-05-06 02:17:06
【问题描述】：

我需要使用 Hadoop 2.x 在 Amazon EMR 上从 PIG 运行 Python 流 UDF

我亲自尝试过 Python 流 UDF 在 0.12 上不起作用，并且根据 0.14 文档中缺少的注释，在我看来它应该在这个版本中工作。

在 Amazon EMR 文档中看到受支持的 PIG 版本，在我看来，只有低于 0.12 的受支持 PIG http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/Pig_SupportedVersions.html

所以我的问题是，是否有人对如何可能被“黑客攻击”或将 PIG 0.14 部署到 EMR 集群有一些想法或经验？如果真的有适用于 Hadoop 2.x 和 PIG 0.14 的 Python UDF（只是想知道有问题的 PIG 0.14 安装是否值得）？

【问题讨论】：

【解决方案1】：

所以最后我通过简单地将猪 0.14 下载到引导脚本中的所有机器并用 ~/.bashrc 中的猪 0.14 位置覆盖 PIG_HOME 来解决这个问题，它对我有用。（至少在我通过 ssh 连接到主服务器时使用 pig 0.14）

【讨论】：