【发布时间】:2012-01-12 23:53:25
【问题描述】:
我正在寻找“正确”的方式来编写可以处理 Pig 作业输出的 Python 代码。
这是我的情况。我编写了一个 Pig 脚本来处理大量数据并输出一小部分关系。输出数据量小到可以直接DUMP到控制台。例如:
grunt> DUMP results
(Control, column1, column2, column3, column4, column5, column6)
(Treatment1, column1, column2, column3, column4, column5, column6)
(Treatment2, column1, column2, column3, column4, column5, column6)
(Treatment3, column1, column2, column3, column4, column5, column6)
grunt>
下一步,我想对跨关系的数字进行一些数字运算,例如计算观察到的处理结果的显着性的 p-vals。我真的很想为此使用 Python:Pig 本身显然不适合这种任务,我宁愿不要用 Java 重写现有代码。所以我想做的是以某种方式从 python 绑定到 STORE 或 DUMP 命令的输出,然后继续。我的问题是找出前进的最佳方式。以下是我可以看到的方式:
- 使用 Python 编写将执行计算的 UDF。我可以做这个;事实上,我的 Pig 脚本已经调用了几个 Python UDF。但是,我的印象是 UDF 旨在一次处理一个关系/输入行,我需要从多个关系中获取数据以实现我的目标。我可以在调用之间的 UDF 中整合某种状态存储,但这似乎不是正确的解决方案。
- 在 Pig 0.9.1 中通过 Jython 使用嵌入式 Python。我对这种方法寄予厚望,但从我在该功能上找到的有限文档来看,它似乎主要用于控制工作流程(典型示例是检测交互算法中的收敛),而不是直接处理输出。具体来说,我看到了有关如何绑定到作业元数据的文档,例如它是成功还是失败,但没有看到如何绑定到输出。希望在这件事上被证明是错误的。
- 让 Python 脚本调用 Pig 并将所需输出位置的本地或 HDFS 路径传递给它,等待作业完成,然后使用 Python 从该路径读取/解析关系。看起来很老套。
我是否缺少一个明显的选项,或者我对上述选项的理解存在很大差距?非常欢迎您的反馈!
【问题讨论】:
-
我不知道如何对 pig 执行此操作,但 yelp 的 mrjob 正是您在 hadoop 流中的#3 上所要求的。它也可能以某种方式使用猪。谷歌显示了一些人们要求这个的结果。不过,唐纳德矿工的例子对我来说似乎更简单。
标签: python apache-pig