对于 Apache Pig，如何在 python 中编写 Load UDF

Question

我想为 Apache Pig 编写一个 Python UDF 加载函数，这样我就可以在 Pig 脚本中按以下方式使用它：

register 'myudfs.py' using jython as myfuncs;
A = load 'data' using myfuncs.myLoader() as line;

Pig documentation 提供了一些用于编写 Load UDF 的详细信息在 Java 中，但不是在 Python 中。我已经设法用 Python 实现了非常有用的 Eval 函数，但是我找不到任何关于如何用这种语言编写 Load 函数的信息。

因为我已经在 Python 中实现了一些 Eval UDF，所以我想为我的所有 UDF 坚持使用这种语言。

Answer 1

是的，这是真的。您甚至可以查看来源进行验证。注意 JythonFunction 如何扩展 EvalFunc 而不是 LoadFunc。

如果我需要使用 python 来处理加载文件，我会这样做：

register 'myudfs.py' using jython as myudfs ;

A = LOAD 'foo.bar' AS (total:chararray) ; 
B = FOREACH A GENERATE myudf.prepare_input(total) ;

模拟一个 sudo-LoadFunc。