猪 jython udf 导入失败

Question

问题是指本地猪 0.11.1 运行，但最终在 EMR 的猪上具有使用前景。我正在尝试编写一个导入“re”模块的 jython UDF，我在register 'xyz.py' with jython as xyz 之后得到了这个：

2013-11-06 13:59:47,259 [main] WARN  org.apache.pig.scripting.jython.JythonScriptEngine -   module file does not exist: re, /home/amit/Servers/Pig/pig-0.11.1/lib/jython-standalone-2.5.3.jar/Lib/re.py

udf 很简单：

import re

我的 .bashrc 中有 PIG_HOME 设置，问题基本上是什么问题？值得注意的是，以下示例有效

import sys
print(sys.path)

谢谢， 阿米特

Answer 1

安装似乎缺少 stdlib 或找不到它。 import sys 应该可以工作，因为它内置在运行时本身中，这与 re 模块不同，re 模块位于运行时之外，位于单独的 python 模块中。尝试导入另一个位于标准库中的模块，例如unittest。我怀疑你会得到类似的结果。

---

@Amit 我下载了相同的版本进行确认，并且能够在 UDF 中导入 re 模块。听起来这是您本地安装的问题。我建议尝试以下方法：

1. 删除并重新下载 Pig tgz 文件。
2. 如果问题仍然存在，请确认您的类路径中没有其他 jython jar。 Pig 与 /Lib 目录中的 Jython jar 捆绑在一起。这个 jar 里面是 python stdlib（包括 re 模块）。 Jython 还捆绑为一个不包含 stdlib 的“裸”jar。如果这在您的类路径中，则可能会导致您的问题。