【发布时间】:2016-06-04 15:26:27
【问题描述】:
我正在从这里尝试快速入门:http://datafu.incubator.apache.org/docs/datafu/getting-started.html 我几乎尝试了一切,但我确信这一定是我的错。我已经试过了:
- 正在导出 PIG_HOME、CLASSPATH、PIG_CLASSPATH
- 使用 -cpdatafu-pig-incubating-1.3.0.jar 启动猪
- 在本地和 hdfs 中注册 datafu-pig-incubating-1.3.0.jar => 都成功(至少没有显示错误) 没有任何帮助
在猪身上试试这个:
register datafu-pig-incubating-1.3.0.jar
DEFINE Median datafu.pig.stats.StreamingMedian();
data = load '/user/hduser/numbers.txt' using PigStorage() as (val:int);
data2 = FOREACH (GROUP data ALL) GENERATE Median(data);
或直接
data2 = FOREACH (GROUP data ALL) GENERATE datafu.pig.stats.StreamingMedian(data);
我收到此名称解析错误:
2016-06-04 17:22:22,734 [main] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1070:无法使用导入解析 datafu.pig.stats.StreamingMedian:[, java.lang., org.apache.pig.builtin., org.apache.pig.impl.builtin.] 日志文件中的详细信息: /home/hadoop/pig_1465053680252.log
当我查看 datafu-pig-incubating-1.3.0.jar 时,一切正常。我还尝试了一些 Bag 功能,然后出现同样的错误。 我认为这是一种我看不到的菜鸟错误(因为我没有在 SO 或 google 中找到 datafu 的特定答案),所以提前感谢您对此有所了解。
【问题讨论】:
-
请考虑编辑您的问题标题和正文。尽量简化事情
-
现在更正了格式,抱歉
-
只是为了确认一下:如果你使用基本的 pig 函数(如 SUM)一切正常,如果你使用任何 datafu 函数就没有任何作用?
-
一个长镜头,但你可以尝试从 org.apache.datafu 或 org.apache.pig.datafu 开始。另外,如果你在本地模式下运行 pig 有帮助吗?很明显:引用的日志文件中有什么?
-
您是否尝试过您的 jar 文件的绝对路径?另外,在本地检查 jar 的文件夹结构(即,将其重命名为 .zip 并解压缩),看看它是否与您的 StreamingMedian 类的路径匹配。
标签: java hadoop apache-pig apache-datafu