【问题标题】:Store relation into local file in pig not working将关系存储到猪的本地文件中不起作用
【发布时间】:2013-02-07 05:56:59
【问题描述】:

我是 pig 新手,我正在使用存储在 /etc/passwd 中的 passwd 文件。我已经使用以下代码在本地模式下启动 pig

A = LOAD 'passwd' using PigStorage(':');
B = foreach A generate $0 as id;
STORE B INTO 'output';

给我以下作业未能产生结果的错误。如果写为 DUMP B,则为最后一行;生成输出。这里有什么问题。? 在此先感谢

Failed Jobs:
JobId   Alias   Feature Message Outputs
job_local_0004  A,B MAP_ONLY    Message: Job failed! Error - NA file:///home/monish/Desktop/output.txt,

Input(s):
Failed to read data from "file:///home/monish/Desktop/passwd"

Output(s):
Failed to produce result in "file:///home/monish/Desktop/output.txt"

Job DAG:
job_local_0004


2013-02-07 11:13:40,578 [main] INFO      org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Failed!

【问题讨论】:

    标签: hadoop mapreduce apache-pig


    【解决方案1】:

    看起来您是从本地目录 (file:///home/monish/Desktop) 调用 pig,然后使用相对路径加载文件。

    尝试完全限定文件路径:

    A = LOAD '/etc/passwd' using PigStorage(':');
    

    【讨论】:

    • 感谢@chris 的建议,但当我用 STORE B INTO '/tmp/output' 编辑最后一行时,程序运行良好,不知道 wat 到底错了,但它与 /tmp/ 一起工作输出!!
    • 可能是权限问题?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-08-29
    • 1970-01-01
    • 1970-01-01
    • 2020-06-07
    • 1970-01-01
    • 2016-01-05
    • 1970-01-01
    相关资源
    最近更新 更多