【问题标题】:Where I can see the pig map-reduce job failure我可以在哪里看到 pig map-reduce 作业失败
【发布时间】:2016-04-03 03:41:13
【问题描述】:

我在 -hcatalogue 模式下运行 pig 脚本,但它在 map reduce 作业执行时失败。它说其中一项 map reduce 工作失败了。解决问题的最佳方法是什么。我正在尝试查找日志文件,但我无法获取它。 有什么具体的地方可以找到日志吗?

【问题讨论】:

    标签: mapreduce apache-pig


    【解决方案1】:

    pig-script 日志在您运行 pig 脚本或启动 pig-console 的工作目录中创建。

    对于 Map-Reduce 日志,您必须检查 [HADOOP_HOME]/logs/userlogs 目录。您将在 sysout 文件或 syserr 文件中收到错误消息。

    【讨论】:

    • 感谢您的回答。我在获取 hadoop_home 变量的值时遇到了困难。你知道我在哪里可以找到它们吗?看起来那些没有设置
    • HADOOP_HOME 变量默认未设置。您必须手动将其设置为提取 hadoop-xxxx.tar.gz 文件的位置。如果你在本地模式下运行 Pig,即pig -x local,那么你不需要设置 HADOOP_HOME 变量。
    猜你喜欢
    • 1970-01-01
    • 2017-09-20
    • 2021-10-20
    • 1970-01-01
    • 1970-01-01
    • 2011-03-25
    • 2017-05-03
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多