【问题标题】:running nutch on the hadoop ,where is the nutch logs?在hadoop上运行nutch,nutch日志在哪里?
【发布时间】:2012-10-16 06:43:04
【问题描述】:

我的nutch在hadoop上运行,我想查看nutch的运行日志, 但找不到像独立 nutch 日志那样的输出日志。

【问题讨论】:

    标签: logging hadoop nutch


    【解决方案1】:

    如果你在hadoop上运行nutch,会生成每个阶段的每个mapper和reducer对应的日志。那个位置是{HADOOP_LOG_DIR}/userlogs/<task id>/syslog

    【讨论】:

      【解决方案2】:

      如果您在分布式或伪分布式模式下运行 Hadoop,那么您应该能够使用 map reduce 管理界面(例如主节点的端口 50030)访问每个作业的日志。

      有关日志在 Hadoop 中的位置,请参阅 this link

      【讨论】:

        猜你喜欢
        • 2015-07-29
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多