【发布时间】:2012-10-16 06:43:04
【问题描述】:
我的nutch在hadoop上运行,我想查看nutch的运行日志, 但找不到像独立 nutch 日志那样的输出日志。
【问题讨论】:
我的nutch在hadoop上运行,我想查看nutch的运行日志, 但找不到像独立 nutch 日志那样的输出日志。
【问题讨论】:
如果你在hadoop上运行nutch,会生成每个阶段的每个mapper和reducer对应的日志。那个位置是{HADOOP_LOG_DIR}/userlogs/<task id>/syslog
【讨论】:
如果您在分布式或伪分布式模式下运行 Hadoop,那么您应该能够使用 map reduce 管理界面(例如主节点的端口 50030)访问每个作业的日志。
有关日志在 Hadoop 中的位置,请参阅 this link。
【讨论】: