【问题标题】:Hadoop - Reducer to mapper portHadoop - 减速器到映射器端口
【发布时间】:2012-05-30 10:06:20
【问题描述】:

根据http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapreduce/Reducer.html

reducer 使用 HTTP 跨网络复制每个 Mapper 的排序输出。

节点上的哪个端口用于此数据传输?默认是50060吗?

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    是每个slave节点上运行的tasktracker的端口,一般为50060(可以查看tasktracker日志文件:

    2012-05-29 20:24:23,925 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50060 webServer.getConnectors()[0].getLocalPort() returned 50060
    2012-05-29 20:24:23,925 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50060
    2012-05-29 20:24:23,925 INFO org.mortbay.log: jetty-6.1.26
    2012-05-29 20:24:24,283 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50060
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2017-10-13
      • 2010-10-23
      • 2014-09-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多