【问题标题】:Hadoop - Map and reduce stuck at 0% all the timeHadoop - 映射和减少一直停留在 0%
【发布时间】:2010-07-22 20:53:45
【问题描述】:

我正在尝试使用 Eclipse 在 Hadoop 平台上实现 PageRank 算法,但我遇到了一些不寻常的问题 :)。我在本地尝试过:安装 cygwin,设置 Hadoop 0.19.2(和 0.18.0),启动必要的守护进程并安装 Eclipse 3.3.1。我上传了 testinf .txt 文件,然后尝试运行 WordCount 示例甚至是一个简单的 .java,我得到了这个输出(大约 100 次 :))):

10/07/22 22:10:23 INFO mapred.FileInputFormat:要处理的总输入路径:1
22 年 10 月 7 日 22:10:23 信息 mapred.JobClient:正在运行的作业:job_201007220415_0017
10/07/22 22:10:24 INFO mapred.JobClient: map 0% reduce 0%

Map 和 reduce 一直都是 0%。我尝试在虚拟机上使用 Hadoop,我遇到了同样的情况。

我遵循了 Hadoop 页面和其他有用页面中的所有说明,但它并没有解决我的问题。有什么建议么? :)

【问题讨论】:

    标签: eclipse hadoop mapreduce


    【解决方案1】:

    这听起来更像是 Hadoop 设置的问题,而不是 Eclipse。确保集群的所有部分都在运行,即 DataNode(s)、TaskTracker(s)、JobTracker。如果这些都在运行,则可能是您设置作业的方式存在问题。

    【讨论】:

      【解决方案2】:

      你打算用 Java 做这件事吗?如果没有,您可以使用名为 WUKONG 的 Ruby gem,它有一个 pagerank 示例 http://github.com/mrflip/wukong/tree/master/examples/pagerank/

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2016-04-06
        • 1970-01-01
        • 2015-05-29
        • 1970-01-01
        • 2014-01-13
        相关资源
        最近更新 更多