Hadoop在单节点集群上运行排序示例

Question

我正在尝试在 Hadoop 单节点集群上运行排序示例。首先，我启动守护进程：

hadoop@ubuntu:/home/user/hadoop$ bin/start-all.sh

然后我运行随机写入器示例以生成顺序文件作为输入文件。

hadoop@ubuntu:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar randomwriter rand

hadoop@ubuntu:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar randomwriter rand

运行 0 张地图。

Job started: Thu Mar 31 18:21:51 EEST 2011 
11/03/31 18:21:52 INFO mapred.JobClient: Running job: job_201103311816_0001 
11/03/31 18:21:53 INFO mapred.JobClient:  map 0% reduce 0% 
11/03/31 18:22:01 INFO mapred.JobClient: Job complete: job_201103311816_0001 
11/03/31 18:22:01 INFO mapred.JobClient: Counters: 0 
Job ended: Thu Mar 31 18:22:01 EEST 2011 

这项工作耗时 9 秒。

hadoop@ubuntu:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar sort rand rand-sort

在 1 个节点上运行以从 hdfs://localhost:54310/user/hadoop/randinto 排序

hdfs://localhost:54310/user/hadoop/rand-sort 与 1 减少。

Job started: Thu Mar 31 18:25:19 EEST 2011 
11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0 
11/03/31 18:25:20 INFO mapred.JobClient: Running job: job_201103311816_0002 
11/03/31 18:25:21 INFO mapred.JobClient:  map 0% reduce 0% 
11/03/31 18:25:32 INFO mapred.JobClient:  map 0% reduce 100% 
11/03/31 18:25:34 INFO mapred.JobClient: Job complete: job_201103311816_0002 
11/03/31 18:25:34 INFO mapred.JobClient: Counters: 9 
11/03/31 18:25:34 INFO mapred.JobClient:   Job Counters 
11/03/31 18:25:34 INFO mapred.JobClient:     Launched reduce tasks=1 
11/03/31 18:25:34 INFO mapred.JobClient:   FileSystemCounters 
11/03/31 18:25:34 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=96 
11/03/31 18:25:34 INFO mapred.JobClient:   Map-Reduce Framework 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce input groups=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Combine output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce shuffle bytes=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Spilled Records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Combine input records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce input records=0 
Job ended: Thu Mar 31 18:25:34 EEST 2011 

这项工作耗时 14 秒。

hadoop@ubuntu:/home/user/hadoop$ bin/hadoop dfs -cat rand-sort/part-00000

SEQ#"org.apache.hadoop.io.BytesWritable"org.apache.hadoop.io.BytesWritablej"��mY�&�٩�#

我是 Hadoop 新手。我所做的一切都是正确的，还是我做错了什么？我的问题是，我怎样才能看到 randomwritewr 生成的数据和排序示例的结果是正确的？从哪里可以看到它们？

Answer 1

问题是您的 tasktracker 在您尝试运行作业时并未启动，它不会立即启动。您可以运行 bin/hadoop job -list-active-trackers 来查看 tasktracker 是否启动，可能需要一点时间才能完成。没有 tasktracker = 没有节点可以将 writer 映射到。

Answer 2

11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0 

没有输入，你必须提供一个路径，作业必须期待他的输入文件。 看来 RandomWriter 也没有 Input，你必须为每个作业提供 Input，否则不会启动任何东西。

RandomWriter @ Hadoop Wiki