如何使用 Apache Whirr 在 AWS 上建立单节点 Hadoop 实例？答案

【问题标题】：How do you establish single node Hadoop instance on AWS using Apache Whirr?如何使用 Apache Whirr 在 AWS 上建立单节点 Hadoop 实例？
【发布时间】：2011-06-12 17:33:32
【问题描述】：

我正在尝试使用 Apache Whirr 在 Amazon Web Services 上运行 Hadoop 的单节点实例。我设置whirr.instance-templates 等于1 jt+nn+dn+tt。实例启动良好。我可以创建目录，但是当我尝试put 文件时，我得到了File could only be replicated to 0 nodes, instead of 1 error。当我执行hadoop fsck / 时，我收到Exception in thread "main" java.net.ConnectException: Connection refused 错误。有人知道我的配置有什么问题吗？

【问题讨论】：

标签： amazon-ec2 hadoop amazon-web-services cloudera

【解决方案1】：

我的经验是，whirr 并不总是可靠地启动所有服务。听起来好像namenode启动了（namenode负责存储目录信息）但是datanode没有启动（datanode存储数据）。

尝试运行

hadoop dfsadmin -report

查看数据节点是否可用。

如果不是：通常重启集群会有所帮助。

【讨论】：