【发布时间】:2016-01-15 17:20:51
【问题描述】:
我正在使用 Hadoop 2.6.2 的 Ubuntu 14.04 VM 中进行开发/研究,但由于我向 hdfs 发出的任何命令总是需要大约 15 秒的时间才能运行,所以我经常受到阻碍。我试过四处寻找,但我无法找到问题的根源,即使这是预期的行为。
我关注directions on Apache's website 并成功启动并在 /opt/hadoop-2.6.2/ 中正常运行
以下是一个简单的测试命令,我用来评估我是否解决了问题。
/opt/hadoop-2.6.2/bin/hdfs dfs -ls /
我检查了日志,没有发现任何错误或奇怪的警告。我在网上找到的一个建议是将记录器设置为输出控制台。
HADOOP_ROOT_LOGGER=DEBUG,console /opt/hadoop-2.6.2/bin/hdfs dfs -ls /
这样做会产生一些有趣的东西。您可以观看它挂在以下之间。
16/01/15 11:59:02 DEBUG impl.MetricsSystemImpl: UgiMetrics, User and group related metrics
16/01/15 11:59:17 DEBUG util.KerberosName: Kerberos krb5 configuration not found, setting default realm to empty
想法:当我第一次看到这个时,我认为它正在等待身份验证,但我不仅没有安装 Kerberos,而且 core-site.xml 的默认配置显示身份验证模式设置为“简单”。这让人想知道为什么它会寻找任何与 Kerberos 相关的东西。我试图在 xml 中专门禁用它,并且滞后/缓慢并没有消失。我有点感觉延迟是因为它超时等待某事。其他人有什么想法吗?
【问题讨论】: