【问题标题】:can't execute any hadoop command after installing cloudera manager安装cloudera manager后无法执行任何hadoop命令
【发布时间】:2018-03-10 09:20:37
【问题描述】:

我已经成功建立了我的 cdh 集群(5.14.0),其中包括 4 个节点,并安装了包括 hdfs、yarn、zookeeper 和 impala 在内的服务。 cloudera 管理器网页运行良好。

但是当我打开终端并尝试运行任何 hadoop 命令时,如 hadoop、impala 或任何其他命令,shell 提示“找不到命令”。

我使用用户 hadoop 安装了 CM,并使用默认用户 cloudera-scm 在歌手用户模式下运行所有​​服务。我知道 CM 应该为我设置环境变量,但似乎没有。

非常感谢您的帮助!

【问题讨论】:

  • Cloudera Manager 不会修改您的本地 $PATH 变量

标签: hadoop cloudera


【解决方案1】:

确保从 cloudera manager 服务器下载 CDH 和其他附加服务包并将其分发到主机。

将网关角色添加到运行 hadoop 命令的主机。

不要忘记部署客户端配置。选择您的集群并单击部署客户端配置选项。

您可以直接从 cloudera manager web ui 执行此操作。

或者您可以使用 cloudera manager REST API 来刷新客户端配置。

http://cloudera.github.io/cm_api/apidocs/v16/path__clusters_-clusterName-_commands_deployClientConfig.html

"/api/v16/clusters/{clusterName}/commands/deployClientConfig"

发布http://admin.scmserver.com:7180/api/v16/clusters/mycluster/commands/deployClientConfig

选择支持的 API 版本。

【讨论】:

  • 感谢您的建议。我没有部署客户端配置,因为我不明白它的含义。现在我已经通过 web ui 完成了,我可以在 /etc/hadoop/conf 中找到一些 hadoop 配置文件。但是,它显然没有设置 HADOOP_HOME 环境,也没有将 hadoop bin 路径添加到系统 PATH。接下来我该怎么办?
  • 客户端配置包含必要的配置参数、环境变量和hadoop服务的地址,例如name node、data node、资源管理器、zookeeper服务器、hive server和hive metastore等,以便从cli访问它和其他 hadoop 客户端。您不需要设置 HADOOP_HOME 和其他库路径。部署客户端配置后默认设置。它位于 /etc/hadoop/conf 和 /etc/hadoop/conf.cloudera.hdfs 下。
  • 您可以在 /var/run/cloudera-scm-agent/process/ 下引用相同的配置
  • 我有安装和使用hadoop单机的经验,所以我知道这些配置文件。问题是我无法在 shell 上运行 hadoop 命令。我应该先手动创建用户 cloudera-scm 吗?我正在使用 root 登录 shell,但我无法 su cloudera-scm。
  • 对于单一模式,所有 hadoop 服务都配置为以 cloudera-scm 用户身份运行。希望这个用户是在安装过程中创建的。能否分享一下截图。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-08-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多