一些自动启动的 Hadoop YARN 应用程序答案

【问题标题】：Some automatically launched Hadoop YARN application一些自动启动的 Hadoop YARN 应用程序
【发布时间】：2018-08-02 00:35:08
【问题描述】：

我是 Apache Hadoop 新手。我在 AWS 上安装了一个主控和两个从属的 YARN 集群。当我刚刚启动集群 YARN 时，我可以观察到一些应用程序是由 user dr.who 以 app type YARN 自动启动的。这让我很困扰。希望有人可以帮助我解决这个问题。谢谢！

application_1531399885156_0041  dr.who  hadoop  YARN    default Thu Jul 12 14:58:37 +0200 2018  N/A ACCEPTED    UNDEFINED   ApplicationMaster   0

【问题讨论】：

我可以帮助你与 dr.who 用户。它是 YARN 中的默认用户。如果没有用户提交作业，则显示为 Dr. Who 提交作业。
如果您查看 YARN UI 作业日志，这些作业在做什么？
@Abhinav “没有用户”是什么意思？
@cricket_007 好吧，日志中没有任何内容。该网址不可访问。他们中的一些人被杀了。 杀死从 dr.who (auth:SIMPLE) 收到的应用程序 application_1531401785430_0011
@Guobao 我的意思是当 Yarn 仅自己运行作业时，或者当纱线无法推断出哪个用户提交了作业时，它只会显示 dr.who 作为其默认用户

标签： hadoop amazon-ec2 hadoop-yarn

【解决方案1】：

这是最新发布的 Hadoop 中的一个已知错误，并且还创建了一个 JIRA。 dr.who 提交的应用程序，当用户杀死所有作业时，NodeManager 就会关闭。

编辑：问题解决

问题由于默认用户 dr.who 的权限不正确，客户无法通过资源管理器 UI 查看日志。

解决方案 客户更改了 core-site.xml 中的以下属性以解决问题。 hdfs 或 mapred 等其他值也可以解决此问题。如果集群由 Ambari 管理，则应在 Ambari > HDFS > Configurations >Advanced core-site > Add Property

中添加

hadoop.http.staticuser.user=yarn

同样的威胁发布在 Hortonworks 上，Sandeep Nemuri 回复了他，他写道：

停止进一步的攻击：

一个。使用防火墙/IP 表设置仅允许访问资源管理器端口的白名单 IP 地址（默认为 8088）。在 HA 设置中的两个资源管理器上执行此操作。这仅解决当前的攻击。为了永久保护您的集群，必须阻止所有 HDP 端点（例如 WebHDFS）在防火墙之外进行开放访问。

b.确保您的集群安全（kerberized）。

清理现有攻击：

一个。如果您已经在集群中发现上述问题，请过滤所有名为“MYYARN”的应用程序，并在验证这些应用程序不是您自己的用户合法提交后将其杀死。

b.您还需要手动登录到集群机器并使用“z_2.sh”或“/tmp/java”或“/tmp/w.conf”检查任何进程并杀死它们。

该主题的链接是：dr.who

【讨论】：

谢谢您的回答。你知道我如何在 JIRA 中找到这个问题吗？
我没有 JIRA 链接，但我有这个问题的精确解决方案。我正在编辑问题