【问题标题】:Unable to write files through Spark Programs to Google cloud cluster无法通过 Spark 程序将文件写入谷歌云集群
【发布时间】:2018-07-19 15:28:22
【问题描述】:

两天后无法通过 Spark 程序将文件写入 Google 云集群。早些时候它工作得很好,但现在每当我启动我的集群时,我都会看到大约 200 个工作已经由名为 dr.who 的人提交。我也尝试致电 Google Home 支持,但无法联系到他们。

【问题讨论】:

  • Google Cloud Platform 支持,而不是 Google Home 肯定会更好地解决这个问题
  • 您可以前往 YARN 或 Spark UI 来终止应用程序,但可能有人入侵了您的集群,因此您可能需要一个新帐户
  • 几个星期以来一直如此。您的问题是从什么时候开始的?

标签: apache-spark hadoop google-cloud-platform google-compute-engine


【解决方案1】:

您可以使用Identity and Access Management (IAM) 来管理用户和权限。如果您看到用户帐户 dr.who,但不知道授予他们提交作业的权限,您可以删除该帐户。

【讨论】:

    【解决方案2】:

    好像有人入侵了您的集群。几周以来,我们在这里遇到了同样的问题。

    Google Cloud Dataproc Virus CrytalMiner (dr.who)

    【讨论】:

    • 你能解释一下-1吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-04-15
    • 2017-03-13
    • 2020-03-05
    • 1970-01-01
    • 1970-01-01
    • 2021-04-04
    • 1970-01-01
    相关资源
    最近更新 更多