【问题标题】:Amazon EMR how to find out when job is finish?Amazon EMR 如何知道作业何时完成?
【发布时间】:2013-02-26 05:54:27
【问题描述】:

我正在使用 Amazon Elastic MapReduce Ruby (http://aws.amazon.com/developertools/2264) 运行我的 Hive 作业。有没有办法知道工作何时完成?现在我能想到的就是使用“--list --active”继续运行emrclient,但我希望有更好的方法来做到这一点。

谢谢

【问题讨论】:

    标签: amazon-s3 hive emr


    【解决方案1】:

    您也可以通过aws console 的 EMR 部分了解这一点。

    如果您关心的是在您的工作完成后终止集群,那么在启动集群时不要使用选项--stay-alive。或者,您可以有一个脚本来轮询正在运行的集群的当前状态,并在它进入“等待”状态时终止它。

    我认为没有其他方法。

    【讨论】:

    • 我没有打开 --stay-alive 标志。我想知道工作何时完成,因为我可以立即将数据从 s3 传回。目前,有一个拉动脚本来执行此操作。这不是很“漂亮”,但我认为现在就可以了。谢谢你:)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-05-18
    • 2020-06-16
    • 2018-12-07
    • 2018-01-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多