【问题标题】:Should we delete DataLake Analytic Job after completion?我们应该在完成后删除 Data Lake Analytics Job 吗?
【发布时间】:2016-05-03 12:04:41
【问题描述】:

我们非常频繁地提交 U-SQL 作业,并且我们看到了以前在 ADLA 中提交的作业列表。

我们看到 Data Lake 存储的总存储利用率每天都在增加。我们提交的所有作业仅更新一个输出文件,大小约为 10 MB。

Data Lake 存储的当前存储利用率为 9.3 GB。我们认为这是由于之前的作业资源仍保存在数据湖中。我们应该解决这个问题还是应该在这里做点什么?

【问题讨论】:

    标签: azure azure-data-lake u-sql


    【解决方案1】:

    我认为工作数据会在几周后过期,但如果您担心并且不需要这些数据进行审计或调查,请随时删除它们。

    鉴于商店没有限制,根据目前的定价网站,存储成本为 4c/GB/月,但这并不是很大的成本。

    【讨论】:

    • 感谢 Micheal,此信息有帮助。
    • 嗨迈克尔,在我们的例子中,工作数据不会过期。结果 azure 数据湖的总存储利用率猛增到 500GB,作业总数在 5000 左右。所以我们想清理旧作业,我们该怎么做呢?我没有看到用于删除作业的删除按钮。
    • @SarathRachuri:通常“工作数据”可以分桶到“工作列表”和“工作资源”。 “职位列表”数据不占用账户空间,也不计费。作业资源占用空间,但它们会在 30 天后到期(前一段时间,这已从无到期日更改)。如果您愿意,请将您的帐户名(Microsoft 的 mrys)发电子邮件给我,我们可以看看根本原因是什么。此外,您也可以在作业完成后自行删除作业文件夹中的数据(不建议提前删除)。
    【解决方案2】:

    您可以转到 /system/jobservice/jobs/usql/year/month/date.. 随意删除不再需要的文件夹。

    【讨论】:

    • 谢谢,有帮助。我删除了指定的文件夹,总存储利用率从 500GB 下降到 100GB。
    猜你喜欢
    • 1970-01-01
    • 2018-01-26
    • 1970-01-01
    • 2020-11-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-05-21
    • 2011-01-02
    相关资源
    最近更新 更多