【问题标题】:HDFS space release - optimal solutionHDFS空间释放——最优方案
【发布时间】:2017-08-04 13:59:25
【问题描述】:

我想在 HDFS 中释放一些空间,所以我需要找出一些不需要/未使用的 HDFS 块/文件,并需要删除或存档。那么到目前为止,什么被认为是最佳解决方案?我正在使用 Clouder 发行版。 (我的集群 HDFS 容量是 900 TB,使用了 700 TB)

【问题讨论】:

    标签: hdfs cloudera


    【解决方案1】:

    如果您运行的是 Cloudera 的许可版本,您可以使用 Cloudera Navigator 查看哪些文件在一段时间内未使用,您可以分配策略来删除它们。

    如果没有,您可能正在考虑编写脚本来识别未使用的文件,并且您必须手动删除它们。

    【讨论】:

    • @Gault,您能否告诉我如何找出未使用的文件,是通过审核日志部分还是其他方式?是否会因此导致性能过载?
    • Srini,您使用的是 Cloudera 的许可版本还是开源版本?如果是许可版本,则可以通过在导航器界面中指向和单击来轻松获得此信息。请参阅此处的文档:cloudera.com/documentation/enterprise/latest/topics/…。如果您使用 Cloudera Navigator 未附带的开源版本,则必须编写脚本来遍历 HDFS 并根据上次访问时间等进行搜索。
    • 再次感谢 Gault。我是cloudera navigator的新手,如果您有空闲时间,您能否提供更多详细信息。如果你能提供我的屏幕截图,那就太好了。
    • @SriniDK,这是一个非常直观的界面。非常容易使用。具体如何根据年龄或其他参数搜索文件你可以看这个视频:link。该链接从视频 4:35 开始,他在视频中展示了如何执行此操作。
    • @Gault,谢谢,我的视频链接非常有用。我的下一个问题是我们如何创建一个策略来删除未使用的文件或旧文件。请提出建议。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-07-22
    • 2020-04-19
    • 2015-03-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多