【问题标题】:How to check the distributed data over hdfs如何通过 hdfs 检查分布式数据
【发布时间】:2013-06-07 01:57:43
【问题描述】:

我们知道,Hadoop 在 hdfs 中跨多个数据节点复制数据,是否有检查不同节点上分布数据的命令。

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    我想你可能正在寻找这个命令

    hdfs fsck /hdfs/path/to/data -files -blocks -locations
    

    您会收到如下所示的报告。它报告所有块的列表、它们的复制因子以及这些块所在的主机集。

    /hdfs/path/to/data/file.txt 4771082824 bytes, 36 block(s):  OK
    0. BP-22525430-10.14.103.78-1355873316066:blk_-3400885615428218530_203522 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
    1. BP-22525430-10.14.103.78-1355873316066:blk_124203196739652236_203523 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
    2. BP-22525430-10.14.103.78-1355873316066:blk_5886188080028552249_203524 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
    3. BP-22525430-10.14.103.78-1355873316066:blk_-3222807870390148132_203525 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
    4. BP-22525430-10.14.103.78-1355873316066:blk_-1285830390698132620_203526 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
    5. BP-22525430-10.14.103.78-1355873316066:blk_-2680874809037637827_203527 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
    6. BP-22525430-10.14.103.78-1355873316066:blk_8699277646297360652_203528 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
    7. BP-22525430-10.14.103.78-1355873316066:blk_-2195916588803548138_203529 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
    [more]
    

    【讨论】:

      【解决方案2】:

      您可以使用 hadoop 中提供的 Web 界面选项。使用它,您将能够查看有关 hdfs 的所有信息,存在多少节点,有多少是死/活的,存储使用情况等等。希望对你有帮助

      【讨论】:

        【解决方案3】:

        您可以使用 localhost:50070/ 来检查名称节点的健康状况。使用它可以浏览 hadoop 文件系统。

        您还可以做一些其他事情 本地主机:50030 - JobTrack localhost:50060 - 任务跟踪器

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 2018-06-18
          • 2021-12-12
          • 2019-01-26
          • 1970-01-01
          • 2019-11-09
          • 2015-02-18
          • 2021-11-03
          相关资源
          最近更新 更多