【发布时间】:2018-05-23 18:36:50
【问题描述】:
我最近在伪分布式模式下设置了 hadoop,我已经创建了数据并将其加载到 HDFS 中。后来我因为一个问题格式化了namenode。现在,当我这样做时,我发现数据节点上之前已经存在的目录和文件不再显示。 (虽然“格式化”这个词是有道理的)但是现在,我确实有这个疑问。由于 namenode 不再保存文件的元数据,对先前加载的文件的访问是否被切断?如果是,那么我们如何删除数据节点上已经存在的数据?
【问题讨论】:
我最近在伪分布式模式下设置了 hadoop,我已经创建了数据并将其加载到 HDFS 中。后来我因为一个问题格式化了namenode。现在,当我这样做时,我发现数据节点上之前已经存在的目录和文件不再显示。 (虽然“格式化”这个词是有道理的)但是现在,我确实有这个疑问。由于 namenode 不再保存文件的元数据,对先前加载的文件的访问是否被切断?如果是,那么我们如何删除数据节点上已经存在的数据?
【问题讨论】:
你以前的数据节点目录现在已经过时了,是的。
您需要手动遍历每个数据节点并删除这些目录的内容。 Hadoop CLI 没有这样的格式命令
默认情况下,数据节点目录是/tmp下的单个文件夹
否则,您已经配置了 XML 文件存储数据的位置
【讨论】: