【问题标题】:namenode -format delete files in hdfsnamenode -format 删除hdfs中的文件
【发布时间】:2014-05-15 03:19:03
【问题描述】:

我通过sqoop命令成功从mysql上传数据到HDFS。

MySQL Hadoop 集群有

Namename 的 1 个节点 1 个用于辅助 NameNode 的节点 Jobtracker 的 1 个节点 Datanade + Tasktracker 的 3 个节点

之后我停止了 hadoop 集群。

再次启动 Hadoop

在命令下方使用

  namenode -format (start NameNode)

  place new VERSION number in all datanode VERSION FILE

  now START DATANODE 

在启动 datanode 时,我在 HDFS 中上传的 MYSQL 数据似乎丢失了。

以下是数据节点日志的输出。

2014-05-15 07:46:56,018 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_2445513848423894029_1337 at file /app/hadoop/data/dn/current/blk_2445513848423894029
2014-05-15 07:46:56,018 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_3541234094053021888_1338 at file /app/hadoop/data/dn/current/blk_3541234094053021888
2014-05-15 07:46:56,018 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_3862391472172526583_1347 at file /app/hadoop/data/dn/current/blk_3862391472172526583
2014-05-15 07:46:56,018 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_4001223662527683746_1387 at file /app/hadoop/data/dn/current/blk_4001223662527683746
2014-05-15 07:46:56,018 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_4143551839757190038_1410 at file /app/hadoop/data/dn/current/subdir14/blk_4143551839757190038
2014-05-15 07:46:56,019 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_5292612097544035620_1384 at file /app/hadoop/data/dn/current/blk_5292612097544035620
2014-05-15 07:46:56,019 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_5318982235915332439_1333 at file /app/hadoop/data/dn/current/blk_5318982235915332439
2014-05-15 07:46:56,019 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_5806860765395122737_1388 at file /app/hadoop/data/dn/current/blk_5806860765395122737
2014-05-15 07:46:56,019 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_6490571696460682483_1302 at file /app/hadoop/data/dn/current/blk_6490571696460682483
2014-05-15 07:46:56,020 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_7721528058087862562_1336 at file /app/hadoop/data/dn/current/blk_7721528058087862562
2014-05-15 07:46:56,020 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_7734832800955956873_1375 at file /app/hadoop/data/dn/current/blk_7734832800955956873
2014-05-15 07:46:56,020 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_8691928504867292802_1297 at file /app/hadoop/data/dn/current/blk_8691928504867292802
2014-05-15 07:46:56,020 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_8861743153245195509_1303 at file /app/hadoop/data/dn/current/blk_8861743153245195509
2014-05-15 07:46:56,021 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_8921828525927242630_1300 at file /app/hadoop/data/dn/current/blk_8921828525927242630
2014-05-15 07:46:56,021 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Deleted blk_8938258584084219299_1344 at file

【问题讨论】:

  • 请陈述一个具体问题,以便用户确切知道您需要什么帮助。
  • 你想要什么......请添加更多关于你的错误的信息
  • 第三步到底是什么? “在所有数据节点版本文件中放置新版本号”?
  • 当我将 namenode 的新 VERSION 更改为所有 datanode 时。并启动datanodes,所有上传的数据都被删除并出现以下错误已删除文件/app/hadoop/data/dn/current/blk_6490571696460682483中的blk_6490571696460682483_1302我的问题是当我们使用Haddop fs -format命令时所有数据都已格式化,有没有办法恢复数据

标签: hadoop


【解决方案1】:

我的问题如下

当我将 namenode 的新 VERSION 更改为所有 datanode 时。并启动datanodes,所有上传的RDBMS数据都被删除,日志文件中出现以下错误“Deleted blk_6490571696460682483_1302 at file /app/hadoop/data/dn/current/blk_6490571696460682483”

我的问题是当我们使用 Haddop fs -format 命令时所有数据都已格式化,有没有办法恢复数据

【讨论】:

  • 请编辑您的问题以提供更多信息,请勿将此部分用于 cmets。
  • 在原始问题中添加更多信息
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-05-21
  • 1970-01-01
  • 1970-01-01
  • 2014-09-26
  • 1970-01-01
  • 2016-03-12
相关资源
最近更新 更多