【发布时间】：2013-12-07 09:32:02
【问题描述】：
我是 hadoop 新手。
我已经在 5 台服务器上使用 Cloudera（正常安装）安装了我的 hbase 设置。我创建了一些表格并填写了一些数据。
现在我监控了 hdfs 文件夹的大小。我可以看到数据节点一直在提供一致的读数。但是每次我检查时，我的名称节点和日志节点磁盘使用量都会增加。
虽然我有少量数据，但日志节点和名称节点每天增加 30MB（大约）。
我是否在配置中遗漏了什么？
【问题讨论】：
-
你应该去挖掘这些文件所在的文件夹
du -sh并弄清楚是什么占用了空间。它可能是日志、图像/编辑文件或一大堆东西。 -
我同意唐纳德的观点，检查每天生成的日志的大小
-
日志将转到一个单独的文件夹。我可以看到它的活动名称节点服务器和日志节点加起来了空间。我做了一些研究，发现每当名称节点中有一些编辑时，journal 就会占用，然后辅助名称节点从 journal 中读取它。但是这里我没有在我的 hbase 中做任何操作。
-
当我检查文件夹时，编辑日志每 2 分钟就会出现一次，这是意料之中的。但是当我没有对其进行任何操作时，名称节点如何制作编辑日志。
-
我检查了文件夹，发现编辑日志在名称节点和日志节点文件夹中每 2 分钟创建一次。现在我不明白的一件事是，如果我的应用程序没有进行任何操作，那么谁在编辑命名空间元数据？ .我还可以看到，从我创建这些实例的那一天起就有编辑日志。是否有任何 hadoop 配置可以在一段时间后清除此日志，还是我需要手动删除它？
标签： hadoop hbase cloudera apache-zookeeper cloudera-manager