【发布时间】:2018-08-25 03:27:51
【问题描述】:
我们的 hadoop 集群有 1000 多个节点和 20PB 数据。因此,我们的 NameNode 转储文件超过 100GB,我们发现任何工具都很难对其进行分析。 有人对如何分析如此大的 jvm 转储文件有任何建议吗?
【问题讨论】:
标签: jvm large-files dump
我们的 hadoop 集群有 1000 多个节点和 20PB 数据。因此,我们的 NameNode 转储文件超过 100GB,我们发现任何工具都很难对其进行分析。 有人对如何分析如此大的 jvm 转储文件有任何建议吗?
【问题讨论】:
标签: jvm large-files dump
MAT是分析带有索引文件的dump文件,可以将大文件映射成多个小文件,并将索引文件存储到一个通用的文件系统(例如:fastdfs)
【讨论】: