【发布时间】：2018-04-24 14:58:54
【问题描述】：
我听说如果你运行广泛的查询，hadoop 可能会出现性能问题，因为可能涉及到太多的节点？
任何人都可以验证或伪造此声明吗？
谢谢！ BR
【问题讨论】：
标签： performance hadoop bigdata
【发布时间】：2018-04-24 14:58:54
【问题描述】：
如果添加文件太多，namenode 会出现性能问题，因为它必须将所有文件位置存储在内存中。您可以通过定期创建更大的档案来优化这一点。例如，每天的数据库转储变成每月/每年的压缩档案，仍然是可处理的格式
HDFS 数据节点只是一个文件系统并且可以线性扩展。总体而言，添加更多 NodeManager 节点不会产生负面影响，据报道 YARN 最多可运行 1000 个节点，如果您确实需要更多节点，我建议您使用独立集群。
与任何分布式系统一样，您需要优化网络交换和系统监控，但这些都是不特定于 Hadoop 的操作性能问题
【讨论】：