CDH 配置mapreduce.cluster.local.dir
在CDH中如何修改mapreduce.cluster.local.dir参数
环境:CDH5.16
mapreduce.cluster.local.dir参数决定了shuffle产生的spill文件的存储路径
之前没改这个参数,运行个1T的排序把从节点/目录磁盘写爆了.改了后就没问题了
对于MR1，在CM中搜索以下配置：
TaskTracker本地数据目录
mapred.local.dir
对于带有MR2的YARN， 在CM中搜索以下配置：
NodeManager本地目录
yarn.nodemanager.local-dirs
希望有帮助！