表优化
案例
二
三
设置多个 reducer
生产中 reducer 有 很多个 ,所以会产生数据倾斜 ,那么我们随机分布空 值 ,按什么呢 ,
对比 ,解决数据倾斜
MapJoin
Group By
Count Distinct 去重统计
尽量避免 ,笛卡尔积
行列过滤
MR 优化
小文件合并
复杂文件增加Map 数量
合理设置 Reduce 数量
并行执行
设置本地模式
生产中 reducer 有 很多个 ,所以会产生数据倾斜 ,那么我们随机分布空 值 ,按什么呢 ,
对比 ,解决数据倾斜
相关文章: