Hive Map 端OOM 异常

怪异现象：数据量不大，且不是Reduce端OOM,是Map端OOM

 

Map Task运行的时候数据流中包含了非法字符例如：EOF、NOP等东西，导致BufferedReader读取和StreamDecoder解码出错，

进一步导致了OOM，需要剔除这些记录，可以通过length来限制。

 

PS:当然，这只是Map 端OOM出现的其中一种原因，仅供参考。