1. 近期在向hive 中加载数据的时候,发现有几天老是报错如下:

 关于hive 加载数据失败的问题 原因分析

通过报错信息:主要从如下个方面进行排查:

 *数据文件完整性

 *数据压缩格式是否支持

 *java io 流读取文件有问题

 

因为报错的数据文件不是所有的,只是13-21号 以及 23以后的数据文件加载异常,其他均正常。故排除后俩项原因。然后我对比了22号的 与 25 号的数据文件,发现有许多数据文件的size 0,然后用zcat 测试 文件,报如下信息:关于hive 加载数据失败的问题 原因分析

 

确定确实是数据文件的问题导致的,于是将size 的数据文件删除,hive 正常加载!

相关文章: