FileInputFormat——悟空智慧教育

默认的切片大小是block的大小，即128M

切片大小可自行设置，Math.max(minSize, Math.min(maxSize, blockSize));

block是HDFS上物理上存储的存储的数据，切片是对数据逻辑上的划分。

如果设置的最大值比blocksize值小，则按照maxSize切数据

如果设置的最小值比blocksize值大，则按照minSize切数据

 

第一种情况（切片大小为256M）：

 

FileInputFormat.setInputPaths(job, new Path(input));

 

FileInputFormat. setMaxInputSplitSize(job,1024*1024*500) ; //设置最大分片大小

 

FileInputFormat.setMinInputSplitSize(job,1024*1024*256); //设置最小分片大小

 

第二种情况(切片大小为100M)：

 

FileInputFormat.setInputPaths(job, new Path(input));

 

FileInputFormat.setMaxInputSplitSize(job,1024*1024*100) ; //设置最大分片大小

 

FileInputFormat.setMinInputSplitSize(job,1024*1024*80); //设置最小分片大小

 

 

 

整个切片的核心过程在getSplit()方法中完成。

 

数据切片只是在逻辑上对输入数据进行分片，并不会再磁盘上将其切分成分片进行存储。InputSplit只记录了分片的元数据信息，比如起始位置、长度以及所在的节点列表等。

 

 以上文章内容来源于《悟空智慧教育》：www.wukongone.com，《悟空智慧教育》是一家专业的大数据视频教学网，专属定制您的未来