//import org.apache.hadoop.mapreduce.InputSplit;
//import org.apache.hadoop.mapreduce.lib.input.FileSplit;

@SuppressWarnings("rawtypes") public static String getCityFromFileName(org.apache.hadoop.mapreduce.Mapper.Context context) throws IOException{ String city="unkown"; InputSplit inputSplit = context.getInputSplit(); String fileName=((FileSplit) inputSplit).getPath().getName(); city=fileName.split("-")[1]; if(city.equals("dns")||city.equals("3gwap")||city.equals("3gnet")){ city=fileName.split("-")[2].split("_")[0]; } city=city.split("_")[0]; return city; }

需要注意的是:要通过context.getInputSplit() 获取切片信息,job设置时,一定不要合并小文件

相关文章:

  • 2022-12-23
  • 2021-12-13
  • 2022-12-23
  • 2022-12-23
  • 2021-05-06
  • 2021-06-27
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-01-19
  • 2021-11-09
  • 2021-11-06
相关资源
相似解决方案