一.MapReduce进程

MapReduce进程以及WordCount分析

二. 官方WordCount源码

采用反编译工具反编译源码,发现WordCount案例有Map类、Reduce类和驱动类。且数据的类型是Hadoop自身封装的序列化类型。

 常用数据序列化类型

表4-1 常用的数据类型对应的Hadoop数据序列化类型

Java类型

Hadoop Writable类型

boolean

BooleanWritable

byte

ByteWritable

int

IntWritable

float

FloatWritable

long

LongWritable

double

DoubleWritable

String

Text

map

MapWritable

array

ArrayWritable

MapReduce编程规范

用户编写的程序分成三个部分:MapperReducerDriver

MapReduce进程以及WordCount分析

MapReduce进程以及WordCount分析

MapReduce进程以及WordCount分析

 

 

相关文章:

  • 2021-09-03
  • 2021-07-15
  • 2022-12-23
  • 2021-04-29
  • 2021-11-02
  • 2021-12-28
  • 2022-12-23
猜你喜欢
  • 2021-10-01
  • 2022-12-23
  • 2021-09-02
  • 2022-12-23
  • 2021-12-01
  • 2021-09-20
  • 2021-11-19
相关资源
相似解决方案