Mapreduce streaming
用hadoop，作为Java界的小残废，只能紧紧抱住Streaming框架的大腿，Hadoop MapReduce和HDFS采用Java实现，默认提供Java编程接口，另外提供了C++编程接口和Streaming框架。Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。流处理嘛，keyvalue一行行的来，写个map程序分发出去，再写个reduce把一行行的数据处理掉，shuffle过程都由hadoop框架解决，轻松又愉快，开发效率和程序运行效率都很高，通过配置也方便资源控制，通过python接口调用的时候只比spark难用一点点。但同时Streaming默认只能处理文本数据，也不能处理多路数据输出。
通过脚本可以设置streaming的参数
streaming参数往往是mr中的难点所在，下面是参数列表：
|
-input |
输入数据路径 |
|
-output |
输出数据路径 |
|
-mapper |
mapper可执行程序或Java类 |
|
-reducer |
reducer可执行程序或Java类 |
|
-file |
分发本地文件 |
|
-cacheFile |
分发HDFS文件 |
|
-cacheArchive |
分发HDFS压缩文件 |
|
-numReduceTasks |
reduce任务个数 |
|
-jobconf | -D NAME=VALUE |
作业配置参数 |
|
-combiner |
Combiner Java类 |
|
-partitioner |
Partitioner Java类 |
|
-inputformat |
InputFormat Java类 |
|
-outputformat |
OutputFormat Java类 |
|
-inputreader |
InputReader配置 |
|
-cmdenv |
传给mapper和reducer的环境变量 |
|
-mapdebug |
mapper失败时运行的debug程序 |
|
-reducedebug |
reducer失败时运行的debug程序 |
|
-verbose |
详细输出模式 |
常见的作业配置参数是这样的
|
mapred.job.name |
作业名 |
|
mapred.job.priority |
作业优先级 |
|
mapred.job.map.capacity |
最多同时运行map任务数 |
|
mapred.job.reduce.capacity |
最多同时运行reduce任务数 |
|
hadoop.job.ugi |
作业执行权限 |
|
mapred.map.tasks |
map任务个数 |
|
mapred.reduce.tasks |
reduce任务个数 |
|
mapred.job.groups |
作业可运行的计算节点分组 |
|
mapred.task.timeout |
任务没有响应（输入输出）的最大时间 |
|
mapred.compress.map.output |
map的输出是否压缩 |
|
mapred.map.output.compression.codec |
map的输出压缩方式 |
|
mapred.output.compress |
reduce的输出是否压缩 |
|
mapred.output.compression.codec |
reduce的输出压缩方式 |
|
stream.map.output.field.separator |
map输出分隔符 |
比如使用-jobconf mapred.job.name='My Name'设置作业名，具体需要用什么配置，随时查官方文档或者百度google都可以，已经忘记自己查过多少遍了，记性不好我能怎么办！
Streaming 写起来是还好，但是背不出svm公式怎么好意思说自己会机器学习，不懂原理怎么能说会mr，所以在程序慢悠悠跑着的时候柒柒去查了下mapreduce的工作机制，如下：
Mapreduce原理
mapreduce在运行的过程中大致概括为5阶段
1. input阶段获取输入数据进行分片作为map的输入
2. map阶段过程对某种输入格式的一条记录解析成一条或多条记录
3. shffle阶段对中间数据的控制，作为reduce的输入
4. reduce阶段对相同key的数据进行合并
5. output阶段按照格式输出到指定目录
MapReduce中的Shuffle像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。Shuffle横跨Map端和Reduce端，在Map端包括Spill过程，在Reduce端包括copy和sort过程
Spill
把Kvbuffer中的数据刷到磁盘上的过程就叫Spill，如果内存中的数据满了就自动地spill到具有更大空间的磁盘。Map任务总要把输出的数据写到磁盘上，即使输出数据量很小在内存中全部能装得下，在最后也会把数据刷到磁盘上。每一次Spill过程就会最少生成一个out文件，有时还会生成index文件，Spill的次数也烙印在文件名中。Map任务如果输出数据量很大，可能会进行好几次Spill，out文件和Index文件会产生很多，分布在不同的磁盘上。需要一个merge过程（此过程按照partition和key排序）把这些文件进行合并
Copy
Reduce任务通过HTTP向各个Map任务拖取它所需要的数据。每个节点都会启动一个常驻的HTTP server，其中一项服务就是响应Reduce拖取Map数据。当有MapOutput的HTTP请求过来的时候，HTTP server就读取相应的Map输出文件中对应这个Reduce部分的数据通过网络流输出给Reduce。如果在内存中不能放得下这个Map的数据的话，直接把Map数据写到磁盘上，在本地目录创建一个文件，从HTTP流中读取数据然后写到磁盘，使用的缓存区大小是64K。拖一个Map数据过来就会创建一个文件，当文件数量达到一定阈值时，开始启动磁盘文件merge，把这些文件合并输出到一个文件。
Sort
Map的输出数据已经是有序的，Merge进行一次合并排序，所谓Reduce端的sort过程就是这个合并的过程。一般Reduce是一边copy一边sort，即copy和sort两个阶段是重叠而不是完全分开的。
经过sort之后reduce通过sort的数据处理keyvalue，将处理结果写入在配置文件中设定的磁盘上，整个流程就结束啦~结束啦
就柒柒用过的spark和mr而言感觉差异并不是很大，存储都基于hadfs，都是流式处理数据，都需要在配置脚本中搞好配置，当你的程序出问题的时候，八成就在配置中。