mapReduce

hadoop之MapReduce框架原理

目录 MapReduce框架的简单运行机制： Mapper阶段： InputFormat数据输入：切片与MapTask并行度决定机制： job提交过程源码解析：切片逻辑： 1）FileInputFormat实现类进行虚拟存储（1）虚拟存储过程： Shuffle阶段：排序： »

Hadoop之Mapreduce序列化

目录什么是序列化：什么是反序列化：为什么要序列化： Java的序列化： Hadoop序列化: 自定义序列化接口：实现序列化的步骤：先看源码进行简单分析：序列化案例实操：案例需求：（1）输入数据：（2）输入数据格式：（3）期望输出数据格式需求分析：编写Map »

Hadoop之Mapreduce序列化

目录什么是序列化：什么是反序列化：为什么要序列化： Java的序列化： Hadoop序列化: 自定义序列化接口：实现序列化的步骤：先看源码进行简单分析：序列化案例实操：案例需求：（1）输入数据：（2）输入数据格式：（3）期望输出数据格式需求分析：编写Map »

MapReduce Shuffle源码解读

MapReduce Shuffle源码解读相信很多小伙伴都背过shuffle的八股文，但一直不是很理解shuffle的过程，这次我通过源码来解读下shuffle过程，加深对shuffle的理解，但是我自己还是个菜鸟，这篇博客也是参考了很多资料，如果有不对的地方，请指正。 shuffle是Map T »

MapReduce Shuffle源码解读

MapReduce Shuffle源码解读相信很多小伙伴都背过shuffle的八股文，但一直不是很理解shuffle的过程，这次我通过源码来解读下shuffle过程，加深对shuffle的理解，但是我自己还是个菜鸟，这篇博客也是参考了很多资料，如果有不对的地方，请指正。 shuffle是Map T »

Java大数据开发Hadoop MapReduce

目录 1 MapRedcue的介绍 1.1 MapReduce定义 1.2 MapReduce的思想 1.3 MapReduce优点 1.4 MapReduce的缺点 1.5 MapReduce进程 1.6 MapReduce-WordCount 2 Hadoop序列化 2.1 序列化的定义 »

Java大数据开发Hadoop MapReduce

目录 1 MapRedcue的介绍 1.1 MapReduce定义 1.2 MapReduce的思想 1.3 MapReduce优点 1.4 MapReduce的缺点 1.5 MapReduce进程 1.6 MapReduce-WordCount 2 Hadoop序列化 2.1 序列化的定义 »

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎。本文旨在分享阿里云Prometheus对EMR平 »

云小课｜MRS数据分析-通过Spark Streaming作业消费Kafka数据

阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。摘要：Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。本文介 ... »

03初识MapReduce

初识MapReduce 一、什么是MapReduce MapReduce是一种编程范式，它借助Map将一个大任务分解成多个小任务，再借助Reduce归并Map的结果。MapReduce虽然原理很简单，但是使用MapReduce设计出一个解决问题的应用却不是一件简单的事情。下面通过一个简单的小例子来介 ... »