spark

一、区别 ①本质上相同，都是把Map端数据分类处理后交由Reduce的过程。 ②数据流有所区别，MR按map, spill, merge, shuffle, sort, r educe等各阶段逐一实现。Spark基于DAG数据流，可实现更复杂数据流操作（根据宽/窄依赖实现） ③实现功能上有所区别，M ... »

Spark Streaming Spark Streaming 介绍 批量计算 流计算 Spark Streaming 入门 Netcat 的使用 项目实例 目标：使用 Spark Streaming 程序和 Socket server 进行交互, 从 Server 处获取实时传输过来的字符串, 拆 ... »

Spark内核概述 Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌握Spark内核原理。 一、Spark核心组件回顾 Driver Spark驱动器节点，用于执行Spark任务中的m ... »

有类型操作 flatMap 通过 flatMap 可以将一条数据转为一个数组, 后再展开这个数组放入 Dataset val ds1=Seq("hello spark","hello hadoop").toDS() ds1.flatMap(item => item.split(" ")).show( ... »

Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "n ... »

推荐系统是根据用户的行为、兴趣等特征，将用户感兴趣的信息、产品等推荐给用户的系统，它的出现主要是为了解决信息过载和用户无明确需求的问题，根据划分标准的不同，又分很多种类别 ... »

综合案例 文件排序 解法： 1.读取数据 2.数据清洗，变换数据格式 3.从新分区成一个分区 4.按照key排序，返还带有位次的元组 5.输出 @Test def filesort(): Unit ={ val source=sc.textFile("dataset/filesort.txt",3) ... »

spark-shell 交互式编程 题目：该数据集包含了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStruct ... »

Transformation算子 intersection 交集 /* 交集 */ @Test def intersection(): Unit ={ val rdd1=sc.parallelize(Seq(1,2,3,4,5)) val rdd2=sc.parallelize(Seq(3,4,5, ... »

聚类算法是机器学习中的一种无监督学习算法，它在数据科学领域应用场景很广泛，比如基于用户购买行为、兴趣等来构建推荐系统。核心思想可以理解为， ... »

RDD RDD 是什么 定义 RDD, 全称为 Resilient Distributed Datasets, 是一个容错的, 并行的数据结构, 可以让用户显式地将数据存储到磁盘和内存中, 并能控制数据的分区. 同时, RDD 还提供了一组丰富的操作来操作这些数据. 在这些操作中, 诸如 map, ... »

最近在Hive中使用Spark引擎进行执行时（`set hive.execution.engine=spark`），经常遇到`return code 30041`的报错，为了深入探究其原因，阅读了官方issue、相关博客进行了研究。下面从报错现象、原因分析、解决方案几个方面进行介绍，最后做一下小结。 ... »

前言 老刘是一名即将找工作的研二学生，写博客一方面是复习总结大数据开发的知识点，一方面是希望帮助更多自学的小伙伴。由于老刘是自学大数据开发，肯定会存在一些不足，还希望大家能够批评指正，让我们一起进步！ 今天讲述的是SparkStreaming与Kafka的整合，这篇文章非常适合刚入门的小伙伴，也欢迎 ... »

Spark环境搭建 下载包 所需Spark包：我选择的是2.2.0的对应Hadoop2.7版本的，下载地址：https://archive.apache.org/dist/spark/spark-2.2.0/ Spark 集群高可用搭建 对于 Spark Standalone 集群来说, 当 Wor ... »

背景 老刘最近晚上会刷刷牛客网的大数据开发面经，总是会看到一个高频的面试题，那就是你在学习过程中遇到过什么问题吗？ 这个问题其实有点难回答，如果我说的太简单了，会不会让面试官觉得水平太低，那我应该讲什么东西呢？我一个自学的不可能遇到什么高级问题呀！ 对于这个问题的答案网上也是众说纷纭，老刘也讲讲对这 ... »

spark中常用的两种数据类型，一个是RDD，一个是DataFrame，本篇主要介绍RDD的一些应用场景见代码本代码的应用场景是在spark本地调试（windows环境） /** * 创建 sparkSession对象 */ val sparkSession = SparkSession.build ... »

Catalyst是Spark SQL核心优化器，早期主要基于规则的优化器RBO，后期又引入基于代价进行优化的CBO。但是在这些版本中，Spark SQL执行计划一旦确定就不会改变。由于 ... »

聊聊Spark的分区机制，以及通过spark.default.parallelism谈Spark并行度 ... »

对于Spark开发人员来说，一个比较普遍的问题就是如何合理的配置Spark的硬件？当然如何合理的对Spark集群进行硬件配置要视情况而定，在这里给出一些建议 ... »

什么是Spark？ 关于Spark具体的定义，大家可以去阅读官网或者百度关于Spark的词条，在此不再赘述。从一个野生程序猿的角度去理解，作为大数据时代的一个准王者，Spark是一款主流的高性能分布式计算大数据框架之一，和MapReduce，Hive，Flink等其他大数据框架一起支撑了大数据处理方 ... »