Spark2.1.0模型设计与基本架构（上）
随着近十年互联网的迅猛发展，越来越多的人融入了互联网——利用搜索引擎查询词条或问题；社交圈子从现实搬到了Facebook、Twitter、微信等社交平台上；女孩子们现在少了逛街，多了在各大电商平台上的购买；喜欢棋牌的人能够在对战平台上找到世界各地的玩家对弈。在国内随着网民数量的持续增加，造成互联网公... ... »
Spark SQL / Catalyst 内部原理 与 RBO
本文结合案例详述了 Spark SQL 的工作原理，包括但不限于 Parser，Analyzer，Optimizer，Rule-based optimization等内容。 ... »
Spark RDD深度解析-RDD计算流程
Spark RDD深度解析-RDD计算流程 摘要 RDD（Resilient Distributed Datasets）是Spark的核心数据结构，所有数据计算操作均基于该结构进行，包括Spark sql 、Spark Streaming。理解RDD有助于了解分布式计算引擎的基本架构，更好地使用Sp ... »
SparkSql
Spark SQL and DataFrame 1.为什么要用Spark Sql 原来我们使用Hive，是将Hive Sql 转换成Map Reduce 然后提交到集群上去执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢，所以Spark Sql的 ... »
Spark Streaming
spark streaming介绍 Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、witter、 ZeroMQ、Kinesis等源获取数据，也可以通过由 高阶函数map、reduce、j ... »
centos7 spark2.3.1集群搭建
1.安装jdk 2.安装scala 参照jdk的安装 3.ssh 免密码登录 4.安装hadoop 以上四步请参照 centos7 安装hadoop2.7.6（分布式） 5.安装spark 1）官网下载对应版本 https://archive.apache.org/dist/spark/spark- ... »
使用pyspark模仿sqoop从oracle导数据到hive的主要功能（自动建表，分区导入，增量，解决数据换行符问题）
使用pyspark 在hive中建表，分区导入，增量，解决数据换行符问题汇总 ... »
Spark入门——什么是Hadoop，为什么是Spark?
#Spark入门#这个系列课程，是综合于我从2017年3月分到今年7月份为止学习并使用Spark的使用心得感悟，暂定于每周更新，以后可能会上传讲课视频和PPT，目前先在博客园把稿子打好。注意：这只是一个草稿，里面关于知识的误解还请各大网友监督，我们互相进步。总而言之，网络上的知识学会断舍离，学会带着 ... »
Spark MLlib 之 大规模数据集的相似度计算原理探索
无论是在ICF还是UCF或者基于内容的推荐，最基本的环节都是计算相似度。如果样本特征维度很高、或者的维度很大，都会导致无法直接计算。设想一下100w 100w的二维矩阵，计算相似度怎么算？ 更多内容参考—— "我的大数据学习之路——xingoo" 在spark中RowMatrix提供了一种并行计算相 ... »
Spark Streaming 与 Kinesis的集成
1：概念 Amazon Kinesis Amazon Kinesis是一种全面管理的服务，用于大规模实时处理流数据。提供多种核心功能，可以经济高效地处理任意规模的流数据，同时具有很高的灵活性。借助 Amazon Kinesis，可以获取实时数据 (例如视频、音频、应用程序日志、网站点击流) 以及关于 ... »
Spark MLlib 之 aggregate和treeAggregate从原理到应用
在阅读spark mllib源码的时候，发现一个出镜率很高的函数——aggregate和treeAggregate，比如matrix.columnSimilarities()中。为了好好理解这两个方法的使用，于是整理了本篇内容。 由于treeAggregate是在aggregate基础上的优化版本， ... »
java-spark的各种常用算子的写法
通常写spark的程序用scala比较方便，毕竟spark的源码就是用scala写的。然而，目前java开发者特别多，尤其进行数据对接、上线服务的时候，这时候，就需要掌握一些spark在java中的使用方法了 一、map map在进行数据处理、转换的时候，不能更常用了 在使用map之前 首先要定义一 ... »
Spark2.1.0——剖析spark-shell
通过在spark-shell中执行word count的过程，让读者了解到可以使用spark-shell提交Spark作业。现在读者应该很想知道spark-shell究竟做了什么呢？本文将详细分析这其中的奥秘。 ... »
spark练习——影评案例
第一次写博客，新人上路，欢迎大家多多指教！！！ 分割线 现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode Str ... »
spark 2.3 导致driver OOM的一个SparkPlanGraphWrapper源码的bug
背景 长话短说，我们部门一个同事找到我，说他的spark 2.3 structured streaming程序频繁报OOM，从来没有坚持过超过三四天的，叫帮看一下。 这种事情一般我是不愿意看的，因为大部分情况下spark oom就那么几种可能： 数据量拉太大，executor内存爆了； shuffl ... »
用spark导入数据到hbase
集群环境：一主三从，Spark为Spark On YARN模式 Spark导入hbase数据方式有多种 1.少量数据：直接调用hbase API的单条或者批量方法就可以 2.导入的数据量比较大，那就需要先生成hfile文件，在把hfile文件加载到hbase里面 下面主要介绍第二种方法： 该方法主要 ... »
Spark2.1.0——Spark初体验
学习一个工具的最好途径，就是使用它。在IT领域，在深入了解一个系统的原理、实现细节之前，应当先准备好它的运行环境或者源码阅读环境。如果能在实际环境下安装和运行Spark，显然能够提升读者对于Spark的一些感受，对系统能有个大体的印象，有经验的工程师甚至能够猜出一些Spark在实现过程中采用的设计模... ... »
Spark2.1.0——运行环境准备
学习一个工具的最好途径，就是使用它。在IT领域，在深入了解一个系统的原理、实现细节之前，应当先准备好它的运行环境或者源码阅读环境。如果能在实际环境下安装和运行Spark，显然能够提升读者对于Spark的一些感受，对系统能有个大体的印象，有经验的工程师甚至能够猜出一些Spark在实现过程中采用的设计模... ... »
Spark Streaming入门
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文将帮助您使用基于HBase的Apache Spark Streaming。Spark Streaming是Spark API核心的一个扩展，支持连续的数据流处理。 什么是Spark Streaming？ 首先，什么是流（streamin ... »
Apache 流框架 Flink，Spark Streaming，Storm对比分析（一）
本文由 网易云 发布。 1.Flink架构及特性分析 Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供high level的API。Flink也提供 API来像Spark一样进行批处理，但两者处理的基础是完全不同的。Flink把批处理当作流处理中 ... »