爱码网

通常写spark的程序用scala比较方便，毕竟spark的源码就是用scala写的。然而，目前java开发者特别多，尤其进行数据对接、上线服务的时候，这时候，就需要掌握一些spark在java中的使用方法了 一、map map在进行数据处理、转换的时候，不能更常用了 在使用map之前 首先要定义一 ... »

通过在spark-shell中执行word count的过程，让读者了解到可以使用spark-shell提交Spark作业。现在读者应该很想知道spark-shell究竟做了什么呢？本文将详细分析这其中的奥秘。 ... »

第一次写博客，新人上路，欢迎大家多多指教！！！ 分割线 现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode Str ... »

背景 长话短说，我们部门一个同事找到我，说他的spark 2.3 structured streaming程序频繁报OOM，从来没有坚持过超过三四天的，叫帮看一下。 这种事情一般我是不愿意看的，因为大部分情况下spark oom就那么几种可能： 数据量拉太大，executor内存爆了； shuffl ... »

集群环境：一主三从，Spark为Spark On YARN模式 Spark导入hbase数据方式有多种 1.少量数据：直接调用hbase API的单条或者批量方法就可以 2.导入的数据量比较大，那就需要先生成hfile文件，在把hfile文件加载到hbase里面 下面主要介绍第二种方法： 该方法主要 ... »

学习一个工具的最好途径，就是使用它。在IT领域，在深入了解一个系统的原理、实现细节之前，应当先准备好它的运行环境或者源码阅读环境。如果能在实际环境下安装和运行Spark，显然能够提升读者对于Spark的一些感受，对系统能有个大体的印象，有经验的工程师甚至能够猜出一些Spark在实现过程中采用的设计模... ... »

学习一个工具的最好途径，就是使用它。在IT领域，在深入了解一个系统的原理、实现细节之前，应当先准备好它的运行环境或者源码阅读环境。如果能在实际环境下安装和运行Spark，显然能够提升读者对于Spark的一些感受，对系统能有个大体的印象，有经验的工程师甚至能够猜出一些Spark在实现过程中采用的设计模... ... »

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文将帮助您使用基于HBase的Apache Spark Streaming。Spark Streaming是Spark API核心的一个扩展，支持连续的数据流处理。 什么是Spark Streaming？ 首先，什么是流（streamin ... »

本文由 网易云 发布。 1.Flink架构及特性分析 Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供high level的API。Flink也提供 API来像Spark一样进行批处理，但两者处理的基础是完全不同的。Flink把批处理当作流处理中 ... »

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区，未经许可，不得转载。 作者：张国鹏 | 腾讯 运营开发工程师 一、前言 Spark作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于Spark的 ... »

一、RDD概念与特性 1. RDD的概念 RDD（Resilient Distributed Dataset），是指弹性分布式数据集。数据集：Spark中的编程是基于RDD的，将原始数据加载到内存变成RDD，RDD再经过若干次转化，仍为RDD。分布式：读数据一般都是从分布式系统中去读，如hdfs、k ... »

之前我们讲过，在Spark ML中所有的机器学习模型都是以参数作为划分的，树相关的参数定义在treeParams.scala这个文件中，这里构建一个关于树的体系结构。首先，以DecisionTreeParams作为起始，这里存储了跟树相关的最基础的参数，注意它扩展自PredictorParams。接 ... »

在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。 ... »

近年来随着Spark的火热，Spark本身使用的开发语言Scala、用到的分布式内存文件系统Tachyon（现已更名为Alluxio）以及基于Actor并发编程模型的Akka都引起了大家的注意。了解过Akka或者Actor的人应该知道，这的确是一个很不错的框架，按照Akka官网的描述——使用Akka... ... »

本博客为作者原创，如需转载请注明参考 在深入理解Spark ML中的各类算法之前，先理一下整个库的设计框架，是非常有必要的，优秀的框架是对复杂问题的抽象和解剖，对这种抽象的学习本身，就是加深框架所面对的问题的理解的一种有效途径。纷繁复杂的机器学习问题，经过优秀框架的解析，变得简单清晰起来。 基于面向 ... »

Spark是硅谷各大公司都在使用的当红炸子鸡，而且有愈来愈热的趋势，所以大家很有必要了解学习这门技术。本文其实是笔者深入浅出hadoop系列的第三篇，标题里把hadoop去掉了因为spark可以不依赖于Hadoop。Spark可以运行在多种持久化系统之上，比如HDFS, Amazon S3, Azu ... »

机器学习是一门人工智能的科学，能通过经验自动改进的计算机算法的研究。 机器学习是一个多学科交叉的领域，会涉及到计算机、信息学、数学、统计学、神经科学等。 机器学习是大数据的核心技术，本质都是基于经验的算法处理。机器学习强调三个关键词：算法、经验、性能，其处理过程如下图所示。 在数据的基础上，通过算法 ... »

本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作 ... »

区块链是目前最热门的话题，广大读者都听说过比特币，或许还有智能合约，相信大家都非常想了解这一切是如何工作的。这篇文章就是帮助你使用 Java 语言来实现一个简单的区块链，用不到 120 行代码来揭示区块链的原理！ “用不到120行 Java 代码就能实现一个自己的区块链！” 听起来不可思议吧？有什... ... »

最近用spark的mlib模块中的协同过滤库做个性化推荐。spark里面用的是als算法，本质上是矩阵分解svd降维，把一个M*N的用户商品评分矩阵分解为M*K的userFeature(用户特征矩阵)和K*N的productFeature(商品特征矩阵)，由于K远小于N和M，存储和计算获得相应的优化 ... »