大数据系列4:Yarn以及MapReduce 2

系列文章: 大数据系列:一文初识Hdfs 大数据系列2:Hdfs的读写操作 大数据谢列3:Hdfs的HA实现 通过前文,我们对Hdfs的已经有了一定的了解,本文将继续之前的内容,介绍Yarn与Yarn在MapReduce 2的应用 MapReduce1 作业流程 在介绍Yarn之前,我们先介绍一下M ... »

大数据谢列3:Hdfs的HA实现

在之前的文章:大数据系列:一文初识Hdfs , 大数据系列2:Hdfs的读写操作 中Hdfs的组成、读写有简单的介绍。 在里面介绍Secondary NameNode和Hdfs读写的流程。 并且在文章结尾也说了,Secondary NameNode并不是我常说的HA,(High Availabili ... »

大数据系列2:Hdfs的读写操作

在前文大数据系列1:一文初识Hdfs中,我们对Hdfs有了简单的认识。 在本文中,我们将会简单的介绍一下Hdfs文件的读写流程,为后续追踪读写流程的源码做准备。 Hdfs 架构 首先来个Hdfs的架构图,图中中包含了Hdfs 的组成与一些操作。 对于一个客户端而言,对于Hdfs的操作不外乎也就读写两 ... »

大数据系列1:一文初识Hdfs

最近有位同事经常问一些Hadoop的东西,特别是Hdfs的一些细节,有些记得不清楚,所以趁机整理一波。 会按下面的大纲进行整理: 简单介绍Hdfs 简单介绍Hdfs读写流程 介绍Hdfs HA实现方式 介绍Yarn统一资源管理器 追一下Hdfs读写的源码 同时也有其他方面的整理,有兴趣可以看看: 算 ... »

算法系列-动态规划(4):买卖股票的最佳时机

此系列为动态规划相关文章。 系列历史文章: 算法系列-动态规划(1):初识动态规划 算法系列-动态规划(2):切割钢材问题 算法系列-动态规划(3):找零钱、走方格问题 算法系列-动态规划(4):买卖股票的最佳时机 新生韭菜罗拉 自从上次看到八哥收藏旧币,罗拉也想给自己捣鼓个副业,赚点零花钱。 于是 ... »

算法系列-动态规划(3):找零钱、走方格问题

最近在捣鼓算法,所以写一些关于算法的文章 此系列为动态规划相关文章。 系列历史文章: 算法系列-动态规划(1):初识动态规划 算法系列-动态规划(2):切割钢材问题 算法系列-动态规划(3):找零钱、走方格问题 找零钱问题,凑数问题 最近老币越来越值钱,是投资的一个好方向。 这不,八哥从某鱼入手了几 ... »

flink 自定义触发器 定时或达到数量触发

flink 触发器 触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。 如果默认触发器不适合需求,我们就需要自定义触发器。 主要方法 触发器接口有五种方法,允许触发器对不同的事件作出反应 1. 添加到每个窗口的元素都会调用此方法。 2. ... »

Spark、BulkLoad Hbase、单列、多列

背景 之前的博客: "Spark:DataFrame写HFile (Hbase)一个列族、一个列扩展一个列族、多个列" 用spark 1.6.0 和 hbase 1.2.0 版本实现过spark BulkLoad Hbase的功能,并且扩展了其只能操作单列的不便性。 现在要用spark 2.3.2 ... »

常见排序算法

定义 假设含有n个记录的序列为{r1​,r2​,…,rn​},其相应的关键字分别为{k1​,k2​,…,kn​},需确定1,2, 3, …, n的一种排列p1​,p2​,…,pn​,使其相应的关键字满足kp1​ ≤kp2​≤…≤kpn​非递减(或非递增)关系,即使得序列变成一个按关键字有序的序列{r ... »