HBase的架构设计为什么这么厉害!

老刘是一名即将找工作的研二学生,写博客一方面是复习总结大数据开发的知识点,一方面是希望能够帮助和自己一样自学编程的伙伴。由于老刘是自学大数据开发,博客中肯定会存在一些不足,还希望大家能够批评指正,让我们一起进步! 今天为大家带来的内容是HBase的架构设计,讲讲HBase的架构设计为什么这么牛?本文 ... »

Alluxio Day 2021 线上直播

2020年Alluxio经历了前所未有的快速增长,并入选十大基于Java的重要(Critical)开源软件项目。此次研讨会系列,我们将围绕如何基于最新的开源技术,如Alluxio,Presto,Kubernetes,Hudi,Fluid,Kylin等,构建云原生或者混合云数据和AI平台这一话题展开讨 ... »

九个最容易出错的 Hive sql 详解及使用注意事项

阅读本文小建议:本文适合细嚼慢咽,不要一目十行,不然会错过很多有价值的细节。 文章首发于公众号:五分钟学大数据 前言 在进行数仓搭建和数据分析时最常用的就是 sql,其语法简洁明了,易于理解,目前大数据领域的几大主流框架全部都支持sql语法,包括 hive,spark,flink等,所以sql在大数 ... »

数仓建设中最常用模型--Kimball维度建模详解

数仓建模首推书籍《数据仓库工具箱:维度建模权威指南》,本篇文章参考此书而作。文章首发公众号:五分钟学大数据,公众号中发送“维度建模”即可获取此书籍第三版电子书 先来介绍下此书,此书是基于作者 60 多年的实际业务环境而总结的经验及教训,为读者提供正式的维度设计和开发技术。面向数仓和BI设计人员,书中 ... »

带你了解分布式系统的数据一致性问题

老刘是一名即将找工作的研二学生,写博客一方面是复习总结大数据开发的知识点,一方面是希望能够帮助和自己一样自学编程的伙伴。由于老刘是自学大数据开发,博客中肯定会存在一些不足,还希望大家能够批评指正,让我们一起进步! 今天给各位小伙伴聊聊分布式系统的数据一致性问题,这个一定要从服务器架构部署的发展历程讲 ... »

Flink SQL 核心概念剖析与编程案例实战

本次,我们从 0 开始逐步剖析 Flink SQL 的来龙去脉以及核心概念,并附带完整的示例程序,希望对大家有帮助! 本文大纲 一、快速体验 Flink SQL 为了快速搭建环境体验 Flink SQL,我们使用 Docker 来安装一些基础组件,包括 zk 和 kafka,如果你有这个环境,可以略 ... »

腾讯云大数据发布数据生态战略,构建开源开放数仓生态

2020年12月20日,在腾讯2020 Techo Park开发者大会大数据专场上,腾讯云大数据产品总经理聂晶对数据仓库近30年发展历程做出总结,并分享了他对目前行业的认知以及未来发展的判断。聂晶表示,当前技术环境变化飞速,单一主体企业难以应对数仓领域爆发式发展挑战,腾讯云希望通过开放开源的生态给用 ... »

图解SparkStreaming与Kafka的整合,这些细节大家要注意错过!

前言 老刘是一名即将找工作的研二学生,写博客一方面是复习总结大数据开发的知识点,一方面是希望帮助更多自学的小伙伴。由于老刘是自学大数据开发,肯定会存在一些不足,还希望大家能够批评指正,让我们一起进步! 今天讲述的是SparkStreaming与Kafka的整合,这篇文章非常适合刚入门的小伙伴,也欢迎 ... »

行业动态 | 话说混合云

在本文中,我们将介绍混合云涉及到的基础概念,并将解释混合云的独有优势,以及混合云在企业的数字化转型中所扮演的重要角色。 01 混合云架构与企业的数字化转型 最近Red Hat报告[1]采访了来自11个国家的950位IT领袖。他们中的95%认同“企业开源,协同创新”是目前的世界潮流,77%表示会增加企 ... »

SparkStreaming推测机制:面试被问遇到什么问题,说这个显水平!

背景 老刘最近晚上会刷刷牛客网的大数据开发面经,总是会看到一个高频的面试题,那就是你在学习过程中遇到过什么问题吗? 这个问题其实有点难回答,如果我说的太简单了,会不会让面试官觉得水平太低,那我应该讲什么东西呢?我一个自学的不可能遇到什么高级问题呀! 对于这个问题的答案网上也是众说纷纭,老刘也讲讲对这 ... »

什么是Cassandra

在本文中,我们将介绍Cassandra名字的含义、Cassandra的发展简史、Cassandra这项技术的特点及优势,以及对于这项技术的未来展望。 本文将用浅显易懂的方式,帮助您将对Cassandra这项技术的前世今生有一个粗略的了解。 谁是Cassandra Apache Cassandra™是 ... »

Atlas 2.1.0 实践(2)—— 安装Atlas

在完成Atlas编译以后,就可以进行Atlas的安装了。Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。 Atlas的系统架构如下,在确保 底层存储与UI界面正常后,之后就可以进行与Hive等组件的集成调 ... »

Cassandra与Kafka的集成

Cassandra和Kafka经常一起用于微服务架构中。本文将介绍几种Cassandra和Kafka常见的集成模式。 简介 如果您的开发团队乐于接纳微服务架构的优点,那么您就会了解到,Kafka针对不变事件(Immutable Events)的持久性日志,能够使微服务以独立且异步的方式运行。 在某些 ... »