写在第33期周报


“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。


本期会给大家奉献上精彩的:HBase的GC、分布式存储系统、Hive SQL、行为数据分析、存储技术热点与趋势、Spark与kafka010整合、浅谈三剑客、CAP。全是干货,希望大家喜欢!!!


#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识!


#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学,欢迎扫描文末二维码联系(参与社区工作,收获知识和进步,还有红包哦)。


特别提醒,文末有惊喜!


以下是正文,限于众编辑水平有限,不保证大家都喜欢。

1HBase的GC

GC一直是Java应用开发的一个关键步骤,大型项目开发中尤其需要关注GC的性能,像HBase这样的大型在线存储系统,GC停顿延迟产生的在线实时影响已经成为内核和应用开发者的一大痛点。Ali-HBase团队为大家带来高性能的GC优化实践。

https://blog.csdn.net/b0q8cpra539hafs7/article/details/78683472

​大数据和云计算技术周报(第33期)

 

2分布式存储系统

本文主要讲述了存储相关技术,数据结构和存储一致性保证以及后续的发展

http://mp.weixin.qq.com/s/ZGYOwGjg06GSqCW3VoIzYg

​大数据和云计算技术周报(第33期)

3Hive SQL

Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。

美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,

负责每天数百GB的数据存储和分析。Hive的稳定性和性能对数据分析是非常关键。

本文详细讲解了Hive SQL的编译过程,希望对大家有所帮助!

https://tech.meituan.com/hive-sql-to-mapreduce.html

​大数据和云计算技术周报(第33期)

4行为数据分析

美团点评每天收集的用户行为日志达到数百亿条,如何在海量数据集上实现对用户行为的快速灵活分析,成为一个巨大的挑战。为此,美团提出并实现了一套面向海量数据的用户行为分析解决方案,将单次分析的耗时从小时级降低到秒级,极大的改善了分析体验,提升了分析人员的工作效率。并对该方案的实现过程进行详细讲解和分析.

http://mp.weixin.qq.com/s/iCJ9IeAPnaqatEWzgXONfg

​大数据和云计算技术周报(第33期)

5存储技术热点与趋势

分布式存储系统是一个非常古老的话题,也是分布式系统里最难、最复杂、涉及面最广的问题之一。本文深入浅出,为大家详细解释相关的重要概念

http://mp.weixin.qq.com/s/-Z9pBpVmQDdSsgeTEHchyA

​大数据和云计算技术周报(第33期)

6Spark与kafka010整合

这篇不错,大部分人使用spark和kafka开发的时候,很多都是拿的官方实例,但是官方实例往往是最基本的 单纯为了演示,不一定适合你的场景 ,本篇编写整合可以起到一定的参考作用 

http://mp.weixin.qq.com/s/AMxi1R2A-2wSEz8tsNc_vg

​大数据和云计算技术周报(第33期)

7浅谈三剑客

一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。

但如果是非技术的人员,就可能比较难理解这三者之间的相互关系,所以有必要解释一下。

http://mp.weixin.qq.com/s/WXhvZ3sT4VO4PO6BfWMILw

​大数据和云计算技术周报(第33期)

8CAP

在金融业务中,采取类似两地三中心架构,往往可能采取本地数据和异地机房数据同时写成功再返回的方式。这样付出了性能的损耗,响应时间变长。但发生机房故障后,能确保数据是完全可以读写的,保障了一致性。

http://mp.weixin.qq.com/s/ZCSVst1XCNdkyfaZGYIBiA

​大数据和云计算技术周报(第33期)

009开心一刻

 老婆给当程序员的老公打电话:下班顺路买十个包子,如果看到卖西瓜的,买一个。当晚老公手捧一个包子进了家门。老婆怒道:你怎么只买一个包子?!老公甚恐,喃喃道:因为我真看到卖西瓜的了。”

 

​大数据和云计算技术周报(第33期)


致谢:

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉

​大数据和云计算技术周报(第33期)


猜你喜欢




#大数据和云计算机技术社区#博客精选(2017)

NoSQL 还是 SQL ?这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报(第32期):NoSQL特辑

大数据和云计算技术周报(第31期)

新数仓系列:Hbase周边生态梳理(1)

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列:漫谈运营商公有云发展史

云观察系列:百度云的一波三折

云观察系列:阿里云战略观察

超融合方案分析系列(7)思科超融合方案分析

加入技术讨论群




《大数据和云计算技术》社区群人数已经3000+,欢迎大家加下面助手微信,拉大家进群,自由交流。

​大数据和云计算技术周报(第33期)

喜欢钉钉扫码下面的群:

​大数据和云计算技术周报(第33期)


喜欢QQ群的,可以扫描下面二维码:

​大数据和云计算技术周报(第33期)

欢迎大家通过二维码打赏支持技术社区(英雄请留名,社区感谢您,打赏次数超过108+):

​大数据和云计算技术周报(第33期)






相关文章:

  • 2021-05-22
  • 2021-06-13
  • 2021-08-11
  • 2021-07-31
  • 2021-04-06
  • 2021-10-12
  • 2021-11-06
猜你喜欢
  • 2021-09-10
  • 2021-05-31
  • 2021-08-18
  • 2021-09-18
  • 2021-07-22
  • 2021-07-10
  • 2021-08-02
相关资源
相似解决方案