大数据和云计算技术周报（第31期）

写在第31期周报

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：Redis开发规范、HDFS Federation、Spark 2.0、万亿级日志与行为数据存储查询、Hbase存储优化、Anna、HBase读写设计、机器学习。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

１Hbase存储优化

HBase数据库理论上是支持PB级数据的快速索引，不过这是建立在对各个参数合理优化的基础上，本次分享来自于一线人员在透彻HBase精髓基础上洞悉出的HBase调优之道。

http://blog.csdn.NET/odailidong/article/details/41794403

大数据和云计算技术周报（第31期）

２HBase读写设计

本文从实际项目角度讲述了hbase的使用，从技术选型，设计，编码到测试完整案例，有一定的参考价值

http://mp.weixin.qq.com/s/MLecq72SBsez1J_2_WoA3w

大数据和云计算技术周报（第31期）

３Redis开发规范

本文介绍了在使用阿里云Redis的开发规范，从键值设计、命令使用、客户端使用、相关工具等方面总结了使用经验，通过本文的介绍可以减少使用Redis过程带来的问题。

https://mp.weixin.qq.com/s/6M9qNZ0AgC7S6NnGd9qMvg

大数据和云计算技术周报（第31期）

４HDFS Federation

HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的NameNode水平扩展方案。该方案可以为HDFS服务创建多个namespace，从而提高集群的扩展性和隔离性。本文详细讲述了美团如何对HDFS Federation本身做出的改进和对拆分过程的流程化处理，希望能为需要落地HDFS Federation的同学提供一个参考。

https://tech.meituan.com/hdfs-federation.html

大数据和云计算技术周报（第31期）

５Spark 2.0

来自 IBM，里面有大量针对 Spark 2.0 进行优化的技巧希望大家喜欢

http://mp.weixin.qq.com/s/C94nFvrp9ALgKVsOmIX7Jw

大数据和云计算技术周报（第31期）

６日志与行为数据存储

大数据产生的根本还是增量数据，单纯的用户数据不足以构成大数据，然而用户的行为或行为相关的日志的数据量，加之随着物联网的发力，产生的增量数据将不可预估，存储和查询增量数据尤为关键。

http://mp.weixin.qq.com/s/7vokXy59qUqZUA5HhCXqOA　

大数据和云计算技术周报（第31期）

７Anna

天下武功，唯快不破。伯克利 RISE 实验室推出了最新的键值存储数据库 Anna，提供了惊人的存取速度、超强的伸缩性和史无前例的一致性保证。Jeff Dean 说，当一个系统增长到十倍规模时，就需要进行重新设计。那么，对于 RISE 实验室的研究员们来说，怎样才能设计出一个具备指数级增长规模的键值存储数据库呢

http://mp.weixin.qq.com/s/3WmGpZkEuSz-ox_2CPCsqg

大数据和云计算技术周报（第31期）