这是学习笔记的第 1920 篇文章
作为腾讯云TVP的一员,今天参加了“首期大数据之约”,这是一个限定名额的活动。从主办方的策划和组织来看,是下了很大的功夫。
分享活动从下午开始,有4个技术主题和一个圆桌会议,日程如下:
演讲嘉宾的资历都很深,相比于诸位博士和前辈,感觉还是有些压力的。其实抛开大数据议题,从另一个层面来看,也是现今社会的一种竞争升级。大数据和人工智能带来的红利,同时带来了大量的竞争,这种竞争中一种残酷的方式就是门槛,比如现今的人工智能,没有个博士级别听起来都很难有说服力,从技术的生态体系来说,学院派和工程派的协作和融合会越来越密切。
我分享的主题方向其实是小数据,主题是《数据运维的优化之道》,我刻意回避了“库”,是希望从一个更通用的角度来进行数据运维体系的解读。大体是从SQL审核,自动化上线,自助巡检等几个方面进行分析的,对于目前的工作总会有各种可行的方案,而我们作为数据服务的提供方,应该提供的是最适合最专业的服务,而不是原本被动式,低效的需求处理。其中对于优化,我们的潜意识中有一种错觉,那就是优化以为只能做更多,相反优化我们也可以做减法,能够化繁为简,我觉得是一种更高层次的优化。比如我们近期的一次优化,从架构体系和技术细节上进行的改进,让原本单机QPS 40万的业务压力降为5000,从支撑指标来看是降低了,但是性能反而是提升了。
当然另外三位嘉宾的分享更加专业,分别从分布式数据库的行业现状,大数据基础架构和新一代云数据库几个方面进行了解读,我目前也承接了公司的Greenplum技术体系支持,所以对于这方面的内容还算是熟悉,但是对于整个大数据技术栈的深入理解上,还需要下大的力气。
圆桌会议的讨论主题相对是开放的。
比如其中一个问题是对数据库与大数据技术的未来趋势有哪些预测与判断?比如数据的云服务化(低成本,托管免运维,安全挑战),HTAP(Hybrid OLTP and OLAP ),容器化,serverless化,大数据与AI技术的结合,等等。
我对HTAP的一个理解是,虽然我们都会按照OLTP+OLAP的模式去理解HTAP,但是从业务的场景入手,有些场景其实既不是OLTP,也不是OLAP,比如论坛业务,其实这种业务场景在互联网中大量出现,换个角度,如果按照目前行业内所说的HTAP方案,其实Oracle本身就可以理解为HTAP数据库了,因为TP,AP支撑能力都非常强,那么我们聊HTAP的时候,其实是想表达一种思路和理解,目前的基于MySQL等数据库对于OLAP的支持有限,HTAP是在TP的基础上对AP的方案做一些补充,从现在的使用来看,目前更多还是在AP的扩展性方面来进行对接,所以基于关系型的模型是一种相对经典稳定的技术栈,而HTAP在目前可以算是一种不错的补充方案,而至于效果和对于业务支撑的实际情况,还需要时间来验证。
对于数据库方向的理解,我认为数据库的发展会越来越多元化,原本属于TP方向的事务优势依然会保留,但是从业务的规模和发展来看,关系型之外的数据库潜力和空间更加巨大,在流行度和使用比例上近些年会有较为明显的发展。
有位现场听众朋友提了一个运维和业务的边界问题,在云时代的背景下,这个问题其实很有代表性。原来的工作中业务提交申请1台服务器和提交5台服务器,从业务的角度是没有任何感知的,或者说他们不关心这些,而对于运维同学来说,复杂度还是有差别的。公有云基于Paas平台的资源服务其实是很不错的一种实践,对于业务来说,他们会形成一种资源服务的意识,这对于运维其实是件好事。另外公有云服务其实目前只是承接了基础运维的工作,但是业务其实更关心的其实是基于业务场景的数据服务,这些服务其实是很多公有云服务本身欠缺的,在目前基于云的服务框架下还是有很大的空间和潜力,如果做好了,完善了,这对于运维还是业务都是双赢。
对于运维来说,其实有一个很大的瓶颈就是只是局限于运维,要看得更宽,想的更多。如何最大化的体现自己的价值,同时在云时代能够牢牢跟进行业发展趋势,这是我们需要反思的问题。