数栈SQL优化案例:隐式转换

MySQL是当下最流行的关系型数据库之一,互联网高速发展的今天,MySQL数据库在电商、金融等诸多行业的生产系统中被广泛使用。 在实际的开发运维过程中,想必大家也常常会碰到慢SQL的困扰。一条性能不好的SQL,往往会带来过大的性能开销,进而引起整个操作系统资源的过度使用,甚至造成会话堆积,引发线上故 ... »

大数据治理——搭建大数据探索平台

在数据治理中,数据探索服务的价值在初期往往是被忽视的,但是随着业务的增加,分析人员的增加,数据探索服务的价值就会越来越大。 一个成功的数据管理平台,不仅仅要提供各种数据分析的工具,提供各种各样的数据源,更要提供数据探索的能力。 为什么数据探索服务很重要? 想象一下,作为一名数据科学家,他刚刚获得新的 ... »

OLAP引擎:基于Druid组件进行数据统计分析

与现在相对热门的Clickhouse引擎相比,Druid对高并发的支持相对较好和稳定,但是Clickhouse在任务队列模式中的数据查询能力十分出色,但是对高并发支持不够友好,需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多,在数据的查询引擎层通常都具有两种或者以上的OLAP引擎,选... ... »

Amundsen在REA Group公司的应用实践

REA Group是一家专门面向房地产与实业资产的跨国数字广告公司。 他们主要为消费者提供房地产购买、出售与租赁服务,同时发布各类房产新闻、装修技巧以及生活方式层面的内容。每一天,都有数百万消费者访问REA Group网站。 REA Group每天都需要进行大量的数据分析工作,去分析用户,财务等信息 ... »

微服务想用好,先把分布式和微服务之间的关系搞清楚

一、分布式和微服务架构的定义 分布式应用场景涵盖的面非常广,我理解的部分: 不同进程之间的互相通信, 不同主机的分布式对象之间调用, 用于大数据存储的分布式文件系统, 用于网络之间相互识别的命名服务, 集群中计算或存储的无中心对等模型, 分布式事务, 数据副本在分布式环境中的复制, 云计算服务, 音 ... »

亿级用户中心的设计与实践

用户中心是互联网最为基础的核心系统,随着业务和用户的增长,势必会带来不断的挑战。如何在亿级的情况下保证系统的高可用,高性能以及高安全,本文能够给你一套实践方案。 ... »

什么原因才是阻碍Linux桌面发展的罪魁祸首

我大概2000年上大学在宿舍开始玩Linux,到现在20年了!也算是最早一批痴迷于Linux桌面用户啦!记得当时的毕业设计BBS论坛开发就是在Mandrake Linux(后改名Mandriva,一种继承自Redhat体系面向桌面的软件)上面完成的,为了下载三张700M的iso镜像,拿着硬盘跑到网吧 ... »

分布式存储单主、多主和无中心架构的特征与趋势

分布式对象存储和分布式文件系统具有很强烈的对比性 分布式对象存储是key/value的存储模式,以restful访问方式为主,几乎处于扁平化的存储形式,通过地址作为主键,访问、更新的文件对象作为值。文件本身可以分布式分片,但是key/value的访问都是原子性,文件不能追加数据,亦不能随机访问文件的 ... »

我的程序员之路03:我和大数据

前言 又是一年乍暖还寒,春天的风迎面而来,凉意中夹杂着些许温暖。哦,你知道,是春天来了。就像那年的实习期,在挥手告别的毕业季,定格在了那年的七月。 人会怀念,怀念青涩时期的自己,懵懵懂懂却又充满着努力。人会想念,想念每天朝夕相处的人,有一天会在转角挥手告别。人会改变,改变了不善言辞的自己,终游荡于人 ... »

理解「分布式系统」曾经发生的事情

分布式系统主要包含的内容很多,我就针对两个核心方面做一下解读:分布式应用服务和对象远程调用、数据的分布式存储。先说说分布式应用服务以及对象远程调用的元老之一: EJB/RMI(Enterprise Java Beans/Remote Method Invocation)吧! 分布式应用和对象远程调用 ... »

博客数据库要连接Elasticsearch,使用MySQL还是MongoDB更合理

若进行博客等文本类数据的读写以及专业搜索引擎的连接的解决方案对比,可以肯定的下结论:MongoDB的解决方案中要远远好于MySQL的解决方案。 一、从开发工序角度 MySQL的文章读写方式 **方式一:**文章标题、作者、标签、时间和内容存关系表,图片存OSS,地址存关系表 上述方式因为OSS和My ... »