数据仓库 - 爱码网

从数仓发展史浅析数仓未来技术趋势

摘要：华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)首席架构师曾凯，针对数据仓库的起源、演进过程、未来技术发展趋势，与开发者和伙伴朋友们展开交流互动，帮助开发者快速了解数据仓库相关信息与能力。本文分享自华为云社区《直播回顾 | 从数仓发展史浅析数仓未来技术趋势》，作者：胡辣汤。 »

从数仓发展史浅析数仓未来技术趋势

摘要：华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)首席架构师曾凯，针对数据仓库的起源、演进过程、未来技术发展趋势，与开发者和伙伴朋友们展开交流互动，帮助开发者快速了解数据仓库相关信息与能力。本文分享自华为云社区《直播回顾 | 从数仓发展史浅析数仓未来技术趋势》，作者：胡辣汤。 »

ByteHouse MaterializedMySQL 增强优化

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群前言社区版 ClickHouse 推出了MaterializedMySQL数据库引擎，用于将 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服务作为 MySQL 副本，读取 Binl »

ByteHouse MaterializedMySQL 增强优化

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群前言社区版 ClickHouse 推出了MaterializedMySQL数据库引擎，用于将 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服务作为 MySQL 副本，读取 Binl »

Clickhouse系列之整合Hive数据仓库示例详解

目录前言正文实战案例 ORC数据格式 Parquet数据格式 TextFile数据格式总结前言什么是Hive？ Apache Hive 数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投射到已存储的数据上。提供了一个命令行工具和JDBC驱 »

MRS+LakeFormation：打造一站式湖仓，释放数据价值

摘要：华为LakeFormation是企业级的一站式湖仓构建服务。本文分享自华为云社区《华为云MRS支持LakeFormation能力,打造一站式湖仓，释放数据价值】》，作者：breakDawn 。 1 背景 1.1 数仓和数据湖的概念数据分析技术在2010~2019年间，以湖仓两层架构技术作为 ... »

开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下

本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 »

开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上

再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ... »

ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析

AggregatingMergeTree引擎继承自 MergeTree，并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。可以使用AggregatingMergeTree表来做增量数据的聚合统计， ... »

ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析

SummingMergeTree引擎继承自MergeTree。区别在于，当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储 ... »

火山引擎DataLeap数据调度实例的 DAG 优化方案

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ... »