竞品现状
华为湖工厂:https://support.huaweicloud.com/productdesc-dlf/dlf_07_003.html
阿里云dataworks:https://help.aliyun.com/document_detail/85549.html?spm=a2c4g.11186623.2.11.2af877a12E5NC9#title-pl9-xez-b3o
阿里-DataWorks
概述
DataWorks是一个提供了大数据OS能力、并以all in one box的方式提供专业高效、安全可靠的一站式大数据智能云研发平台。同时能满足用户对数据治理、质量管理需求,赋予用户对外提供数据服务的能力。
产品定位
快速完成数据集成、开发、治理、服务、质量和安全等全套数据研发工作。
核心能力
基于DataWorks,您可以获得如下能力:
数据集成:复杂网络环境、丰富数据源之间的数据传输与上云。
数据开发:在线批处理、流处理和机器学习等多引擎任务开发,构建复杂的调度依赖,提供开发、生产环境隔离的研发模式。
实时分析(仅公共云):提供基于电子表格的快速、灵活的即时查询。
数据服务:零代码快速生成Serverless化的API。
数据质量:通过表级别、字段级别监控规则定义,第一时间感知脏数据。
智能监控:一键实现复杂工作流的全链路监控报警配置。
数据地图(公共云)/数据管理(专有云):提供强大的数据搜索、数据类目、数据血缘等能力。
数据资产管理(仅专有云):统一管理整个平台的数据表、API等各类数据资产。
数据安全:数据审计、数据脱敏、权限控制等能力。
应用开发(仅公共云):基于Web端的组件拖拉拽轻松构建数据应用。
工作空间管理(公共云)/平台管理(专有云):从系统层面,为管理者提供对使用DataWorks的用户(成员)权限、DataWorks底层计算引擎配置的管理能力。
阿里-智能数据构建与管理Dataphin
面对各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的数据能力,包括产品、技术和方法论等,助力打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系,以驱动创新。
数据湖工厂DLF
提供一站式大数据协作开发平台,用户可轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务,降低用户使用大数据门槛,帮助用户快速构建大数据处理中心
商业分析
阿里云与华为均采用一站式构建数据工作流的方式,配置化与硬编码方法结合,提供从数据集成到数据消费的全链路数据加工能力。从商业角度上,一站式数据开发运营平台,更有利于低成本,高效构建数仓和数据平台,通过提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力,快速构建数据体系,驱动创新。
京东数据直通车已支持通过页面配置、零代码的方式进行数据接入工作。提供完整的数据开发运营方案,早期已独立产品存在,当前逐渐构建一站式平台,部分操作仍需跨产品进行操作。
数控模型设计流程
产品未来规划
五个方向
1.一站式的DAG作业流编排,支持数据集成、数据出库、数据计算、质量监控全链条服务。
2.扩展作业编排组件类型:比如机器学习、流计算、无代码开发从现在的30%提升到70%
3.快速将数据转化为API服务(基于Serverless)
4.零代码的开发模式
5.全链路的数据质量平台