对客户来说,数据是宝贵的财富,但数据管理却是十分复杂的,如果大家比较熟悉存储的管理系统,尤其是一个中大规模的数据中心,不难发现这个庞大的数据生产、处理系统包含20多个协议制式、10多个的硬件介质、20软件功能、30的关键技术、10多家的供应商、30多种产品型号,这只是国内几家企业客户的统计情况,如果放眼全球和其他行业,数据管理的复杂度绝对超乎我们的想象。面对如此复杂的数据存储和管理系统,对管理员来说,必须精通每一种数据管理技术,你怕了吗?
存储数据系统的现状就是如此,我们跟很多客户进行过交流,客户普遍认为都面临一些类似的问题。
-
1、利用率低、管理复杂:在传统数据中心,存储设备种类多、管理复杂;业务与存储系统之间难以匹配,通常只能以超配来确保存储满足业务应用的需求,导致资源利用率低。
-
2、数据复发难以云化:传统数据系统缺乏对存储进行服务等级定义和衡量,所以很难实现存储云化供给。 传统数据中心业务和数据之间复杂的关联和组网都是紧耦合的,而云化则屏蔽了这些复杂性,所以业务上云的可行性和风险也很大。
-
3,缺乏弹性伸缩:云时代的业务变化快、讲究个弹字,节假日需求暴增就希望业务能动态变化到更高的服务等级上,业务低估时,要求规模和服务等级都有所收敛。另外,传统存储的业务上线时间一般是几天到几周,难以跟上业务上线步伐。
-
4,架构封闭、没未来:传统存储大多采用封闭架构,自己玩自己,北向对接云平台的能力还可以,但南向管理异构设备的能力明显不足,同时缺乏对数据全生命周期的有效管理。
企业正在经历传统数据中心向云转型的过程,现在计算、网络已在虚拟化进程取得重大进展,而存储的虚拟化进程相对滞后,成为数据中心云化演进的瓶颈。但是这些计算、控制器、网络、存储资源互相之间不是真的理解,当给通过非常好用的云计算管理平台为应用去调度存储资源或者分配存储资源的时候,存储并不是能够很好的按需调度分配应用的,通常情况大家就像凑合过日子一样,反正你也没有别的选择,我只能给这些,你就凑合用。
面对存储产业云化趋势加强,SDS是存储云化的重要手段。但目前SDS的挑战是控制面无标准,由各存储厂商自定义,导致生态发展缓慢。因此业界需要有统一的SDS标准,面向应用提供灵活、按需供给、服务化、目录化的存储数据服务。
基于上述背景和OpenStack成功的启示,业界领袖厂商达成一致共同建立OpenSDS联盟,推行开发SDS标准化,发布SDS控制器参考架构,开放标准API接口。最终用户基于OpenSDS标准可获得轻量级、厂商中立的SDS环境。那么下面这张图将详细告诉你,什么叫OpenSDS。(说明: 图片来自“华为IT产品解决方案”)
OpenSDS是一个多厂商参与开放的开源SDS存储架构,OpenSDS的架构大体分成三层,最上层北向有一个统一的接口,中间就是我们控制或者编排器核心的逻辑,通过它处理一些基于策略的调度,比如一些设备发现、存储池化、服务目录等;最下面一层是HUB,HUB用来接入第三方不同厂商的设备,实现OpenSDS对多后端存储的支持,给开发者一个灵活的开发模型。
OpenSDS的核心成员都是非常重量级的,包括EMC,HDS,华为、西数等,客户有沃达丰,还有有在开源方面比较有名的院校OSU。从去年OpenSDS社区正式成立以来,他们都积极贡献着自己的力量,代码开发几乎是从无到有,这就是OpenSDS的一个重要特点。
OpenSDS的开放性应该是其最重要的特点之一,北向通过Rest API实现跟不同IaaS、PaaS、CaaS和SaaS平台对接,并把企业级存储能力开放给上层调度和编排系统,南向HUB通过OpenStack API、OpenSDS Native API或CoprHD实现对不同存储的管理和服务编排。这种标准的南北向API完全屏蔽不同生态使用存储的差异性,使用户或租户更加关注上层应用和存储服务指标。
数据存储系统未来发展的两大趋势是数据服务化和智能运维,到现在我们谈的更多的是OpenSDS存储服务化。服务化、云化就是按照使用水电的方式使用资源,买多少用多少(配额管理),买多长时间用多长时间(计量),用时开通不用关闭(资源复用)。云化和服务化总结起来如下。
-
按照SLA等级抽象和定义资源,让资源具备差异等级特性,精细化匹配需求。
-
服务由管理员编排,租户按服务级别进行申请,资源访问只需一账号;通过租户计量、隔离、申请、监控和管理资源。
-
通过服务目录下单购买,只需按照需求在对应SLA中申请资源,不关注底层设备形态和物理位置。
-
基于SLA、Pool等虚拟资源进行进行容量,性能预测、监控;对不满足或不匹配的业务SLA服务进行在线变更。
实际上,OpenSDS也考虑到了智能运维和数据流动,或数据生命周期管理。通过监控、报表、分析和预测等工具实现智能运维。通过跟华为云、AWS,Azure和Google云形成混合云,实现数据流动和生命周期管理,让数据在生命周期的不同阶段保存在合适的存储位置。
关于数据系统运维自动化和智能化,故障提前预警,全面分析监控是目前最热的话题之一,而且不少数据存储厂商已经开始行动,如EMC的AI存储管理产品CloudIQ;飞康Intelligent Predictive Analytics;NetApp的Elio存储管理聊天机器人和智能运维系统ActiveIQ,它能够预测并检测性能问题,同时提出配置建议,还可以帮助企业客户对跨混合云数据基础设施作出优化。先智数据的Diskprophet也可做预测,检测磁盘的运行数据,检测硬盘的运行状态,然后做出预测。
Nimble的InfoSight Predictive Anakytics,Pure Storage的Pure1 Meta人工智能的管理软件、Kaminario Clarity预测分析平台和Tintri Analytics存储管理预测分析的软件产品之前我都有过简单的分析,感兴趣的小伙伴可以点击文章尾部的相关阅读链接查阅。
对客户来讲,智能运维与存储服务化是并肩的迫切诉求,但目前很难在一个产品中兼顾二者,从OpenSDS的架构和生态中或许看到了曙光,希望智能运维和存储服务化的合并能给客户带来更大价值。目前客户对智能运维的主要诉求体现在如下几方面。
-
数据统计:对磁盘容量、性能、Cache使用率,时延等指标进行统计和展现。
-
配置优化:根据磁盘、系统硬件、端口等配置信息分析现有配置是否合理。
-
主动预测:主动定位、推送监控告警,进一步分析,挖掘问题,发现热点数据和热点磁盘位置,基于故障阈值给出建议。
-
联动分析:结合存储硬件、主机、应用性能、利用率和其他组件联动分析,给出利用率、效率等最优的活动区间,并对故障进行预测。
-
智能分析:采用机器学习多大量个体(如: IO,磁盘等)分析,对IO或磁盘进行画像,给出按周、月等周期的健康波动参考基线。
展望一下未来,OpenSDS社区是Linux基金会成立的开放组织,由华为倡议和主导成立,旨在通过SDS参考架构和API标准的全球化推行,在跨云、容器和虚拟化等场景中,为客户构建存储资源池化,数据智能管理,服务自助发放的存储即服务解决方案,帮助客户业务平滑向云演进。
Linux基金会是全球最大的开源项目社区,已经非常成功的运作了一系列开源项目,如SDN(ODL和ONOS)、CI、CNCF、OPNFV 等。通过Linux基金会的开发者生态系统,相信OpenSDS可以充分利用Linux的优质资源,加速开源社区开展合作,加快SDS标准推广的速度,推动SDS的产业发展。
相关阅读
温馨提示:
请搜索“ICT_Architect”或“扫一扫”下面二维码关注公众号,获取更多精彩内容。
专注做一个有情怀的技术分享平台