数据库也能自动驾驶?DAS全天候给你保驾护航!

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 2020年6月9日,“全速重构”2020阿里云·线上峰会即将隆重召开。

5-6-3.gif

阿里云峰会直播地址

2020年6月9日,“全速重构”2020阿里云·线上峰会即将隆重召开。

在此次峰会上,阿里云数据库重磅发布云原生分布式数据库 PolarDB-X 、云原生数据仓库AnalyticDB、数据库自治服务DAS、云数据库专属集群、图数据库GDB、云数据库Cassandra版、云数据库ClickHouse 7款跨时代产品,用技术倾情打造新数字时代的基石!
今天小编为大家倾情呈现全球首个数据库自动驾驶云平台DAS产品亮点!

过去10年,数据库上云俨然已成共识,云数据库相较于传统线下数据库,解决了资源、弹性、高可用、备份、监控等基本DB运维负担。但如何用好数据库,如何对数据库进行快速诊断和持续优化,对一般应用开发者而言,依然充满挑战。

阿里云基于阿里巴巴自身数据库规模化运维的专家经验,结合人工智能和机器学习技术,实现自感知、自诊断、自修复和自安全的数据库自动驾驶能力,今天依托于阿里云平台,推出数据库自治服务,正式向云上客户开放。

DAS是业界首次以独立云服务的方式实现数据库自治能力,推出六大核心自治特性,覆盖支持包括OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB)等各类数据库引擎,并支持混合云、SQL审计和风险识别等企业级数据库运维特性,为客户数据库的稳定安全提供全方位保驾护航。
基于数据驱动、专家经验和机器学习,从异常发现、根因分析、执行修复/优化操作、跟踪评估、反馈实现全流程闭环,无需人工干预,实现数据库的自治,保障数据库持续稳定、高效运行。

DAS 具备 6大核心自治特性

7 x 24实时异常检测:通过机器学习算法,实时对数据库的Workload进行异常检测,相比基于阈值的告警方式,能够更及时的发现数据库的异常,而不是靠故障驱动;

异常自愈:DAS发现异常后,自动进行根因分析,定位到问题后,自动执行相关止损/修复/优化操作,帮助数据库自动恢复,减少对企业业务的影响;
自动优化:基于全局workload和真实的业务场景,而不是基于单条SQL,持续的对数据库进行SQL Review和优化,就像有一个不知疲倦的专业DBA一直在守护着您的数据库;

智能调参:数据库的参数成百上千,用户的业务场景多种多样,靠人肉的方式无法将参数调整为最优的配置,DAS和达摩院合作,通过基于机器学习技术,和智能压测相结合,可以为每个数据库实例的自动推荐最优的参数模版;

AutoScale:基于机器学习,自动对数据库的业务模型、容量水位进行计算和预测,实现先知先觉式的自动扩缩容。

智能压测:为用户提供个性化的压测服务,DAS可以自动学习业务模型,自动生成无限多的接近真实业务的workload,同时提供给用户更丰富的压测场景,帮助用户解决大促、数据库选型等等问题。

和自动驾驶一样,数据库自治服务,也不是一蹴而就的,我们将数据库的自治能力划分为5层:

  • Level-0:全部靠人肉,没有任何工具/产品辅助
  • Level-1:提供基础监控、告警等信息,不输出任何建议;
  • Level-2:在某些场景下,能够输出诊断或者优化建议,但是建议是否采纳和应用,还是由人来决策,例如SQL诊断引擎
  • Level-3:在某些场景下,实现完全的自治,无需人参与,例如自动SQL限流、自动弹性伸缩
  • Level-4:实现数据库的完全自动驾驶,目前DAS正在努力做到Level-4的过程中。

为了实现数据库自治服务,我们已经实践了6年。

从2014年开始,我们开始尝试如何将DBA的经验转换成产品,为业务开发提供更高效,更智能的数据库服务。我们就构建了基于规则的SQL诊断引擎,即输入一条或者多条SQL后,SQL诊断引擎会直接输出优化建议;

2016年,CloudDBA的web版发布,同时也升级了SQL诊断引擎,在这个阶段用户可以直接在阿里云上通过C loudDBA直观的查看数据库的负载,同时进行SQL诊断和优化。

2018年我们通过在阿里巴巴的业务和场景,开始孵化和锤炼数据库自治能力,

通过Self-driving Database Platform,截止到2020年4月已经自动优化了4200万+的SQL、自动回收了超过4 PB的空间、自动优化了 27 TB的内存。

2019年11月,为了更好的服务客户,我们将混合云数据库管理HDM+ CloudDBA+自治的能力,升级为数据库自治服务DAS。

DAS 在4个方面取得了核心创新和突破:

首个全局综合自治引擎:基于根因分析以及实例全维度聚合信息,进行集中决策,冲突解决,专项自治场景决策分发,在多自治场景下实现综合自治。

首个外置式Cost-based SQL诊断:基于代价的诊断引擎,一套独立于数据库之外的优化器,并以自适应的统计信息收集机制,基于执行计划的代价评估,实现SQL精确诊断与优化建议输出。

基于Workload全局SQL优化技术:以Workload负载为优化单位,综合考虑Workload中影响整体性能的特征,如SQL执行消耗资源占比、读写比等,进行整体优化,实现负载整体性能最大化提升同时,最大化降低空间消耗。

基于机器学习的Workload异常发现与预测:基于机器的Workload异常发现,自动感知引发Workload变化的异常SQL,自动触发全局优化,变被动式优化为即时主动式全局优化。

和达摩院的相关的研究成果,也取得了国际学术界的认可:

2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》
2019年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》
2020年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》

通过DAS,可以帮助企业节省90%的数据库管理成本,降低80%的运维风险,让用户可以更集中在业务创新,让业务持续行驶在快车道上。

更多DAS产品性能尽在2020年6月9日阿里云峰会数据库新品发布现场,我们不见不散!
预约观看:
image.png
PS.关注公众号,后台回复“峰会”即有机会免费获得阿里云数据库定制太阳伞一把
详细规则请参见:
2020年6月9号,我们准备干一件大事

目录
相关文章
|
2月前
|
运维 安全 关系型数据库
参加数据库管理工具DAS训练营,赢取国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
2月前
|
SQL 运维 数据库
数据库自治专家DAS在手,安心过春节!
春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。
344 2
|
7月前
|
运维 关系型数据库 分布式数据库
使用DAS实现数据库异常检测
本场景主要介绍如何使用DAS异常检测功能,对数据库PolarDB MySQL 进行异常检测,能够更为及时地发现数据库的异常变化提升数据库系统的稳定性,提高运维效率。 背景知识
226 0
|
7月前
|
SQL 关系型数据库 分布式数据库
使用DAS实现数据库自动SQL优化
本场景介绍如何使用DAS实现数据库自动SQL优化。
107 0
|
7月前
|
SQL 关系型数据库 分布式数据库
使用DAS实现数据库自动SQL限流
本场景主要介绍如何使用DAS提供SQL限流功能,通过自动SQL限流来控制数据库请求访问量和SQL并发量,保障服务的可用性。
133 0
|
7天前
|
关系型数据库 MySQL 分布式数据库
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
41 2
|
23天前
|
SQL 数据可视化 关系型数据库
轻松入门MySQL:深入探究MySQL的ER模型,数据库设计的利器与挑战(22)
轻松入门MySQL:深入探究MySQL的ER模型,数据库设计的利器与挑战(22)
105 0
|
23天前
|
存储 关系型数据库 MySQL
轻松入门MySQL:数据库设计之范式规范,优化企业管理系统效率(21)
轻松入门MySQL:数据库设计之范式规范,优化企业管理系统效率(21)
|
23天前
|
关系型数据库 MySQL 数据库
轻松入门MySQL:精准查询,巧用WHERE与HAVING,数据库查询如虎添翼(7)
轻松入门MySQL:精准查询,巧用WHERE与HAVING,数据库查询如虎添翼(7)
|
4天前
|
SQL 存储 关系型数据库
数据库开发之mysql前言以及详细解析
数据库开发之mysql前言以及详细解析
14 0