数据库实践如何解决互联网架构转型中的痛点!

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云原生数据库 PolarDB 分布式版,标准版 2核8GB
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: 摘要:在2018云栖大会上海峰会中,来自阿里巴巴数据库的高级技术专家王林平为现场的听众带来了题为《互联网架构转型中的数据库实践》的精彩分享。在本次分享中,他重点介绍了互联网发展经历的痛点,数据传输DTS,阿里巴巴数据管理,混合云数据库管理,数据库备份,基于HDM、DBS、DTS的容灾解决方案等。

摘要:在2018云栖大会上海峰会中,来自阿里巴巴数据库的高级技术专家王林平为现场的听众带来了题为《互联网架构转型中的数据库实践》的精彩分享。在本次分享中,他重点介绍了互联网发展经历的痛点,数据传输DTS,阿里巴巴数据管理,混合云数据库管理,数据库备份,基于HDM、DBS、DTS的容灾解决方案等。
数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧
直播视频请点击
PPT下载请点击
以下内容根据现场分享整理而成。

互联网数据库发展经历的痛点

互联网数据库发展过程中,我们在做IT建设的时候都会碰到一些痛点。在这个过程中,如何解决这些痛点非常重要。
第一,许多企业都会面临的数据和业务都会从简单到复杂,数据量由小到大的过程,在这个过程中,数据可能会出现在单一的数据库无法存储的情况,那么这个时候我们如何提升扩展性呢?
第二,我们的业务发展了,数据也发展了,但是人有没有跟上业务发展的节奏呢?
第三,我们的企业在从小到大的过程中多多少少都会有一些核心的数据,比如客户的用户信息,包括一些基础性配置信息。这些信息很多时候是企业里很多部门都能用到的,那么核心数据如何共享呢?
同时,企业在用不同的数据库的过程中,这些数据库之间的数据怎么进行数据交互也是我们面临的一个痛点。
第四,我们的研发人员和控制人员也会随着业务规模的增长不断增加,我们怎样在人员多的时候保证数据的安全和规范性,同时又不影响开发和测试的效率呢?
最后,数据是企业的核心资产,如何提高数据库的容灾能力,保证我们的数据不会因为天灾人祸等丢失?
下面以阿里巴巴整个改造过程中碰到的痛点来介绍一下我们的产品。

_1

上图为阿里巴巴分布式数据库的发展历程。目前阿里巴巴通过分布式数据库解决问题。DRDS产品支持多维度的拆分,比如说我们可以按照交易的ID、客户的ID、按照时间来做拆分。

_2

上图为分布式数据库DRDS的一个典型客户案例,一个电信运营商的案例。它在业务发展的过程中有增速快、扩展性存在瓶颈的痛点。同时,如果客户用传统的方法拆分数据库就面临着应用改造成本高的问题。DRDS提升了存储扩展能力和计算能力,访问应用透明、平滑扩容、透明生配、透明读写分离解决了客户应用改造成本高的问题。

阿里巴巴数据传输

产品有三个核心能力:支持传输同步,支持数据库迁移,支持数据的订阅。可以将数据变化转换成消息发送给下游,下游可以根据这个消息进行应用的电话的消费。

_3

上图为数据传输DTS的架构。在下层我们支持云数据库,包括ECS自建数据库,用户IDC数据库以及集团、蚂蚁。通过产品可以把数据迁移到不同的目标端,同时也支持数据同步订阅。我们可以把数据库的数据转换成文件。

_4

上图为数据传输DTS客户案例。客户面临的主要问题有:本地的Oracle数据库是客户业务的性能瓶颈,活动时,Oracle上的存储过程占用了实例将近80%的CPU。
并且要求在系统持续运行、不停机的情况下将Oracle上业务迁移到阿里云DRDS。
解决方案为:通过DTS搭建Oracle到DRDS实例间的实时同步链路,保证DRDS与Oracle数据实时同步。在DRDS和Oracle实例间的数据保持实时同步后,业务选择任一时刻,将部分流量切换到阿里云上的DRDS。通过DTS,将DTS上产生的业务流量流回Oracle,Oracle和DRDS在业务完成割接期间互为灾备,保证业务连续性。
阿里巴巴数据管理的前世今生。通过信息化统一管理数据库,同时通过非运维操作的规则化,自动化,规则加流畅的自助变更,目前DMS已经在公有云端正式商业化了,同时也支持私有化输出。

混合云数据库管理HDM

_5

上图为混合云数据库管理HDM架构与能力,我们日常运维的工作基本上可以由HDM来解决。HDM的核心能力包括:打通混合云数据库架构,多环境统一管理,自动化运维低成本,容灾切换,快速弹性扩容,一键切换,稳定、容灾、弹性。

_6

上图所示为基于HDM、DBS、DTS的容灾解决方案。最低级的方式就是我们把本地的备份直接的通过拉文件的方式扔到OSS上,当然这样比较低级。第二个就是我们可以通过DBS实时备份上云,备份后也可以通过DBS还原到本地或者RDS上。第三我们通过DTS将云下的数据库同步到云上的RDS。我们云上的RDS跟云下形成一个灾备,也就是说一旦我们本地的IDC无法访问的时候,我们就可以访问云上的RDS来保证业务的持续性。这场景是说我们云下和云上可以实现双向同步。这个双向同步其实可以实现异地多活,就是说我们在A机房有一套数据库,B机房有一套数据库,进行双向同步,这两个双向同步可以支撑IDC访问,云上也可以访问。只要应用端建设的足够好,那么这个双活是可以实现的。同时基于我们的HDM可以打通我们的用户IDC和云上云下,实现数据库的容灾一键切换。

企业级数据库产品架构

_7

刚才跟大家一起分享了几个产品,下面我们来回顾一下这几个产品的一些能力。首先是分布性数据库DRDS。我们可以理解它是一个存储层,来满足数据库的扩展能力。第二个就是我们的数据传输。数据传输实现了数据迁移、同步和订阅的能力,它可以把云外的数据库和云上的数据库打通。同时它不仅限于这些功能,包括我们自己内部。第三是我们的数据管理,可以理解它是一个数据库层面的DevOps,让我们企业的开发人员和测试人员不用进行太多的互动就可以完成数据管理这件事。还有就是我们的数据库备份DBS,来以较低的成本满足企业备份数据的需求。最后就是我们的混合云数据管理HDM,可以打通云上云下的数据库,实现一键容灾切换。

企业级数据库解决方案

除了产品之外,我们还会输出一些解决方案,解决方案是依赖于产品的,给我们广大企业提供一些方案。像研发效率保障和数据安全方案,这个是基于DMS。也就是说我们在输出的时候,我们会帮企业把我们的产品用起来,同时给我们的企业一些建议,比如说我们怎么去做到更高效、更安全、更合规的数据管理体系。第二是DTS。DTS本身具有数据迁移、同步的功能,同时也有订阅功能,那我们会协助企业一起把DTS用起来,能够把数据搬到云上。再就是我们基于HDM、DBS和DTS,会给我们企业输出多层级的容灾解决方案。

相关文章
|
22天前
|
SQL 关系型数据库 数据库
OceanBase数据库常见问题之upgrade_post想要不显示明文密码如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
22天前
|
监控 关系型数据库 数据库
OceanBase数据库常见问题之文件存在但是数据库提示文件不存在如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
22天前
|
监控 Java 数据库连接
OceanBase数据库常见问题之observer 启动失败如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
24天前
|
负载均衡 测试技术 持续交付
高效后端开发实践:构建可扩展的微服务架构
在当今快速发展的互联网时代,后端开发扮演着至关重要的角色。本文将重点探讨如何构建可扩展的微服务架构,以及在后端开发中提高效率的一些实践方法。通过合理的架构设计和技术选型,我们可以更好地应对日益复杂的业务需求,实现高效可靠的后端系统。
|
9天前
|
Kubernetes 安全 Java
构建高效微服务架构:从理论到实践
【4月更文挑战第9天】 在当今快速迭代与竞争激烈的软件市场中,微服务架构以其灵活性、可扩展性及容错性,成为众多企业转型的首选。本文将深入探讨如何从零开始构建一个高效的微服务系统,覆盖从概念理解、设计原则、技术选型到部署维护的各个阶段。通过实际案例分析与最佳实践分享,旨在为后端工程师提供一套全面的微服务构建指南,帮助读者在面对复杂系统设计时能够做出明智的决策,并提升系统的可靠性与维护效率。
|
25天前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用
随着企业加速其数字化进程,云计算已成为支撑创新和灵活性的基石。本文深入探讨了云原生架构如何为企业提供敏捷性、可扩展性和成本效益,以及它如何成为支持现代应用程序开发和服务交付的核心。我们将分析云原生的关键组件,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps文化,并讨论这些技术如何协同工作以提高企业运营效率和响应市场变化的能力。此外,我们还将审视采用云原生架构的潜在挑战和克服这些挑战的策略。
|
1天前
|
消息中间件 运维 监控
现代化软件开发中的微服务架构设计与实践
本文将深入探讨现代化软件开发中微服务架构的设计原则和实践经验。通过分析微服务架构的优势、挑战以及常见的设计模式,结合实际案例,帮助开发者更好地理解如何构建可靠、可扩展、高效的微服务系统。
|
1天前
|
负载均衡 Java 开发者
细解微服务架构实践:如何使用Spring Cloud进行Java微服务治理
【4月更文挑战第17天】Spring Cloud是Java微服务治理的首选框架,整合了Eureka(服务发现)、Ribbon(客户端负载均衡)、Hystrix(熔断器)、Zuul(API网关)和Config Server(配置中心)。通过Eureka实现服务注册与发现,Ribbon提供负载均衡,Hystrix实现熔断保护,Zuul作为API网关,Config Server集中管理配置。理解并运用Spring Cloud进行微服务治理是现代Java开发者的关键技能。
|
5天前
|
Linux 数据安全/隐私保护
Linux基础与服务器架构综合小实践
【4月更文挑战第9天】Linux基础与服务器架构综合小实践
1052 6
|
7天前
|
SQL 监控 数据库
数据库管理与电脑监控软件:SQL代码优化与实践
本文探讨了如何优化数据库管理和使用电脑监控软件以提升效率。通过SQL代码优化,如使用索引和调整查询语句,能有效提高数据库性能。同时,合理设计数据库结构,如数据表划分和规范化,也能增强管理效率。此外,利用Python脚本自动化收集系统性能数据,并实时提交至网站,可实现对电脑监控的实时性和有效性。这些方法能提升信息系统稳定性和可靠性,满足用户需求。
29 0

热门文章

最新文章