基于金融行业的云数据库实践

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 高级产品专家.时慢在2018云栖大会·上海峰会中做了题为《基于金融行业的云数据库实践》的分享,就金融行业应用架构的变迁、阿里云数据库、金融级可靠性原理揭秘、数据安全等方面的内容做了深入的分析。

摘要:高级产品专家.时慢在2018云栖大会·上海峰会中做了题为《基于金融行业的云数据库实践》的分享,就金融行业应用架构的变迁、阿里云数据库、金融级可靠性原理揭秘、数据安全等方面的内容做了深入的分析。

传统金融架构缺点

0dc78af8bd43738f7493e0e8f983db2bbd4f92e9 

很多金融企业都在考虑数据库是不是要做分布式的改造。那究竟什么样的业务场景才需要做数据库分布式架构呢?首先我们要明白传统金融行业应用架构和互联网的分布式应用架构有什么不同。其实从资源层面、数据层面、中间件层面、应用的开发层面等都有一个鲜明的对比。

1、资源层面。传统的应用架构在使用微型机、存储设备等一些物理硬件。而目前在互联网分布式应用下,阿里云在使用公有云、私有云、混合云等一些混合式的架构。

2、数据层面。传统的应用在使用集中化的数据库,比如Oracle、SQLserver等数据库,为什么叫集中化的数据库?因为传统应用为了实现多个节点之间共享和最大限度的保证数据的一致性,习惯把数据文件存放在一台集中化的存储设备里面。而在互联网分布式应用下,阿里云一直倡导去集中化的数据库的理念,所以目前阿里云在使用MySQL、HBase、Redis等一些分布式的架构。

3、中间件层面。传统应用在使用WebLogic/WAS/MQ等等,目前为了做一些微服务的改造,阿里云在使用Swarm/K8S/Mesos等等一些架构来基于微服务做一些调度。

4从应用架构、应用框架来说,传统的应用在使用Spring/Struts/SOA,现在阿里云在使用一些微服务架构。

5传统企业的开发运维采用可控发布,保守运维,经常一个新功能的发布动辄几周甚至几个月的时间才能上线。而现在阿里云在使用DevOps,应用可以随时上线。

因此在目前分布式的改造之下,阿里云认为传统金融行业对数据库有更高的要求,总结起来就是需要敏捷、分布式、低成本等特点。由于每一个微服务都对应一个小的数据库,需要大量的数据去支持一个业务,因此需要灵活性的调度,所以对敏捷性是有要求的。同时因为量级比较大,也希望实现分布式结构。并且由于使用的数据库多了,使用商业数据库成本太大,因此需要降低成本。

丰富的云上数据库

金融行业需要什么样的数据库呢?阿里云认为金融行业做互联网的创新,需要的数据库主要有以下特点:

1、自主可控:基于开放架构,基于开源的优化。

2、高可用:跨机房容灾,满足金融级业务系统全天候对外提供稳定可靠的客户服务。

3、高性能:互联网+金融的创新业务所需的流量弹性。

4、支持云:私有云和公有云互通一致的体感,降低使用和运维难度。

5、易运维:大体量自动化、运维体系合规化要求(基线、环境适配、管理体系等)。

6、数据安全: 审计&数据强一致性&多中心容灾部署。

7、成本优化:IT总体拥有成本必须下降。

 

983405c7ef0ac41924d970966c17f37ab076d589 

基于以上特点,阿里云提供了丰富的云上数据库。例如关系型数据库有MySQL、SQL Server PostgreSQL、PPAS(⾼高度兼容Oracle)、POLARDB。NoSQL数据库有Redis、MongoDB、HBase、Memcache。混合分析数据库有HybridDB for MySQL、HybridDB for PostgreSQL。搜索与时序数据库有OpenSearch、Elasticsearch、HiTSDB。另外还提供像DTS、DMS、HDM等数据库服务与工具。

fef231d8df686d2991b80d28ab7616ae70ecc7b6 

对于这么多数据库类型和不同数据库引擎而言,阿里云还有很多不同的版本。以MySQL为例,有基础版、高可用版、金融版。基础版是在ECS的基础上,加云盘上部署的MySQL数据库,它提供非常高的性价比,价格基本上跟你买一个ECS加一个云盘是一样的,但是阿里云在此之上已经集成好了数据库产品。高可用版做了主从数据的复制,可以保证数据库的数据可用性。当主节点宕机以后,阿里云可以快速的把业务切换到从节点去,从而保证数据库的可用性,同时还有很多企业级的功能,包括读写分离,读写分离是做数据库横向扩展最便捷的一种方式,应用不用做任何更改,把写入在主节点执行,把查询在只读节点执行,无形之中增强了主库的能力。

1c892539aa977f88e627ff716ef329dd97d33eaf 

金融版是跨三机房、三节点的三副本的版本,默认实现了同城三机房的容灾。金融版直接部署在三个机房,它可以保证数据在三个机房做复制,并且当一个机房不管是因为电源的故障还是因为光纤的故障而失效,整个数据库也不会受到影响,数据库主节点会自动迁移到另外两个机房之一,继续提供服务,同时金融版集成了SQL审计、高频监控等。

金融级可靠性原理揭秘

阿里云金融版数据库能做到数据的高可用、一致性主要从以下方面来考虑:

1、数据复制的演进——双通道binlog复制

de1512db5b27b3fb3594467e9f198314e4b70595 

做数据库的高可用是一定要做数据复制的。MySQL原生提供两种方式的复制,一种是异步复制,比如是一主一从,中间做异步复制。但是从节点势必会引起延迟,当主节点发生故障的时候,这个时候不知道从节点的数据是不是最新的,因此如果切换从节点,很有可能会造成数据的丢失。为了解决这个问题,MySQL官方提供了另一种方式,半同步复制。半同步复制也是一主一从,主节点在写入数据的同时,会产生日志,然后发送日志给从节点。因此当主节点宕机,至少可以保证从节点是有数据的。但是同时也会产生另一个问题,当主节点在等从节点响应的时候,如果发生网络的故障,最终还是降级成异步。因此阿里云在AliSQL上做了增强,叫做双通道复制,也就是说同时有一条半同步复制通道和异步复制通道,通过这两个通道可以确定性的得知当前主数据库和从数据库的数据是否一致。

2、拜占庭将军问题与分布式一致性算法

4bbc43577de267d051bc285a5eeeeafb3da2adc6 

拜占庭将军问题在分布式领域是一个比较传统的问题,为了解决拜占庭将军问题,十几年前有一个Paxos算法,但是Paxos算法过于复杂,在很长一段时间都没有计算机语言可以实现,后来Paxos算法做了简化,即Raft算法。通过Raft算法可以解决分布式一致性问题,因此阿里云把Raft算法放到了MySQL内核里面。底层维护了三个数据库节点,一主两备的复制拓扑结构意味着每个节点都是全量的数据,数据库事务日志(Log)从主库同步复制到所有的备库,当集群中超过半数的节点都写入成功后,事务才能完成提交。虽然是同步复制,但由于是三个点,因此单个节点的故障不会影响到实例整体的可用性。这种设计的好处显而易见,即在不损失可用性的情况下,通过较高的数据冗余度来换取更好的可靠性,同时支持跨机房的部署方式,具备机房容灾能力。 

3、对数据安全的重视

b83ad199b0faaff0ed4b85272085f38260bd43f4 

安全是根植于阿里云内核的原生功能。从安全的角度,阿里云做了事前、事中、事后三个方面的安全审计,事前阿里云可以做VPC专有网络、IP白名单、防暴力破解、灵活账号权限管理等,事中做了 SSL加密、TDE加密、拦截SQL注入攻击,事后可以做 SQL审计、克隆实例等。

划时代数据库 - POLARDB

fe1a4c1770a6a29880be14e0f3609c3cc1c1223c

2018年5月,阿里云发布了一款划时代的数据库POLARDB,POLARDB具有MySQL的特点,与MySQL达到了100%的兼容。只要业务系统是基于MySQL开发的,迁移到POLARDB上也毫无问题,而且性能上相比MySQL提升了6 - 10倍,最大规格支持64核,512G,支持的存储容量达到100TB。

8f8069c67426ce491cb404f232731902b1ef80c8 

POLARDB解决了TCP/IP协议原始的延迟问题,并且放弃了MySQL基于binlog的逻辑复制,而是基于innodb的redolog实现了物理复制去提升整个数据库的性能。所以阿里云也希望大家逐渐尝试,当MySQL遇到性能瓶颈,可以往POLARDB迁移,而不是分库分表等做一些复杂的操作。POLARDB经过 半年多试商用,目前已经正式上线,如果大家对POLARDB有任何疑问,都可以加阿里云高级产品专家时慢的钉钉咨询。

本文由云栖志愿小组黄小凡整理

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
存储 监控 安全
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
为了提供更好的日志数据服务,360 企业安全浏览器设计了统一运维管理平台,并引入 Apache Doris 替代了 Elasticsearch,实现日志检索与报表分析架构的统一,同时依赖 Doris 优异性能,聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
|
2月前
|
安全 Java 数据库
后端进阶之路——万字总结Spring Security与数据库集成实践(五)
后端进阶之路——万字总结Spring Security与数据库集成实践(五)
|
3月前
|
存储 SQL Cloud Native
深入了解云原生数据库CockroachDB的概念与实践
作为一种全球领先的分布式SQL数据库,CockroachDB以其高可用性、强一致性和灵活性等特点备受关注。本文将深入探讨CockroachDB的概念、设计思想以及实践应用,并结合实例演示其在云原生环境下的优越表现。
|
3月前
|
Cloud Native 关系型数据库 大数据
CockroachDB:云原生数据库的新概念与实践
本文将介绍CockroachDB,一种先进的云原生数据库,它具备分布式、强一致性和高可用性等特点。我们将探讨CockroachDB的基本原理、架构设计以及在实际应用中的种种优势和挑战。
|
6月前
|
SQL 关系型数据库 数据库
RDS入门——Excel文件转存到RDS数据库实践
本实验将帮助您快速掌握RDS产品的实例开通,熟悉RDS产品的常用功能与基础操作,完成云上数据库搭建。
|
7天前
|
SQL 监控 数据库
数据库管理与电脑监控软件:SQL代码优化与实践
本文探讨了如何优化数据库管理和使用电脑监控软件以提升效率。通过SQL代码优化,如使用索引和调整查询语句,能有效提高数据库性能。同时,合理设计数据库结构,如数据表划分和规范化,也能增强管理效率。此外,利用Python脚本自动化收集系统性能数据,并实时提交至网站,可实现对电脑监控的实时性和有效性。这些方法能提升信息系统稳定性和可靠性,满足用户需求。
31 0
|
2月前
|
缓存 监控 关系型数据库
构建高效的数据库应用:Python 实践
在当今数据驱动的世界中,构建高效的数据库应用程序对于企业和个人来说至关重要。Python 作为一种强大的编程语言,提供了丰富的数据库工具和库,使得开发人员能够轻松地构建高效、可靠的数据库应用程序。在本文中,我们将探讨一些关键的技术和最佳实践,以帮助你构建高效的数据库应用程序。
|
2月前
|
敏捷开发 弹性计算 架构师
浅谈微服务架构下的数据库设计与实践
在当今快速发展的软件工程领域,微服务架构因其高度的模块化和灵活性而受到广泛欢迎。然而,随之而来的是对数据库设计和管理提出了新的挑战。本文将探讨在微服务架构下,如何有效地设计和实践数据库以支持服务的独立性、数据的一致性和系统的扩展性。我们将从微服务的数据库隔离策略谈起,深入分析数据库的分库分表、事务管理、数据一致性解决方案等关键技术,并通过实例说明如何在实际项目中应用这些原则和技术。本文旨在为软件开发者和架构师提供一份指南,帮助他们在微服务架构的环境下,更好地进行数据库设计和管理。
204 1
|
3月前
|
SQL 监控 关系型数据库
解密SQL性能异常事件及阿里云数据库的性能调优实践
作为开发者想必都知道数据库是现代应用的核心组件之一,而且在当今互联网时代之下,SQL查询的性能直接影响系统的整体性能,它的性能对于系统的稳定性和响应速度至关重要。那么本文就来讨论一下SQL性能异常的排查和优化方法,包括我个人印象深刻的SQL性能异常事件,以及分享一下使用阿里云数据库产品/工具进行SQL性能调优的经验和心得体会。
84 1
解密SQL性能异常事件及阿里云数据库的性能调优实践
|
3月前
|
SQL 存储 监控
公司内部电脑监控软件的数据库管理:SQL代码实践
随着科技的飞速发展,公司内部电脑监控软件在保障信息安全和提高员工生产效率方面发挥着重要作用。本文将深入探讨监控软件的数据库管理,并通过SQL代码实践展示其操作和优化方法。
300 0