DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成，并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
数据抽取不幂等或容错率低，如凌晨 0:00启动的 ETL任务因为各种原因(数据库 HA切换、网络抖动或 MAXC写入失败等)失败后，再次抽取无法获取 0:00时的数 据状态。2.针对不规范设计表，如没有 create_time/update_time的历史遗留表，传统 ETL需 全量抽取。3.实时性差，抽取数据+重试任务往往需要 1-3小时。另外数据库的数据...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
本方案支 数据一致性校验 持已有 EMR集群元数据库使用 RDS或内置 MySQL 数据库迁移 DLF，通过统一的元数据管理，多种数据 源入湖，搭建高效的数据湖解决方案。最佳实践频道 阿里云最佳实践分享群 产品列表 VPC、EMR、EIP、DLF、RDS、CADT 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 湖仓一体架构 ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
后记 1.DRDS 作为数据库拆分的解决方案，在实际使用场景中还有很多的需求，如对 于一个实体需要按照两个完全不同维度进行查询的场景（如订单表既要按照买 家 ID进行汇总，又要按照卖家场景进行汇总），还有全局事务场景等，本文并 未进行探讨，在后续最佳实践中将进行讨论。总之分库分表是一个复杂的工程，需要进行严密的...
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题，支持关系型数据库、NoSQL、大数据(OLAP)等数据源，其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久。
可以将源端数据库数据实时同步到数据仓库，构建实时分析数仓，也可以根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中，构建更加灵活的数据仓库（例如构建T+1的周期性数仓）.实时同步功能支持将并发粒度缩小到事务级别，能够并发同步同张表的更新数据，提升同步性能；支持多并发压缩传输，降低传输链路对...
来自：
云产品
云数据库OceanBase
云数据库 OceanBase 版是构建在阿里云基础设施上的公有云数据库服务，基于完全自主研发的原生分布式数据库。通过多租户、高压缩存储、多级弹性伸缩、HTAP等能力，在保障数据库高性能的同时，显著降低数据库成本。同时在云上集成了评估、迁移、监控、诊断、备份恢复、运维优化等工具，让数据库管理与运维更简单。
帮助企业实现分布式数据库的平滑迁移.OceanBase 的高可用及容灾方案，可根据使用场景以及对可用区和区域容灾的需求灵活定制，在普通硬件上实现金融级高可用.OceanBase 多可用区、多区域部署能力，帮助您根据业务场景的需求来定制数据库的容灾能力，OceanBase 通过 Paxos 协议，确保部署在不同区域或者可用区的副本间的数据...
来自：
云产品
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
扩展性 除了支持备份阿里云数据库，DBS还支持将 ECS自建数据库、本地机房数 据库、其他云厂商数据库备份到阿里云上。除了支持恢复到原始数据库，DBS还支持恢复到其他环境，如本地数据库通 过 DBS备份，恢复到阿里云数据库上。文档版本：20210812 2 DBS通过 IPSec VPN备份自建数据库 前置条件 前置条件 在进行本文操作之前，...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本，方便扩展，满足数 文档版本：20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述 据库弹性需求。迁移过程中采用 ADAM评估分析工具，在迁移前就对数据和应用改造的工作量和 风险完全掌握，便于决策并有效降低实施风险。迁移过程中通过专业工具，自动...
数据库自治服务DAS
阿里云数据库自治服务（Database Autonomy Service，简称DAS）是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、安全及高效。
随着云计算的普及，企业可以更为便捷的根据不同的业务类型，使用不同的数据库，或者将数据库部署在不同的环境中，多环境和多种数据库的管理的挑战也随之而来：精通多种数据库的专业DBA是稀缺人才，招聘难；管理部署在多种环境的多种数据库的难度大；管理经验沉淀和传承的难度大.使用一个平台直观的查看所有数据库的监控、告...
来自：
云产品
云数据库HBase
阿里云云数据库 HBase 版（ApsaraDB for HBase）是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库，轻松支持PB级大数据存储，满足千万级QPS高吞吐随机读写场景。
存储计算分离，支持高性能并发写入，单节点数十万QPS.PB级时空数据存储与高并发写入.引擎以Z-Order、Hilbert等空间填充曲线为基础，支持二维和三维时空索引.高效的时空索引与算法分析包.云服务器 ECS.推荐搭配使用.物联网时空时序场景.分布式高效时序数据库.使用HBase来存储海量帖子/文章、聊天以及评论等社交Feeds流数据....
来自：
云产品
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
如果 binlog没有打开，那么需要修改源数 据库配置文件中的 log_bin，开启二进制日志 log_bin=mysql_bin。配置完成后重启源 数据库,参考 MySQL，重新进行预检查。访问数据库：mysql-h-P 3306-u admin-p 输入密码：show global variables like"log_bin;文档日期：20200114 30 小型互联网迁移上阿里云最佳实践 数据迁移准备 ...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
步骤11 回到 rds的 dms界面中，对表 trading_order插入数据，再到 Elasticsearch中查看数 据。（dms登录方式本可查看文档章节 2.4创建 rds订单表”。在上图 dms中使用 insert into语句插入一条数据到 trading_order表中：insert into trading_order(order_amount,source_type,consignee_ada,order_type,company,consignee_...
云数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
支持 Flink流计算，Spark,Kafka 实时数写入链路.大数据同步链路.支持 Dataworks 和 DMS 进行大数据及各种数据源批量同步；支持 DAG任务编排，任务调度.业务库同步链路.支持 MaterializeMySQL，MySQL 外表，Dataworks,数据同步服务 Data Transmission Service 实时同步业务数据库数据.全面数据链路接入，快速构建实时数仓.全...
来自：
云产品
同地域跨可用区容灾
场景描述 面向阿里云公共云客户， 1.业务在同一个地域（Region） 2.应用已经无状态 3.在不大幅增加成本的情况下，希望获得支持业务的跨可用区（Zone）容灾能力 3.希望对整体的应用做容灾备份（简称容灾），而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器（ECS）、数据库（RDS）、专有络（VPC）、负载均衡（SLB）、消息队列（MQ）等
可 据库 以 3.访问电商 读写 网站，并注 检查 册用户。正 常。Redi 不可演练，s 单 容灾由系统 一可 自动完成 用区 不可 用 DRDS 不可演练，容灾由系统 单一 自动完成 可用 区不 可 用 单一 不可演练，容灾由系统 可用 自动完成 区不 可 用 Demo 演练逻辑：ECS 部署的C 可用区出现故障，通过对C 可用区的 ECS（DR001）进行...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
vCPU和内存都可 以进行自定义选择（比如 vCPU选 2核，内存选 5G，可以使用于一些非常见资源使 用比例的软件应用）。接下来的购买配置和共享宿主机的 ECS购买基本一致:ECS实例镜像类型可由实际业务决定。本例中使用 Centos 7.6 实例系统盘选择上如果对存储性能要求较高，可以选择 ESSD（单盘 IOPS上万）。文档版本：20220414...
- 产品推荐
- 这些文档可能帮助您