云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
云上高并发系统改造 最佳实践 场景描述 部署架构图 ...通常可以预估 1到 2 年的数据增长量，用估算出的总数据量除以总的物理分库数，再除以建议的最大数 据量 500万，即可得出每个物理分库上需要创建的物理分表数：物理分库上的物理分表数=向上取整(估算的总数据量/(RDS 实例数*8)/5,000,000)详细拆分 DEMO 可参考官网文 档：...
全局事务服务GTS
全局事务服务用于处理分布式环境下高性能事务一致性问题。可以与DRDS、RDS、MySQL、PostgreSQL等数据源，EDAS、Dubbo及其他RPC框架，MQ消息队列等中间件产品配合使用，轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。
提供通用的分布式事务管理能力，支持服务框架（EDAS、dubbo）、数据库（DRDS、RDS、MySql、Oracle等）、消息中间件（MQ）的组合使用，灵活方便.通过混合事务，GTS可以应用到金融、电信、电子商务、物流等多个领域.GTS 具有同 region 高可用特性，即使突发事件造成集群中某一台机器挂掉，GTS 仍然能够提供原本一半的服务能力...
来自：
云产品
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
将订正后的转储文件导入到 RDS for MySQL实例中中，我们在 Databricks数 据洞察集群的 Hive元数据库中导入了客户 Hive元数据库的转储文件，创建了一系列 的数据表并插入了数据。在本实践方案中，Hive版本从客户 IDC的 1.2.2变更为阿里云 Databrickes数据洞察 集群的 2.3.5，但是 Databricks 数据洞察集群 Hive 元数据库中的...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
RDS：Relational Database Service，简称 RDS，是一种稳定可靠、可弹性伸缩 的在线数据库服务。基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。云速搭 CADT：是一款为上云...
同地域跨可用区容灾
场景描述 面向阿里云公共云客户， 1.业务在同一个地域（Region） 2.应用已经无状态 3.在不大幅增加成本的情况下，希望获得支持业务的跨可用区（Zone）容灾能力 3.希望对整体的应用做容灾备份（简称容灾），而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器（ECS）、数据库（RDS）、专有络（VPC）、负载均衡（SLB）、消息队列（MQ）等
可 据库 以 3.访问电商 读写 网站，并注 检查 册用户。正 常。Redi 不可演练，s 单 容灾由系统 一可 自动完成 用区 不可 用 DRDS 不可演练，容灾由系统 单一 自动完成 可用 区不 可 用 单一 不可演练，容灾由系统 可用 自动完成 区不 可 用 Demo 演练逻辑：ECS 部署的C 可用区出现故障，通过对C 可用区的 ECS（DR001）进行...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
VPN网关 VPN网关是一款基于 Internet的网络连接服务，通过加密通道的方式实现企业数 据中心、企业办公网络或 Internet终端与阿里云专有网络（VPC）安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN，不仅可以更方便的配置和...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
制作人 阿瑟、明誉 审阅人 云护、江柳 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-05-07 阿瑟、明誉 云护 创建 V1.1 2019-07-25 阿瑟-更新模版 V1.2 2019-11-04 阿瑟 江柳 增加跨账号多VPC的数 据同步 V1.3 2019-11-13 筱晖-文档优化 V1.4 2019-12-17 阿瑟 增加概览页 文档版本：20191217 I 互联网业务全球化...
加密服务HSM
阿里云加密服务（HSM）即云密码机，提供云上加密服务。加密服务使用经国家密码管理局检测认证的硬件密码机作为服务底层，帮助您满足数据安全方面的监管合规要求，保护云上业务数据隐私。为2022年北京冬奥会全面提供数据加密服务，保障冬奥会线上系统数据安全。
密钥管理服务.MySQL 是全球最受欢迎的开源数据库之一，作为开源软件组合 LAMP中的重要一环，广泛应用于各类应用场景.云数据库RDS MySQL版.设备管理和密钥管理权限分离，密钥完全由客户管理，运维人员无法接触到用户个人密钥.加密服务使用符合国家密码管理局、中国人民银行等规范要求的密码机，满足合规应用需求.灵活地调整...
来自：
云产品
金融智能数仓解决方案
金融智能数仓解决方案是阿里云自研高性能、海量可扩展数据仓库服务、兼容部分 Oracle/Teradata 语法生态，大量应用于阿里巴巴集团内部电商，物流，文娱，广告等业务部门，服务于阿里云的金融、政企、互联网等各行业用户，支持快速构建新一代云化数据仓库服务。
使用通用服务器和网络设备替代价格昂贵的一体机减少硬件成本投入，根据业务规模按需灵活在线扩容无需一次性高额软硬件投入，提供可视化软硬件运维平台实现用户自运维降低运维成本.低成本免开发.兼容 Greenplum/PostgreSQL 数据库产品生态，可集成数据智能与构建 Dataphin、数据管理 DMS、数据传输 DTS、数据报表 QuikBI 等...
来自：
解决方案
云行情
阿里云云行情系列产品是为了增加全球资本市场透明度，满足不同层次的客户信息需求。为金融机构、互联网公司、科技公司等行情客户提供端到端的一站式云行情产品服务，有效改进用户体验、降低技术和成本门槛、提升整体效率，助力行业数字化运营、仿真、实盘、高频、投研等方面转型能力提升，协助企业快速搭建稳定高质量的交易所行情基础服务。
云行情提供标准协议的通用标准化接口，您只需关注业务迭代和产品运营.基于三方通过统一的标准行情OpenAPI服务，有效地降低接入复杂度和一次性成本投入.行情服务成本.基于三方机构进行专业集群运维服务能力，提供伴随企业成长的云行情集群运营服务.集群服务运营.云服务器ECS.云数据库 MYSQL 版.负载均衡SLB.对象存储OSS.专有...
来自：
云产品
移动测试
阿里云移动测试（Mobile Testing）是为广大企业客户和移动开发者提供真机测试服务的云平台，拥有大量热门机型，提供7x24全天候App测试服务，帮助客户发现APP中的各类隐患（应用崩溃、各类兼容性问题、功能性问题、性能问题等），减少用户流失，提高APP质量和市场竞争力。
使用流程简单，Crash/ANR检测效果强大，能够快速检测出应用潜在的问题，并提供详细原因分析和通用解决方案帮助快速解决问题.支持业界流行的测试框架Appium.在线脚本录制工具帮助您摆脱复杂的环境搭建过程，降低测试用例开发门槛，让脚本更高效稳定.报告内容丰富.App测试报告包含多个角度问题分析：测试视频、功能Case分析、...
来自：
云产品
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
同时，数据湖分析提供的Serverless的弹性服务为按需收费，不需要购买固定的资源，无需专门运维人员，代码通用，无额外学习成本，相对性价比提升30%；临时业务承接率提升200%-300%，平均任务耗时降低67%.云原生数据湖分析帮助易点天下在数据采集、存储和分析的全链路中，实现了时间、成本、安全、计算效率等方面的改善，使得...
来自：
云产品
云速搭部署 DTS 应用
通过云速搭实现 通过云速搭实现一个 DTS 和两个 RDS 实例的创建，并通过配置同步策略，将源 RDS数据库库中的数据同步到目标 RDS 数据库中。
文档版本：20220104 3 云速搭部署DTS应用 云速搭架构设计入门 云速搭架构设计入门 方案架构 通过云速搭实现一个 DTS和两个 RDS实例的创建，并通过配置同步策略，将源 RDS 数据库库中的数据同步到目标 RDS 数据库中，其中产品架构及原理请参考文档：https://help.aliyun.com/document_detail/26598.html。文档版本：20220104...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
更多信息，请参见专有网络 VPC简介 https://www.aliyun.com/product/vpc 关系型数据库 RDS：Relational Database Service，简称 RDS，是一种稳定可靠、可弹性伸缩的在线数据库服务。RDS基于阿里云分布式文件系统和 SSD盘高性 能存储，支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提 供了容灾、备份、恢复、...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
3.数据加工：消息队列收到的原始数据，往往存在格式不齐或内容不全，需要经过数 据清洗（ETL）之后，才能更好的被下游业务使用。而整个 ETL过程，是实时数 仓架构设计上非常重要的一环，该环节要做到延时小，成本低，可扩展性好，业务 指标计算准确。在系统选型上，推荐使用实时计算 Flink对数据进行处理，因为 Flink具有...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0，修 改 数 据 库 连 接 语 句 为：db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名，用户名以及密码)，往 finance表中插入一条数据，...
- 产品推荐
- 这些文档可能帮助您