EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加贷款，也能随 时释放资源，节省费用。EMR:E-MapReduce(EMR)是构建在阿里云云服务器 ECS上的开源 Hadoop、Spark、Hive、Flink 生态大数据产品，提供...
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成，并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混 合云场景下，解决远距离、毫秒级异步数据传输难题。更多信息，请参见：https://www.aliyun.com/product/dts DataWorks：是一个提供了大数据 OS能力、并以 all in one box的方式提供专业 高效、安全可靠的一站式大数据智能云...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
它是一种集数据迁移、数据订阅及数据实 时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远 距离、毫秒级异步数据传输难题。它底层的数据流基础设施为阿里双 11异地多 活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行 6年之久。您 可以使用数据传输轻松构建安全、可扩展、高可用的...
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
RDS MySQL 支持实例管理、账号管理、数据库管理、备份恢复、白名单、透明数据加密以及数据迁移等基本功能，还支持读写分离、SQL 审计、多可用区集群等高级功能。云数据库 RDS MySQL 版原理架构基础版、高可用版、集群版适用于各类开发生态和应用场景。快速开启您的数据库上云之旅，仅需每月18元起 产品优势稳定可靠解决可用...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 70 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤8 日志服务机器组添加日志服务器 按照本节步骤 1到步骤 6再在杭州区域同一 VPC同一可用区下创建一台 ECS日志服 务器并添加到日志服务机器组。文档版本：20211203 71 SLS多云日志采集、处理及分析 日志服务器集群公网日志...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
本例中应用服 务器 web_1、web_2是对等的应用服务器，因此仅迁移一台即可，本例迁移 web_1。操作步骤 步骤1 登录云服务器 ECS控制台（https://ecs.console.aliyun.com/）步骤2 创建弹性公网 IP。文档版本：20210617 43 企业上云 workshop-IDC业务迁移上云 应用迁移 购买按量付费、按使用流量计费、带宽峰值不小于 100Mbps的...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台，是一种简单易用的公共云灾备服务，可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略，并完全托管备份活动，轻松满足业务与合规需求。
报喜鸟积极谋求数字化转型，通过阿里云 Cloud Backup 产品实现了资源高效利用，为 VMware 实现无代理迁移，免去手工导入数据，完成后可直接拉起 ECS，完成数据迁移。有效提高了资源使用效率，真正实现了业务系统的热迁移.我们通过使用阿里云 Cloud Backup 实现了 ECS 上自建数据库的统一备份，让自建的数据库也拥有和原生...
来自：
云产品
云原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的，基于云原生架构的内存数据库，兼容Redis API，支持内存、持久内存、ESSD三种存储介质，并提供大量扩展型数据结构及企业级能力。
Tair充分兼容Redis社区版，从Redis迁至Tair无需修改业务代码。Tair在支持Redis数据结构的同时，内置多种扩展型数据结构，通过这些扩展型数据结构，业务构建时无需再关心存储结构和时效性，极大提升了开发效率。您可通过阿里云数据库 Redis 版提供的“配置变更”功能将Redis社区版升级至Tair，且无需停机.充分兼容Redis，...
来自：
云产品
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
DTS 提供了数据迁移、实时数据 Data 订阅及数据实时同步等多种数据传输能力，可实现 DTS Transmission 不停服数据迁移、数据异地灾备、异地多活(单元 Service 化)、跨境数据同步、实时数据仓库、查询报表分 流、缓存更新、异步消息通知等多种业务应用场景，助您构建高安全、可扩展、高可用的数据架构。阿里云关系型数据库...
云存储解决方案
云存储解决方案面向大数据存储、多媒体存储（视频存储）、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景，提供更安全稳定、更优化、无缝上云的智能数据存储服务，为企业上云、实现数字化转型奠定数据基础。
通过在线和离线数据迁移相结合的解决方案，历时1个多月，高效地解决了客户海量数据从线下往云上迁移的难题.Momenta 使用了阿里云文件存储 CPFS 以及对象存储 OSS，支持其云上模型训练任务以及数据长期保存.云上 OSS 的弹性、按需存储能力，为基因数据提供海量存储空间，同时通过冷数据归档存储，大幅降低存储成本.1.海量...
来自：
解决方案
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
制作人 阿瑟、明誉 审阅人 云护、江柳 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-05-07 阿瑟、明誉 云护 创建 V1.1 2019-07-25 阿瑟-更新模版 V1.2 2019-11-04 阿瑟 江柳 增加跨账号多VPC的数 据同步 V1.3 2019-11-13 筱晖-文档优化 V1.4 2019-12-17 阿瑟 增加概览页 文档版本：20191217 I 互联网业务全球化...
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案，满足从海量数据采集到清洗、标注、训练到归档的数据自动化，提供了自动驾驶研发云的统一数据平台，极大提升了研发效率.文件存储 CPFS.对象存储 OSS.网络安全升级支持IPV6.杭州悦数科技有限公司与阿里云计算巢达成合作，NebulaGraph 作为首款图数据库...
来自：
云产品
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造：由于历史原因，客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大，客户没有技术/时间去做改 造。 2.高性能：客户希望拥有比虚拟机更高的性能 和稳定性，以保障数据库高性能，支撑高并 发的业务系统； 3.高可用：在单机条件下，极端情况下数据库 发生宕机时，客户希望能快速拉起数据库服 务，减少停机时间； 4.数据安全性：极端情况下能找回数据。数据 备份和恢复更方便。
3.高可用：在单机条件下，极端情况下数据库 发生宕机时，客户希望能快速拉起数据库服 务，减少停机时间；4.数据安全性：极端情况下能找回数据。数据 备份和恢复更方便。解决问题 1.如何利用云上强劲资源，如神龙服务器、ESSD 存储，支撑数据库高效稳健运行；2.如何利用云上资源和产品优势兼顾单机数 据库的可用性；3.如何...
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
新浪微博使用函数计算-无服务器计算，处理每日数十亿次个性化图片处理，综合成本下降 35%.世纪联华使用函数计算+表格存储的方式，平滑支撑双 11 大促等突发业务.函数计算FC这种无服务器计算的模式帮助石墨文档有效解决了性能瓶颈，并节省了 58%的服务器成本.语雀使用函数计算处理 CPU 密集型任务，免去了搭建集群的代价....
来自：
云产品
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
云上高并发系统改造 最佳实践 场景描述 部署架构图 ...通常可以预估 1到 2 年的数据增长量，用估算出的总数据量除以总的物理分库数，再除以建议的最大数 据量 500万，即可得出每个物理分库上需要创建的物理分表数：物理分库上的物理分表数=向上取整(估算的总数据量/(RDS 实例数*8)/5,000,000)详细拆分 DEMO 可参考官网文 档：...
- 产品推荐
- 这些文档可能帮助您