自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hive数据仓库跨版本迁移到阿里云 EMR 场景描述 解决的问题 客户在IDC或者公有云环境自建Hadoop集群构建 Hive数据仓库的数据迁移方案 数据仓库和分析系统，购买阿里云 EMR集群之后，Hive元数据库的迁移方案 涉及到将数据仓库和Hive元数据的数据库迁移上 Hive跨版本迁移后的数据订正 云。目前主流 Hive数据仓库迁移场景...
云原生数据库
PolarDB是阿里云自研的云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，支持分布式扩展，高度兼容Oracle语法。
云原生数据仓库ADB MySQL.数据传输DTS.推荐搭配产品.通用：大容量数据存储.海量存储，支持上百TB级别数据.PolarDB采用计算和存储分离架构，支持数据库服务器的CPU、内存能够快速扩容，最快可增加15个只读节点，支持并行查询、读写分离等功能，使查询耗时指数级下降，解决计算量较大的查询、多表连接查询、日常报表查询等轻...
来自：
云产品
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
云原生数据仓库 AnalyticDB MySQL 版.云数据库 MongoDB 版包年包月全系列规格价格下调.MongoDB 新用户专享1个月免费试用.MongoDB 推出单节点1核2GB 小规格，最低仅需70元/月.阿里云联合MongoDB 助力游戏企业高效开发.阿里云MongoDB 6.0 版本发布回顾.MongoDB 7.0 全新版本上市，诸多功能创新及性能提升！MongoDB 新增支持...
来自：
云产品
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
云数据库 RDS PostgreSQL 版.查看全部日志.云数据库 RDS PostgreSQL 版包年包月全系列规格价格下调.RDS PostgreSQL x 函数计算 AIGC活动开启！一键部署你的专属AI助手.RDS Serverless系列上市，最高可节省 70%费用！新用户享3个月免费试用.跨地域备份满足企业容灾需求.DTS支持RDS PostgreSQL间的双向同步.基于RDS ...
来自：
云产品
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
dubbo-provider 需要访问 MySQL数据。2.dubbo-consumer：调用 dubbo-provider服务，并返回结果。具体调用方式和接口内容请参考源码中的 README文件。1.2.CADT部署 Dubbo实验环境 资源的创建除了通过控制台来创建以外，还可以通过云速搭 CADT来一键拉起。文档版本：20220208 4 Dubbo应用上云 模拟Dubbo应用 CADT是一款为上云...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数 据、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态，增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/ecs 云数据库RDSMySQL版：云数据库RDSMySQL版是全球最受欢迎的开源数据 库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中 的 重 要 一 环，广 泛 应 用 于 各 类 应 用 场 景。详 见：https://www.aliyun.com/product/rds/mysql OSS：海量、安全、低成本...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
通过配置实现 Mysql 数据表变同步到 Kafka Topic，实现数据库增量变更同步等场景.一键配置即可连接海量云产品以及自建大数据生态产品，轻松实现数据集成和计算.全托管、免运维 Connector 支持.Logstash 数据收集.云消息队列 Kafka 版支持连接自建 Logstash服务，实现丰富的数据源导入和导出.Filebeat 日志收集.云消息队列 ...
来自：
云产品
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
快速应对上层业务运营的技术实现操作 业务改造-分区合服迁移数据 产品列表 专用网络 VPC 数据库 RDS MySQL 数据传输服务 DTS NAT网关 对象存储 OSS 云企业网 CEN 改造后架构-合服并做跨地域访问加速 数据管理 DMS 云服务器 ECS 云速搭 CADT 阿里云最佳实践技术分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 云...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
提供 用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机 器 学 习 等 场 景 下 的 大 数 据 解 决 方 案。详 情 请 查 看 www.aliyun.com/product/emapreduce Kerberos：Kerberos是一种网络身份验证协议，它旨在通过使用密钥加密为客户 端/服务器应用程序提供强身份验证。它提供了网络上的身份...
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL，遇到大并发复杂查询时，需要排队长时间等待，容易形成慢查询，影响业务。PolarDB并发查询能力可以很好解决此问题。
而使用数据仓库或者大数据手段处理此类，虽然单个复杂查询效率会比 OLTP数据库高很多，但大并发请求对数仓类产品是非常不友好的，CPU等资源极易 被抢占一空。PolarDB MySQL 8.0采用开启并发度的方式，改变单线程处理 SQL的架构，充分利 用多核 CPU多线程优势，利用多线程并行处理复杂查询，有效解决大并发复杂查询的 问题，...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
文档版本：20220128 13 自建 K8S集群迁移 ACK弹性裸金属集群 模拟线下 IDC K8S环境 文档版本：20220128 14 自建 K8S集群迁移 ACK弹性裸金属集群 模拟线下 IDC K8S环境 文档版本：20220128 15 自建 K8S集群迁移 ACK弹性裸金属集群 模拟线下 IDC K8S环境 至此，在 ECS 上自建 MYSQL 数据库初始化完成。并创建了新的数据库实例...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
基于统一的元数据管理能力，在完全兼容 HDFS文件系统接口的同时，提供充分的 POSIX能力支持，能更好地 满足大数据和 AI 等 领 域 的 数 据 湖 计 算 场 景。详见：https://help.aliyun.com/document_detail/405089.html EMR：开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的 ...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
文档版本：20201222 9 基于链路追踪+ECI的应用高可用弹性实践 应用部署 环境变量 SQL_ENVIRONMENT配置 mysql的访问地址，按照 1.3章节创建的数 据库服务访问地址进行配置，如下图所示：环境变量 TRACE_ENDPOINT配置链路跟踪接入点地址，获取方式如下：a.登录链路跟踪控制台（https://tracing.console.aliyun.com/）b.获取到...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
实例、集群、分拆项：资源类别 资源名称 分账粒度 弹性计算 云服务器 ECS 实例 存储 对象存储 OSS 分拆项（Bucket）数据库 云数据库RDS MySQL版 实例 数据库 云数据库 PolarDB 集群 网络 负载均衡 SLB 实例 大数据 E-MapReduce(EMR)集群 实例型：如 ECS、SLB、EIP等产品，支持在实例维度进行打标。集群型：如 E-Mapreduce...
EBS部署高性能的MySQL服务
使用基于ESSD云盘的MySQL服务，可以确保数据一致性和可靠性，又能减少写入操作的次数和延迟，改善MySQL DoubleWrite机制带来的性能问题，提供更高性能的MySQL数据存储服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台EBS部署高性能的MySQL服务方案介绍方案优势应用场景方案部署方案权益EBS部署高性能的MySQL服务通常情况下，MySQL数据库是通过MySQL DoubleWrite机制来确保数据一致性和可靠性。该机制会先将数据写入到临时文件，再写入到真正的数据文件中，...
来自：
解决方案
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版，并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台RDS MySQL迁移至PolarDB MySQL版方案介绍方案优势应用场景方案部署方案权益RDS MySQL迁移至PolarDB MySQL版通过本方案，RDS MySQL的数据可在线实时同步到PolarDB MySQL版，并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP...
来自：
解决方案
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 RDS MySQL 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区云数据库 RDS MySQL 版稳定可靠、可弹性伸缩的在线 MySQL 数据库服务，帮助您免除 MySQL 运维的烦恼。立即购买免费试用...
来自：
云产品
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案，MySQL数据库成为近十年来数据库使用范围最广，数据库生态最好的开源数据库，本方案以MySQL数据库上云的各种场景为切入点，包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
基于分析型数据库MySQL版构建的OLAP数据库解决方案，给企业提供PB级实时数据仓库能力，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索.MySQL数据库亿级以上数据复杂查询.云Redis.通过DRDS分布式数据库解决方案的垂直拆分能力，客户可以获得RDS MySQL的分布式查询能力以及垂直拆分库的管理能力。支持多个RDS ...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您