自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
比如数据是否要做到无状态，无状态的话水平 文档版本：20210519 3 新零售商超基于 Serverless服务化改造 前置条件 扩展会比较容易，而如果是有状态，数据可能就需要做缓存，这就会涉及到数 据库相关的问题，例如数据过期、一致性等。如果对这些了解不够透彻，做水 平扩展就会比较困难。ￚ 水位监控 许多开发者在水位监控上...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
详见：https://web.mit.edu/kerberos/krb5-1.4/krb5-1.4.1/doc/krb5- admin/domain_realm.html [capaths]为了执行直接（非分层）跨领域身份验证，需要一个数据库来构造领域 之间的 身份 验 证路径，本节用于定 义该 数 据库。详见：https://web.mit.edu/kerberos/krb5-1.4/krb5-1.4.1/doc/krb5-admin/capaths.html 文档版本...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
2.创建实例和镜像（第3章）文档版本：20200312（发布日期）4 Openstack迁移DDH OpenStack简介 本章在搭建好的OpenStack环境中，创建cirros实例，然后需要停止cirros实例，制作实例的快照快照，最后将快照转换成raw格式并下载到本地。3.镜像检查与修改（第4章）在将镜像导入阿里云之前，需要检查raw格式镜像，如有必要做相应...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
体验此教程会为您创建的资源架构图如下：相关产品云服务器 ECS云数据库 RDS MySQL 版方案咨询01准备资源通过一键部署脚本，快速创建一个模拟环境，包含一个运行网站应用和数据库的ECS实例，以及一个迁移目标RDS实例。02迁移数据库这一步骤将引导您使用数据传输服务DTS，将ECS上自建的数据迁移到RDS中。03验证及切换通过这一...
来自：
解决方案
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 RDS MySQL 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区云数据库 RDS MySQL 版稳定可靠、可弹性伸缩的在线 MySQL 数据库服务，帮助您免除 MySQL 运维的烦恼。立即购买免费试用...
来自：
云产品
EBS部署高性能的MySQL服务
使用基于ESSD云盘的MySQL服务，可以确保数据一致性和可靠性，又能减少写入操作的次数和延迟，改善MySQL DoubleWrite机制带来的性能问题，提供更高性能的MySQL数据存储服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台EBS部署高性能的MySQL服务方案介绍方案优势应用场景方案部署方案权益EBS部署高性能的MySQL服务通常情况下，MySQL数据库是通过MySQL DoubleWrite机制来确保数据一致性和可靠性。该机制会先将数据写入到临时文件，再写入到真正的数据文件中，...
来自：
解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 阿里云安全组 解决问题•实现根据 Kafka 消息的具体内容判断，该对 l 阿里云函数计算(FC)MongoDB 做哪种 DML 操作，并且用户可以自行 扩展函数计算中函数的逻辑，实现自己的业务场 l 阿里云云数据库 MongoDB 版 景。函数计算具有完善的日志系统、容错机制。可 l 阿里云云消息队列 Kafka 版 以清晰的看到对每条消息的处理...
云原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库，100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍，TCO低于自建数据库50%。
云原生数据库 PolarDB MySQL 版.教育、直播场景下业务有明显的峰值峰谷特征，学生课外时间、双11等大促活动时的业务量是日常情况的数倍，业务系统需要在大促前后进行升降配。PolarDB支持分钟级弹性升配能力，解决了传统数据库的升配时间会随着存储量的大小、宿主机资源的情况而不断上升的问题.PolarDB集群版支持分钟级的升...
来自：
云产品
云数据库RDS MySQL版备份恢复
场景描述 用户数据库数据， 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求， 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复， 快速应对误操作误删除等逻辑错误， 降低业务损失。 2. 可以方便实现异地备份， 实现数据级容灾， 满足合规要求。 3. 可以方便将数据进行归档， 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率， 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
云数据库 RDS MySQL版备份恢复 最佳实践 业务架构 场景描述 用户数据库数据，部分需要快速、小颗粒 度恢复、部分需要异地备份、部分需求长 期归档。当前自建 MySQL上建立完善的 备份/恢复系统无法完美满足用户需求，且建设/维护成本很高。RDS的完善的备 份/恢复方案可以有效帮助到用户。方案优势 1.可以方便实现本地备份及...
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案，MySQL数据库成为近十年来数据库使用范围最广，数据库生态最好的开源数据库，本方案以MySQL数据库上云的各种场景为切入点，包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
分析型数据库MySQL版应用场景.分析型数据库MySQL版TPC-H测试.分析型数据库MySQL版产品优势.分析型数据库MySQL版数据同步.分析型数据库MySQL版创建集群.ADB快速入门.创建RDS实例.创建RDS实例.根据业务QPS/TPS/存储诉求采购对应规格的RDS MySQL实例，以保证能承载对应业务.创建RDS只读实例.创建RDS只读实例.针对上一步骤创建...
来自：
解决方案
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版，并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
这样可实现不修改应用代码的情况下，将RDS MySQL数据库迁移升级至PolarDB MySQL版。方案预估：体验本方案预计费用不超过20元（假设您选择下表中的相关规格资源，且运行时间不超过2小时，如果调整了资源规格，请以控制台显示的实际报价以及最终账单为准）方案部署一步步跟随方案教程，带你快速上手，进行方案部署。方案介绍...
来自：
解决方案
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
相关产品云数据库 SelectDB 版本产品云数据库 RDS MySQL 版云消息队列 Kafka 版数据传输服务DTS实时计算Flink版在线咨询即席多维分析传统解决方案面临的挑战包括：计算分析过程复杂，难以快速响应查询；表结构不灵活，不适应灵活的业务变化；数据发生变化时，原有数据无法实时更新。基于 SelectDB 建设多维数据分析平台，可...
来自：
云产品
数据库自动扩缩容和自动SQL优化
方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化，将基于人工的手动式运维转变为基于智能的主动式持续优化，具有数据库运维成本低，服务稳定性高的优势。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台数据库自动扩缩容和自动SQL优化方案介绍方案优势应用场景方案部署方案权益数据库自动扩缩容和自动SQL优化方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化，将基于人工的手动式运维转变为基于智能的主动式持续优化...
来自：
解决方案
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本，方便扩展，满足数 文档版本：20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述 据库弹性需求。迁移过程中采用 ADAM评估分析工具，在迁移前就对数据和应用改造的工作量和 风险完全掌握，便于决策并有效降低实施风险。迁移过程中通过专业工具，自动...
数据库和应用迁移 ADAM
数据库和应用迁移 Advanced Database & Application Migration（以下简称 ADAM）是一款把数据库和应用迁移到阿里云（公共云或专有云）的产品，支持 Oracle、Teradata、Db2 的异构迁移上云。ADAM 全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，确保可靠、快速、低成本上云。
例如，之前只使用 RDS MySQL 版数据库，现在还需要用 MaxCompute 存放历史数据，用 AnalyticDB MySQL 版存放分析型数据.云上 IT 系统迁移.<查看数据库全部产品.数据库和应用迁移 Advanced Database&Application Migration（以下简称 ADAM）是一款把数据库和应用迁移到阿里云（公共云或专有云）的产品，支持 Oracle、...
来自：
云产品
AnalyticDB MySQL湖仓版的用户运营分析实践
本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析，提供更高效的数据处理方案与更低的数据存储成本。
相关产品云原生数据仓库 AnalyticDB MySQL 版云数据库 RDS MySQL 版云消息队列 Kafka 版对象存储 OSSQuick BI 数据可视化分析平台在线咨询方案优势实时入湖海量Kafka数据通过APS链路实时入湖。湖仓一体数据可自由在湖仓和数仓之间流转。既具备湖仓的灵活性，又具有数仓的规范性、高效性。资源隔离与弹性伸缩离线资源与在线...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您