CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
cd hive-testbench/tpcds-gen vim pom.xml 可能原来的国外地址无法下载，替换为阿里云的 mvn仓库：http://maven.aliyun.com/nexus/content/groups/public/ 编辑 tpcds-setup.sh文件，调整 jdbc连接地址（由于本方案没有启用高可用，故直接 使用 HS2端口继续连接）。vim tpcds-setup.sh jdbc:hive2:/master:10000 文档版本：...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
Hive版本从 1.2.2变更为 2.3.5，因此这里我们需要依次执行下面几个 升级脚本：upgrade-1.2.0-to-2.0.0.mysql.sql upgrade-2.0.0-to-2.1.0.mysql.sql upgrade-2.1.0-to-2.2.0.mysql.sql upgrade-2.2.0-to-2.3.0.mysql.sql 步骤3 执行升级脚本更新 Hive元数据库的表结构，红色字体为 RDSforMySQL实例的内网连 接地址。...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
可靠性 使用阿里云数据库 RDS保存 Hive的元数据信息，可以提升数据可靠性和服务可 用性，免除客户运维自建 MySQL数据库的工作。文档版本：20210721 2 自建Hive数据仓库跨版本迁移到阿里云 EMR 前置条件 前置条件 在进行本文操作之前，您需要完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
产品列表 专有网络 VPC、负载均衡 SLB、NAT网关、弹性公网 IP 云服务器 ECS、日志服务 SLS、对 象存储 OSS 数据库 RDS MySQL、数据传输服 务 DTS、数据管理 DMS 分析型数据库 MySQL版 ADS 数据湖分析 DLA、Quick BI 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 游戏数据运营融合分析 最佳实践 文档...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
详情：https://www.aliyun.com/product/developerservices/cadt RDS: 云数据库 RDS MySQL 版是全球最受欢迎的开源数据库之一，作为开源软 件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛应用于各类应用场景。（https://www.aliyun.com/product/rds/mysql）。文档版本：20220125 III 湖仓一体架构 ...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
产品列表：E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 RDS版 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 EMR集群安全认证和授权管理 最佳实践 文档版本：20200330 文档版本：20150122（发布日期）II EMR集群安全...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 云服务器 ECS 弹性公网 IP（EIP）负载均衡 SLB 云数据库 RDS MySQL 数据库备份服务 DBS 对象存储服务 OSS 数据湖分析服务 DLA 数据管理服务 DMS 数据传输服务 DTS 云速搭 CADT 文档模板（手册名称）/文档版本信息 Oracle数据库与应用迁移PolarDB 阿里云 ...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
专有网络 VPC 云数据库 RDS MySQL版 分析型数据库 MySQL版 解决问题 消息队列 Kafka 对象存储 OSS 1.如何搭建实时数仓。NAT网关 2.通过实时计算 Flink实现实时 ETL和数据流。DataV数据可视化 3.通过实时计算 Flink实现实时数据分析。4.通过实时计算 Flink实现事件触发。最佳实践频道 阿里云最佳实践分享群 云服务器 ECS...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详 见：https://www.aliyun.com/product/bigdata/hologram 云数据库RDSMySQL版：云数据库RDSMySQL版是全球最受欢迎的开源数据 文档版本：20210803（发布日期）III阿里云最佳实践大数据WorkShop 产品介绍 库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中 的 重 要 一 环，广 泛 应 用 于 各 类 应...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
大数据workshop
大数据workshop
详见：https://www.aliyun.com/product/bigdata/hologram 文档版本：20210628（发布日期）III 阿里云最佳实践大数据 WorkShop 产品介绍 云数据库 RDS MySQL版：云数据库 RDS MySQL 版是全球最受欢迎的开源数 据库之一，作为开源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛应用于各类应用场景。...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
参见：https://www.aliyun.com/product/bigdata/sc 云数据库 RDS MySQL 版：是全球最受欢迎的开源数据库之一，作为开源软件组 合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛 应用于各类应用场景。参见：https://www.aliyun.com/product/rds/mysql 消息队列 Kafka 版:是阿里云基于 Apache Kafka 构建的...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
目标数据库是阿里云数据库实例 DTS会自动将对应地区 DTS服务的 IP地址添加到 阿里云数据库实例的白名单或 ECS的安全规则中，您无需手动添加，直接点击测试链 文档版本：20220210 47 Oracle数据库与应用迁移 PolarDB 数据库改造迁移 接。步骤4 测试链接，成功后，配置 DTS任务步骤为“全量迁移”，设置“预检查并报错拦截”...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 53 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤5 修改云数据库 ClickHouse配置文件,本案例代码实现已经做了代码和配置分离，请直 接打开 clickhouse.properites，将 clickhouse的 JDBC连接字符串更新为自己创建的 实例（注意这里采用 ClickHouse内网地址）。步骤6 修改云数据库 Kafka...
EBS部署高性能的MySQL服务
使用基于ESSD云盘的MySQL服务，可以确保数据一致性和可靠性，又能减少写入操作的次数和延迟，改善MySQL DoubleWrite机制带来的性能问题，提供更高性能的MySQL数据存储服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台EBS部署高性能的MySQL服务方案介绍方案优势应用场景方案部署方案权益EBS部署高性能的MySQL服务通常情况下，MySQL数据库是通过MySQL DoubleWrite机制来确保数据一致性和可靠性。该机制会先将数据写入到临时文件，再写入到真正的数据文件中，...
来自：
解决方案
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
通过本书，你可以学习到：数据库产品/功能及运维最佳实践、如何快速连接云数据库 RDS MySQL、大促场景下 RDS MySQL 的智能化弹性、几大常见场景的问题排查深入云数据库 RDS MySQL 实战MySQL 是全球最受欢迎的开源数据库，广泛应用于各类应用场景。本电子书由阿里云数据库工程师和多位业内资深大咖联合出品，详细解读 RDS ...
来自：
云产品
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版，并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
相关产品云原生数据库 PolarDB MySQL 版云数据库 RDS MySQL 版数据库自治服务 DAS云服务器 ECS专有网络 VPC在线咨询方案优势零改造成本100%兼容MySQL，您可以像使用MySQL一样使用PolarDB MySQL版 可保留数据库原连接地址，无需应用程序修改任何连接配置即可切换至PolarDB。安全可靠支持在线热迁移（增量实时同步），迁移...
来自：
解决方案
云数据库RDS MySQL版备份恢复
场景描述 用户数据库数据， 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求， 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复， 快速应对误操作误删除等逻辑错误， 降低业务损失。 2. 可以方便实现异地备份， 实现数据级容灾， 满足合规要求。 3. 可以方便将数据进行归档， 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率， 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
云数据库 RDS MySQL版备份恢复 最佳实践 业务架构 场景描述 用户数据库数据，部分需要快速、小颗粒 度恢复、部分需要异地备份、部分需求长 期归档。当前自建 MySQL上建立完善的 备份/恢复系统无法完美满足用户需求，且建设/维护成本很高。RDS的完善的备 份/恢复方案可以有效帮助到用户。方案优势 1.可以方便实现本地备份及...
AnalyticDB MySQL湖仓版的用户运营分析实践
本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析，提供更高效的数据处理方案与更低的数据存储成本。
相关产品云原生数据仓库 AnalyticDB MySQL 版云数据库 RDS MySQL 版云消息队列 Kafka 版对象存储 OSSQuick BI 数据可视化分析平台在线咨询方案优势实时入湖海量Kafka数据通过APS链路实时入湖。湖仓一体数据可自由在湖仓和数仓之间流转。既具备湖仓的灵活性，又具有数仓的规范性、高效性。资源隔离与弹性伸缩离线资源与在线...
来自：
解决方案
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
云数据库RDS MySQL版.数据传输DTS.推荐搭配产品.游戏/金融：行为日志实时分析.详细运营数据，助力营销和产品体验优化.电商、营销SAAS平台场景有海量数据，大促活动业务峰值变化等特点。ADB MySQL提供强大的批处理和多维度复杂分析能力，支撑客户包括ETL、CRM及在线报表等多种功能，为电商场景订单、仓储、分销及协同供应链...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您