基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
步骤7 完成数据库恢复配置之后，预检查将会检查所有前面的配置选项、数据库连通性、数 据库权限等内容。预检查完成后，单击立即启动。步骤8 在恢复任务列表，可以看到该恢复任务状态从初始化中，运行中，变到完成，单击管 理，可查看恢复任务详情。文档版本：20220207 84 数据库异地灾备 容灾演练 步骤9 恢复完成后，点击 ...
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
小打卡用户每天在数十万的兴趣圈子中活跃，发布数百万条打卡日记，PolarDB 分布式版的分库分表场景很好地解决了客户需求，降低了响应时间，提高了并发查询能力，利用异构索引表满足了客户多维度查询的需求，最近的全局二级索引解决了异构索引表数据延迟的问题.通过PolarDB+数据传输服务+AnalyticDB MySQL组成HTAP解决方案，...
来自：
云产品
云数据库OceanBase
云数据库 OceanBase 版是构建在阿里云基础设施上的公有云数据库服务，基于完全自主研发的原生分布式数据库。通过多租户、高压缩存储、多级弹性伸缩、HTAP等能力，在保障数据库高性能的同时，显著降低数据库成本。同时在云上集成了评估、迁移、监控、诊断、备份恢复、运维优化等工具，让数据库管理与运维更简单。
云数据库 OceanBase 版是构建在阿里云基础设施上的公有云数据库服务，基于完全自主研发的原生分布式数据库。通过多租户、高压缩存储、多级弹性伸缩、HTAP等能力，在保障数据库高性能的同时，显著降低数据库成本。同时在云上集成了评估、迁移、监控、诊断、备份恢复、运维优化等工具，让数据库管理与运维更简单.免费体验开源...
来自：
云产品
云数据库Redis
云数据库 Redis 版是一种全托管、兼容Redis协议的内存数据库服务，包含社区版Redis和企业版Tair，支持主从、集群和读写分离架构，具备低延迟、大吞吐、弹性扩缩容的特点。Tair提供多种系列满足不同场景的性价比要求，更有全球多活、数据闪回、大热Key探测与优化、丰富的数据结构，赋能大规模高性能要求的在线数据业务。
来了解更多常见问题，获得您的答案社区实验与课程基于云数据库 Redis 版实现游戏玩家积分排行榜 基于云数据库 Redis 版实现电商商品相关性分析 将云数据库 Redis 版作为缓存加速 MySQL 数据库访问基于云数据库 Redis 版实现游戏玩家积分排行榜基于云数据库 Redis 版实现电商商品相关性分析将云数据库 Redis 版作为缓存加速 ...
来自：
云产品
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
有效降低企业上云的整体拥有成本（TCO）产品列表 专用网络 VPC 最佳实践频道 阿里云最佳实践分享群 负载均衡 SLB 弹性公网 IP 专有宿主机 DDH 云数据库专属集群 MyBase 云数据库 MySQL 云数据库 Redis 云服务器 ECS 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于DDH+MyBase降本合规 最佳实践 ...
云数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
在线咨询 方案优势 高效实时分析 ClickHouse 具备高效的实时分析能力，宽表查询性能是 MySQL 的~900倍，是 ElasticSearch 的~10倍 高效稳定写入 ClickHouse 具备高吞吐能力，单节点能提供 50-200MB/s 的稳定写入，集群写入性能可随节点数增加线性扩展 极致性价比 云数据库 ClickHouse 具备冷热分层能力，助力客户降低历史...
来自：
云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库，致力于为客户提供极致性能、简单易用的数据分析服务。...
来自：
云产品
云数据库专属集群MyBase
云数据库专属集群MyBase是阿里云专为企业级用户定制优化的解决方案。支持MySQL、PostgreSQL、SQL Server、Redis和MongoDB数据库。具有云资源独享、支持资源超分配，自主可运维、开放权限等特点。MyBase不仅能保障客户独享云资源更加安全、享受到云数据库服务的便捷灵活，同时还满足企业对数据库合规性、安全性和高性能的要求。
MySQL 一个高效、免费的关系型数据库管理系统，适用于各种规模的应用，以其卓越的性能、灵活性和高可靠性支撑着互联网上众多应用程序的数据存储与管理需求 Redis 基于内存的高性能键值存储系统，支持多种数据结构，常用于缓存、消息队列、数据过期等场景，极大提升了数据访问速度和应用性能 PolarDB-X PolarDB-X是阿里自研...
来自：
云产品
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
云数据库 RDS MySQL 版.RDS MySQL 版是全球最受欢迎的开源数据库之一，广泛应用于各类应用场景.云数据库 RDS SQL Server 版.RDS SQL Server 是阿里云基于微软正版授权的SQL Server提供的稳定可靠、可弹性伸缩的在线数据库服务，可以无缝适配企业自研或采购软件的数据库直接部署运行.云数据库 Redis 版.高可靠双机热备架构及...
来自：
云产品
云数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持，广泛应用于新零售、医疗、房地产等行业。
云数据库 RDS MySQL 版是全球最受欢迎的开源数据库之一，广泛应用于各类应用场景.云数据库 Redis 版.高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求.云数据库 MongoDB 版.云数据库 MongoDB 版支持副本集和分片集群两种部署架构，具备分钟级弹性扩缩容、快速备份恢复、安全审计和...
来自：
云产品
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
扩展性 除了支持备份阿里云数据库，DBS还支持将 ECS自建数据库、本地机房数 据库、其他云厂商数据库备份到阿里云上。除了支持恢复到原始数据库，DBS还支持恢复到其他环境，如本地数据库通 过 DBS备份，恢复到阿里云数据库上。文档版本：20210812 2 DBS通过 IPSec VPN备份自建数据库 前置条件 前置条件 在进行本文操作之前，...
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
云数据库 HBase 版.标题-copy-copy.产品动态时间线组件.标题-copy-copy.通用客户案例单logo.唐家哲,靖鑫,也树.通用客户案例单logo-copy.通用客户案例单logo.唐家哲,靖鑫,也树.通用客户案例单logo-copy-copy.标题-copy-copy.唐家哲,靖鑫,也树.查看Lindorm使用文档.阿里云-创客-用户渠道ID.阿里云-创客-用户渠道ID.
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
表结构说明：步骤2 创建分布式表，分布式表本身并不存储数据，它基于本地表里面的数据，提供一个分 布式访问数据的框架，比如这里的分布式表 d_user_behavior_uv，它基于本地表 user_behavior_uv_local，选择 Distrubted表引擎，它后面的参数，依次是集群名、库 名、表名、数据分配方式。说明：创建分布式表的 SQL语句，...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
比如数据是否要做到无状态，无状态的话水平 文档版本：20210519 3 新零售商超基于 Serverless服务化改造 前置条件 扩展会比较容易，而如果是有状态，数据可能就需要做缓存，这就会涉及到数 据库相关的问题，例如数据过期、一致性等。如果对这些了解不够透彻，做水 平扩展就会比较困难。ￚ 水位监控 许多开发者在水位监控上...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
SELECT Count(*)FROM[AdventureWorksDW2017].[dbo].[DimCustomer]文档版本：20210402 137 HBR云上统一备份 ECS自建SQL Server备份 步骤10 重复步骤 5到步骤 9，将数据库恢复到第一次执行全量备份时的状态（18484条数 据），观测结果符合预期。文档版本：20210402 138 HBR云上统一备份 ECS自建SQL Server备份 文档版本：...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
详见：https://www.aliyun.com/product/kubernetes 云数据库 RDS MySQL版：MySQL 是全球最受欢迎的开源数据库之一，作为开 源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一 环，广泛应用于各类应用场景。文档版本：20220209 III 异地双活场景下的数据双向同步 前言 详见：...
- 产品推荐
- 这些文档可能帮助您