自建Hive数据仓库跨版本迁移到阿里Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里<em>云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
基于阿里分布式文件系统和 SSD 高性能存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS(高度兼容 Oracle)和 MariaDB引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的 全套解决方案。详见:https://www.aliyun.com/product/rds/mysql 文档版本:20210425 III 自建 Hive数据仓库跨版本迁移到阿里 Databricks...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
上日志集中审计
<em>云</em>上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志,企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志;目前各云产品日志大部分 都进了sls,但都是产品独立的project,不方便集中 审计;客户的业务系统日志各种形态都有;多云和混 合云的场景,日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
产品列表 日志服务 SLS 最佳实践频道 阿里最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 负载均衡 SLB 服务器 ECS 数据库 RDS 防火墙 CFW 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 企业上云实践 上日志集中审计 最佳实践 文档版本:20200630(发布日期)文档版本:20150122(发布日期...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,弹性公网IP,日志服务(SLS)
数据库产品总览(瑶池)
阿里云提供完善的数据库解决方案,多款数据库产品,满足99%的业务场景,荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求;运维工作量大幅减少,让企业一站式享受数据上云及分布式架构的技术红利!
支持一键备份MySQL等近10种热门数据库,支持本地IDC、ECS数据库多种环境,提供秒级应急恢复和恢复演练,并借助秒级沙箱实例和备份数据查询激活冷数据.数据库备份DBS.支持关系型数据库/NoSQL/OLAP等数据源间的迁移/同步/订阅,支持不停机上迁移或数据库异地多活等.数据传输DTS.支持混合数据库统一管理、细粒度安全...
来自: 云产品
混合容灾HDR
阿里云混合云容灾HDR是为数据中心提供企业级应用的本地备份与云上容灾一体化服务。无需自建灾备中心、云下部署简单、云上资源全自动管理、控制台集中管控等。可提供低至秒级RPO和分钟级RTO的容灾服务,有效保障客户数据安全和业务连续性,相对自建灾备中心的方案,最多可节约高达 80% 的费用。
为了对智能制造的趋势以及数字化的全面转型,康斯特基于专业的技术与服务能力,与阿里合作,经过深入交流沟通后,根据康斯特自身的业务和数据的特性,最终采用了全能备份型灾解决方案,实现本地到云端的混合架构部.阿里混合存储满足数据在本地数据中心和公共之间的无缝流动。利用云端存储高可靠性,将医院海量...
来自: 云产品
数据库Redis
云数据库 Redis 版是一种全托管、兼容Redis协议的内存数据库服务,包含社区版Redis和企业版Tair,支持主从、集群和读写分离架构,具备低延迟、大吞吐、弹性扩缩容的特点。Tair提供多种系列满足不同场景的性价比要求,更有全球多活、数据闪回、大热Key探测与优化、丰富的数据结构,赋能大规模高性能要求的在线数据业务。
基于阿里ESSD云盘技术的高并发数据库,具备原生命令级持久化能力,兼容Redis核心数据结构与API,适合超低成本(最低可降至阿里Redis社区版的15%)、超大容量,平均性能有所妥协的温冷数据存储与查询.产品形态全面覆盖业务各阶段数据温度的要求,满足高性能、低成本、持久化等丰富场景.产品丰富:全面的产品定位涵盖各种...
来自: 云产品
原生数据库
PolarDB是阿里云自研的云原生数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态,支持分布式扩展,高度兼容Oracle语法。
数据库代理和计算节点分别采用独立的ECS进行部署,共享存储层使用ESSD云盘,极大的降低了用户使用PolarDB的成本.丰富的产品版本,全面覆盖多种场景需求.计算实例支持按量付费+计算包的付费模式,用计算包抵扣按量付费实例消费,使用期间按量付费实例灵活升降配,不用考虑升配后剩余预付费时长的差价,计算包不使用不抵扣,...
来自: 云产品
原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的,基于云原生架构的内存数据库,兼容Redis API,支持内存、持久内存、ESSD三种存储介质,并提供大量扩展型数据结构及企业级能力。
基于阿里ESSD云盘技术,具备原生命令级持久化能力,兼容Redis核心数据结构与API,适合超低成本(最低可降至阿里Redis社区版的15%)、超大容量的温冷数据存储与查询场景.数据库Tair:产品形态全面覆盖业务各阶段数据温度的要求,满足高性能、低成本、持久化等场景的不同需求.灵活易用:提供丰富的数据模型帮助客户构建...
来自: 云产品
原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库,100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍,TCO低于自建数据库50%。
产品系列.On ECS(X86、ARM倚天):通用型、独享型.ESSD云盘共享存储:PL1、PL2、PL3类型存储,最大32T.部署需求较灵活.生产数据库,阿里SLA保障.1写7读集群版,可选存储热备集群.On物理机(X86):通用型、独享型.PolarStore共享存储:PSL4、PSL5存储类型,最大100T存储.生产数据库,可用性要求高.完备企业级数据库能力需求....
来自: 云产品
数据库 RDS MariaDB 版
云数据库 MariaDB 版是全球流行的开源数据库,支持包括 MySQL InnoDB 等多种存储引擎,为不同需求的用户提供灵活的选择。
服务器 ECS.数据库 MariaDB.数据库 Redis.推荐搭配使用.金融:安全容灾场景.金融:安全容灾场景.数据管理服务 DMS 是一款支撑数据全生命周期的一站式数据管理平台,提供全域数据资产管理、数据治理、数据库设计开发、数据集成(上云迁移、容灾、多活、ETL)、数据开发及数据消费服务等能力.数据管理 DMS.数据传输服务...
来自: 云产品
CentOS到Alinux操作系统迁移
2020年12月08日,CentOS官方宣布了停止维护CentOS Linux的计划,操作系统迁移解决方案为企业提供ECS实例运行的操作系统EOL(生命周期结束)后的替换或升级服务。
方案介绍CentOS到Alinux操作系统迁移通过在专有网络VPC创建服务器ECS,并将服务器ECS导入服务器迁移中心SMC或ECS控制台中的实例详情,可以将服务器ECS的操作系统从源操作系统(CentOS)一键迁移为目的操作系统(Alibaba Cloud Linux/Anolis)。解决问题:操作系统替换周期时间长操作系统迁移是一个复杂工程,手工迁移...
来自: 解决方案
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表  OSS对象存储  混合阵列  高速通道(专线)服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 企业上云实践 机场视频监控最佳实践 企业上云实践 机场视频监控最佳实践 文档版本信息 文本信息 属性 内容 文档名称 机场视频监控最佳...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
基于弹性供应组构建大数据分析集群
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
本文采用 spark standalone集群模式演示基于弹性供应组构建大数据分析集群,spark standalone集群如下图所示:鉴于大数据集群对 IO高性能的要求,采用阿里云云服务器 ECS本地实例:D系列 和 I系列来作为 spark集群节点。1.2.集群计算能力规划 基于降成本的需要,您可以使用弹性供应组同时开出抢占式实例和按量付费实例,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
快照服务
快照服务是一种云原生的数据保护服务,您可以通过控制台、API等方式针对云盘创建快照。当云盘发生故障时(例如,感染病毒、配置错误、数据误删除等),可通过快照快速恢复数据。
利用快照定期对数据、系统的重要业务数据进行备份,来应对误操作/攻击/病毒等可能出现的数据丢失风险.备份容灾:快速回滚云盘.基于快照快速回滚云盘.快照服务支持跨可用区创建云盘,提供同城容灾能力。利用快照跨AZ复制能力,当某个AZ不可用时,通过快照快速创建云盘进行业务恢复.备份容灾:跨可用区创建.备份容灾:...
来自: 云产品
数据库异地灾
数据库异地灾<em>备</em>
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
ᅳ 物理备份:不支持数据库 RDS/POLARDB,支持 ECS自建库、本地数据库、其他厂商数据库,数据库文件级备份备份内容是操作系统上数据库文件,如 MySQL XtraBackup、Oracle RMAN,全量备份速度快于逻辑备份。文档版本:20220207 60 数据库异地灾 配置异地冷环境 本实践以逻辑备份为例。备份目标存储类型:DBS目前...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
块存储EBS
阿里云块存储EBS是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储,拥有丰富的产品类型,多元的存储特性,适用于自建数据库加速,快照数据保护等场景,ESSD PL3规格最高可提供100万IOPS以及4000MB/S吞吐能力,有效提升存储性能,大大降低成本。
基于快照一键完成云盘备份,无需安装客户端代理,操作简单便捷.基于策略自动执行快照任务,可满足各种云盘保护需求.方案优势与价值.服务器 ECS.推荐搭配使用.基于快照的数据保护.场景描述及概要.视频直播涉及大量图片和文件等内容传播,是安全监管的重点行业,如何更高效快捷地完成大批量图片内容是行业客户持续突破和...
来自: 云产品
迁移与运维管理
阿里云提供一系列的运维管理工具:日志服务SLS、云治理中心等帮助你自动化的开发和运维,能够更加轻松控制云基础产品与基础设施。
通过使用阿里HBR实现了ECS上自建数据库的统一备份.金融行业灾压力大?中和农信如何应对.将操作审计与费用中心相结合,易点天下实现实时自动化地标签和资源组设置,并建立基于标签的和资源组的高效分账体系.易点天下实现基于标签的自动分账体系.DBS新用户购买micro备份实例3个月9.9元,限1次限1台!可观测产品大促专场,...
来自: 云产品
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
基于阿里分布式文件系统和 SSD高性能存储,RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。云速搭 CADT:是一款为上云应用提供自助式架构管理的产品,显著地降低应 用上管理的难度和时间成本。本产品提供丰富的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
数据库灾解决方案
对于大多数企业,制定数据库灾备方案是一件非常有挑战的事情。根据企业所在行业、合规要求、数据规模、RPO/RTO要求的不同,数据库灾备目的和要求各不相同,投入成本也是不同的。数据库灾备解决方案提供实时数据备份能力,满足企业备份多样化选择
2.为了解决数据库异地灾问题,数据库备份DBS提供按量付费服务,对于本地IDC数据库、其他数据库、ECS自建数据库和RDS数据库,可以通过DBS将数据备份到阿里OSS上,实现异地容灾备份.冷解决方案:实时备份、异地灾、低成本.热备解决方案.1.由于地区断电、断网等客观原因,产品可用性并不能达到100%。当出现这些故障...
来自: 解决方案
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台,为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台,满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
ARMS应用监控-每月50GB免费额度,满足分布式应用监控与链路追踪需求.ARMS拨测-每月3000次免费拨测额度,满足日常网站巡检需求.性能测试PTS-首月5000VUM免费额度,满足容量规划、业务验证需求.可观测监控Prometheus版-每月50GB免费额度,满足容器/云服务监控需求.可观测产品推荐.公开课:智能告警插件 Smart Metrics 详解....
来自: 云产品
弹性裸金属自建ORACLE数据库单机版
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造:由于历史原因,客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大,客户没有技术/时间去做改 造。 2.高性能:客户希望拥有比虚拟机更高的性能 和稳定性,以保障数据库高性能,支撑高并 发的业务系统; 3.高可用:在单机条件下,极端情况下数据库 发生宕机时,客户希望能快速拉起数据库服 务,减少停机时间; 4.数据安全性:极端情况下能找回数据。数据 备份和恢复更方便。
文档版本:20220207 58 神龙最佳实践:弹性裸金属自建 ORACLE数据库/单机ESSD版 通过 ESSD云盘快照功能备份数据库数据 同意并选中《服务器 ECS服务条款》|《ESSD云盘试用服务协议》前的复选 框。步骤4 在确认订单对话框中,单击确认创建。步骤5 在创建成功对话框中单击管理控制台,返回磁盘列表页面查看云盘详情。文档...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用