自建Hadoop迁移MaxCompute
自建Hadoop<em>迁移</em>MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
启动 Hbase历史数据迁移 步骤1 进入历史数据迁移界面 步骤2 创建 Hbase迁移任务 文档版本:20210723 36 自建Hadoop迁移MaxCompute Hbase表数据迁移到云数据库 Hbase版 步骤3 查看迁移进程 文档版本:20210723 37 自建Hadoop迁移MaxCompute Hbase表数据迁移到云数据库 Hbase版 4.4.启动 Hbase实时数据同步 如果如要进行一段...
来自: 最佳实践 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
跨云迁移单写双读过渡架构
跨云<em>迁移</em>单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
它是一种集数据迁移数据订阅及数据实 时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,解决远 距离、毫秒级异步数据传输难题。它底层的数据流基础设施为阿里双 11异地多 活基础架构,为千下游应用提供实时数据流,已在线上稳定运行 6年之久。您 可以使用数据传输轻松构建安全、可扩展、高可用的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL,基于云原生架构,软硬协同优化,提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展,支撑各领域场景化业务,如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
数据传输服务 DTS 支持关系型数据库、NoSQL、大数据(OLAP)等数据源,集数据迁移、订阅及实时同步功能于一体,能够解决公共云、混合云场景下,远距离、秒级异步数据传输难题.数据传输服务 DTS.DBS 是低成本、企业级的云原生备份平台。它可以为多种环境的数据库提供强有力的保护,包括本地数据中心、其他云厂商、公共云及混合...
来自: 云产品
数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License,支持复杂的SQL查询,性能优秀,对基于Windows平台.NET架构的应用程序具有完美的支持,广泛应用于新零售、医疗、房地产等行业。
如:数据从SQLServer迁移至MySQL,进行关联查询做一致性对比.异构数据库的关联查询.如:本地IDC自建环境与跨云环境进行数据关联查询.混合云场景的关联查询.云服务器ECS.云数据库RDS MySQL版.云数据库Redis.云数据库RDS SQL Server版.云数据库RDS PostgreSQL版.推荐搭配使用.通用:DMS跨数据库查询.各种关联查询.云数据库RDS...
来自: 云产品
云原生数据库
PolarDB是阿里云自研的云原生数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态,支持分布式扩展,高度兼容Oracle语法。
以工具与数据库专业技能结合的方式,助力客户快速低成本实现Oracle功能,覆盖迁移的全生命周期,包括结构迁移数据迁移、一致性校验、SQL仿真回放、割接、优化.高度兼容Oracle语法,提供ADAM专业的迁移评估工具支持,快速低成本实现迁移Oracle上云.高度兼容Oracle,省心省力.支持快速弹性能力,集群变配分钟级生效;计算...
来自: 云产品
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体,能够解决公共云、混合云场景下,远距离、毫秒级异步数据传输难题,支持关系型数据库、NoSQL、大数据(OLAP)等数据源,其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久。
提供数据迁移数据同步、数据订阅链路的十个实时性能指标和监控视图,直观监控各条链路的健康状况,辅助用户进行故障诊断.查看同步链路状态和性能>.闭环的报警监控管理.可灵活配置任务延迟、任务状态等监控指标,对链路实时监控报警,并在故障消除后通知用户,实现监控、报警的闭环管理.大幅度降低运维成本.丰富的性能...
来自: 云产品
云原生数据库PolarDB 分布式版
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
通过PolarDB 分布式版垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性.PolarDB 分布式版的平滑扩容和弹性升降配能力,可实现短时间内将业务系统的计算和存储容量弹升至当前容量的倍,从容、快速应对突发业务流量.历经各界双十一峰值流量...
来自: 云产品
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库,可提供PB级海量数据在线/离线分析服务,是面向各行各业的有竞争力的数仓方案,真正做到“人人可用的数据分析服务”。
云原生数据仓库 AnalyticDB PostgreSQL 版.DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源,集数据迁移、订阅及实时同步功能于一体,能够解决公共云、混合云场景下,远距离、毫秒级异步数据传输难题.数据传输服务.DMS提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的web数据库管理终端,可以为企业用户...
来自: 云产品
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台,是一种简单易用的公共云灾备服务,可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略,并完全托管备份活动,轻松满足业务与合规需求。
报喜鸟积极谋求数字化转型,通过阿里云 Cloud Backup 产品实现了资源高效利用,为 VMware 实现无代理迁移,免去手工导入数据,完成后可直接拉起 ECS,完成数据迁移。有效提高了资源使用效率,真正实现了业务系统的热迁移.我们通过使用阿里云 Cloud Backup 实现了 ECS 上自建数据库的统一备份,让自建的数据库也拥有和原生...
来自: 云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓,作为一体化大数据智能计算平台ODPS的大规模批量计算引擎,MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务,使您经济高效的分析处理海量数据,进行敏捷的业务洞察。
在这样的极端场景下,阿里云 MMA 以三倍于其它工具的性能优势,打消了我们最初的顾虑,最终高效,稳定,准确地帮我们完成了数据迁移,实现了业务在云上的落地”.面向数仓优化高性能存储、计算;多服务预集成、标准SQL开发简单;内建完善的管理和安全能力;免运维,按量付费、不用不花钱.存储和计算独立扩展,动态扩缩容,按...
来自: 云产品
微服务引擎MSE
微服务引擎 MSE 面向业界注册配置中心、分布式协调、云原生网关、微服务治理和分布式任务调度等主流开源项目,提供商业版服务。
我们通过 MSE 云原生网关,将流量、安全、微服务网关三合一,大幅降低请求链路条、降低架构复杂度、运维和故障排查成本,例如降低整个链路 RT 峰值从500ms下降至峰值50ms,服务发布期间502降为0,499平均降低10%等.MSE 微服务治理以无侵入的方式提供了全链路灰度、离群实例摘除、微服务治理流量可观测等核心能力,以更...
来自: 云产品
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
02迁移数据库这一步骤将引导您使用数据传输服务DTS,将ECS上自建的数据迁移到RDS中。03验证及切换通过这一步骤,您将了解如何验证数据库已经迁移成功,并尝试修改应用代码来完成迁移工作。04清理资源完成教程学习后,您可以将模拟环境的资源释放掉,避免产生额外的费用。一键部署迁移前后对比对比项ECS 自建数据库使用云...
来自: 解决方案
云上 AI
依托大模型与云计算的协同发展,阿里云帮助企业和开发者以最快速度实现生成式和判别式的创新应用,拥抱 AI 时代
立即体验联系 AI 专家常见的 AI 应用场景智能客服客服质检生成商品图商品信息提取智能客服传统客服系统往往依赖于预设脚本和有限的知识,难以灵活应对复杂或新颖的问题。而基于 RAG(Retrieval-Augmented Generation)的智能客服能更准确地理解用户意图和诉求,即使面对复杂的语境和多变的表达方式也能有不错的表现,帮助...
来自: 解决方案
数据库和应用迁移 ADAM
数据库和应用迁移 Advanced Database & Application Migration(以下简称 ADAM)是一款把数据库和应用迁移到阿里云(公共云或专有云)的产品,支持 Oracle、Teradata、Db2 的异构迁移上云。ADAM 全面评估上云可行性、成本和云存储选型,内置实施协助、数据迁移、应用迁移等工具,确保可靠、快速、低成本上云。
支持在数据迁移流程里面添加代码脚本,进行数据的过滤、清洗、加工等逻辑,比如某一 Blob 字段同步到 OSS 存储.支持数据的清洗.结构迁移与订正.提供应用迁移开发环境,自动发现迁移时需要的改动并推荐改动结果.提供应用改造集成开发环境,动态收集应用的数据库访问信息.应用开发环境.根据收集的访问信息,提供兼容性动态...
来自: 云产品
Oracle数据库与应用迁移PolarDB
Oracle<em>数据库</em>与应用<em>迁移</em>PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库(Oracle兼容 版)。通过ADAM将Oracle数据库迁移到 PolarDB数据库,可以降低应用升级、运 维成本,同时提升系统弹性,实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云, 通过ADAM评估迁移工具,降低迁移 风险,提高迁移效率。 2.使用PolarDB(Oracle兼容版)数据 库,提升数据库并发读能力,降低运维 成本。 产品列表 数据库和应用迁移(ADAM) PolarDB(Oracle兼容版) 云服务器(ECS) 专有网络(VPC)
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本,方便扩展,满足 文档版本:20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述 据库弹性需求。迁移过程中采用 ADAM评估分析工具,在迁移前就对数据和应用改造的工作量和 风险完全掌握,便于决策并有效降低实施风险。迁移过程中通过专业工具,自动...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库PolarDB,数据库和应用迁移 ADAM,云速搭
湖仓一体架构EMR元数据迁移DLF
湖仓一体架构EMR元<em>数据迁移</em>DLF
通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。
湖仓一体架构 EMR元数据迁移 DLF最佳实践 业务架构 场景描述 解决的问题 通过 EMR+DLF数据湖方案,可以为企业提供数据 EMR元数据迁移至 DLF 湖内的统一的元数据管理,统一的权限管理,支持多 元数据迁移验证 源数据入湖以及一站式数据探索的能力。本方案支 数据一致性校验 持已有 EMR集群元数据库使用 RDS或内置 MySQL ...
来自: 最佳实践 | 相关产品:E-MapReduce,数据湖构建
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive<em>数据</em>仓库跨版本<em>迁移</em>到阿里云Databricks<em>数据</em>洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统,购买阿里云 Databricks数据洞察集群之后,涉及到数仓 和元数据迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维,节省人力成 本。2.Databricks数据洞察...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
数据迁移上云
<em>数据迁移</em>上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
示例应用场景 线下 IDC数据 迁移至阿里云 OSS 线下 NAS数据迁移至阿里云 NAS 线上杭州区域 NAS数据通过 CEN 至深圳区域 NAS 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 数据迁移上云最佳实践 文档版本:20201013 文档版本:20150122(发布日期...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
利用低成本链路完成业务数据迁移上云
利用低成本链路完成业务<em>数据迁移</em>上云
场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
阿里云对用户开 放所需地域购买静态单线共享带宽包的权限( 动/联通/电信均可),可用为迁移数据有效降低 成本。解决问题 1.业务数据上云网络成本高 产品列表  专有网络VPC  云服务器ECS  网络存储NAS  共享带宽包 文档版本:20191010(发布日期)云服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS
飞天企业版
阿里云飞天企业版是基于阿里云飞天云计算操作系统,为政企客户专属构建的资源和云管完全独立的企业级云平台,阿里云专有云与公共云同根同源,支持私有化部署。
全域应用&数据协同大数据跨域计算,数据迁移;存储/数据库跨域数据调度(备份、同步)能力白屏化,简单易操作。应用云原生高性能IaaS+云原生数据库PolarDB+云原生中间件,实现应用云原生平滑上云。应用平上云“CIPU+CDS”支持高性能负载云化,可提供ECS VM/裸金属容器服务,承载客户应用负载。云上数据库替换PolarDB-M...
来自: 云产品
< 1 2 3 4 ... 11 >
共有11页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用