数据迁移上云
<em>数据迁移</em>上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
本案例以 FTP服务器为例,具体 FTP 26 文档版本:20201013 数据迁移上云最佳实践 使用阿里云在线迁移服务进行数据迁移 务器搭建过程本文不再赘述。3.2.创建目的地址 步骤1 选择在线迁移服务>数据地址,并选择“OSS”的数据类型,数据所在区域选择“华南 1(深圳)”,然后点击创建数据地址 步骤2 在跳出的创建数据窗口中...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive<em>数据</em>仓库跨版本<em>迁移</em>到阿里云Databricks<em>数据</em>洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过下面命令将 master、slave1、slave2 和 slave3 这 4 个节点上的公钥文件/root/.ssh/id_rsa.pub内容拷贝到 master节点的/root/.ssh/authorized_keys 中。cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本:20210425 8 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 ssh ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
利用低成本链路完成业务数据迁移上云
利用低成本链路完成业务<em>数据迁移</em>上云
场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
ll 17 文档版本:20191230 利用低成本链路完成业务数据迁移上云 数据迁移迁移文件准备完成.在云上主机向NAS存储拉数据 步骤1 登录ECS控制台。可以看到如下已绑定公网IP的实例。步骤2 SSH登录实例。sshroot@140.xxx.xxx.229 步骤3 查看NAS的存储位置。df-h 18 文档版本:20191230 利用低成本链路完成业务数据迁移上云 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS
云上 AI
依托大模型与云计算的协同发展,阿里云帮助企业和开发者以最快速度实现生成式和判别式的创新应用,拥抱 AI 时代
GPU云服务器云原生 AI 套件判别式 AI定制 AI 模型判别式AI(Discriminative AI)专注于区分或判别不同类别的数据,目的是从给定的输入数据中预测或分类输出结果。判别式AI不关心数据的生成过程,而是学习如何将输入数据映射到一个或多个输出标签上。判别式 AI 的模型训练选型策略可以参照生成式 AI,需注意百炼暂不支持判别...
来自: 解决方案
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS<em>数据</em>
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
应用场景 自建ELK日志系统的客户迁移到阿里云日志 SLS后,对SLS查询分析语法不太熟悉的客 户,可以继续沿用原有的查询分析习惯,在不改 变使用方式习惯的情况下,通过Elasticsearch 兼容接口的方式使用Kibana访问SLS。解决问题  如何使用ACK部署Wordpress应用,并使 用SLS采集容器日志到SLS  最大程度保障Elastic...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
ECS 数据备份与保护
随着企业核心业务规模不断扩大,需要根据业务需求对生产环境中的关键数据进行定期备份。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台ECS 数据备份与保护方案介绍方案优势应用场景方案部署ECS 数据备份与保护随着企业核心业务规模不断扩大,需要根据业务需求对生产环境中的关键数据进行定期备份,在发生误操作、病毒感染、或攻击等情况时,能够快速从已有的快照恢复到某个...
来自: 解决方案
湖仓一体架构EMR元数据迁移DLF
湖仓一体架构EMR元<em>数据迁移</em>DLF
通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。
最佳实践频道 阿里云最佳实践分享群 产品列表 VPC、EMR、EIP、DLF、RDS、CADT 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 湖仓一体架构 EMR元数据迁移DLF 最佳实践 文档版本:20220125 文档版本:20150122(发布日期)II 湖仓一体架构 EMR元数据迁移DLF 文档版本信息 文档版本信息 文本信息 属性 ...
来自: 最佳实践 | 相关产品:E-MapReduce,数据湖构建
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
专有网络由逻辑网络设备(如虚拟路由,虚拟交换机)组成,可以通过专线/VPN等连接方式与传统 数据中心组成一个按需定制的网络环境,实现应用的平滑迁移上云。 微服务引擎MSE(MicroserviceEngine),面向业界主流开源微服务项目,提供注册配置中心和分布 式协调(原生支持 Nacos/ZooKeeper/Eureka)、云原生网关(原生...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
OracleRAC12C云上部署 最佳实践 业务架构 场景描述 OracleRAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。方案优势 1.基于ESSD存储NVMe协议提供的多实 例共享能力的双机集群OracleRAC架 构,为用户提供统一数据服务的同时提 供故障切换与恢复能力(FailOver...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
企业用户多账号合并之存储迁移集中
企业用户多账号合并之存储<em>迁移</em>集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
使用数 据迁移服务,您可以将第三方数据轻松迁移至阿里云对象存储 OSS,也可以在对 象存储 OSS 之 间 进 行 灵 活 的 。详 见 https://help.aliyun.com/product/94157.html 文档版本:20220505 III 企业用户多账号合并之存储迁移集中部署 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
Alibaba Cloud Linux
Alibaba Cloud Linux 是阿里云打造的 Linux 服务器操作系统发行版。为云上应用程序提供 Linux 社区的增强功能,同时通过引入更完善的发行版质量体系,确保产品品质,提供云上最佳用户体验。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台Alibaba Cloud Linux产品简介产品优势产品功能入门与试用技术解决方案产品定价安全合规常见问题社区Alibaba Cloud LinuxAlibaba Cloud Linux是阿里云研发的稳定、安全、高性能的服务器操作系统,为用户提供更好的操作系统服务体验。...
来自: 云产品
跨云迁移单写双读过渡架构
跨云<em>迁移</em>单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
它是一种集数据迁移数据订阅及数据实 时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,解决远 距离、毫秒级异步数据传输难题。它底层的数据流基础设施为阿里双 11异地多 活基础架构,为千下游应用提供实时数据流,已在线上稳定运行 6年之久。您 可以使用数据传输轻松构建安全、可扩展、高可用的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
EBS部署高性能的MySQL服务
使用基于ESSD云盘的MySQL服务,可以确保数据一致性和可靠性,又能减少写入操作的次数和延迟,改善MySQL DoubleWrite机制带来的性能问题,提供更高性能的MySQL数据存储服务。
该机制会先将数据写入到临时文件,再写入到真正的数据文件中,以防止在数据写入过程中发生硬件或软件故障导致数据丢失或损坏。这种实现方式会增加额外的写入操作,可能导致IO负载和延迟的增加,进而降低MySQL的性能,尤其在高负载的数据库中更为明显。为了解决这个问题,您可以使用基于ESSD云盘的MySQL服务。ESSD云盘具备...
来自: 解决方案
小型互联网迁移阿里云
小型互联网<em>迁移</em>阿里云
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB TX引擎,并且提供了容灾、备份、恢 复、监 控、 等 方 面 的 全 套 解 决 方 案。详见:https://www.aliyun.com/product/rds/mysql 文档日期:20200114 III 小型互联网迁移上阿里云最佳实践 目录 目录 文档版本...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
自建Hadoop迁移MaxCompute
自建Hadoop<em>迁移</em>MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
名词解释 HDFS Hadoop 分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式 系统,它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式 文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉 价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应 用。VPN...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
VMware迁移DDH
VMware<em>迁移</em>DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机(DDH)的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统,满足安全、合规、 自定义部署、自带许可证(BYOL)等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系,支持ECS自定义部 署,可在DDH环境和多租户环境间迁移。 l支持自带许可证(BYOL)。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
迁移上云的两种方式 VMware l VMware 迁移至弹性裸金属+VMware l VMware 迁移至 DDH+ECS 文档版本:20200218 1 企业上云实践 BCS 三代基因测序数据组装|最佳实践概述 迁移架构 本文以某应用从线下 VMware 环境迁移至 DDH 为例进行阐述。l 典型 WEB应用,由 WEB 前端、应用服务层和数据库组成。l 应用需要分别构建测试环境和...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,专有宿主机
自建Hadoop迁移到阿里云EMR
自建Hadoop<em>迁移</em>到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
文档版本:20210714 46 自建Hadoop数据迁移到阿里云 EMR 启动数据迁移任务 此时在 EMR集群的 master节点查看文件大小,进一步和自建 Hadoop集群上文件大 小进行比对:EMR集群上的文件大小:hadoop fs-du/usr/dfs/data/flume/kafka 自建 Hadoop集群文件大小,替换下面红色字体为实际的 IP地址:hadoop fs-du hdfs:/192.168....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
Oracle数据库与应用迁移PolarDB
Oracle数据库与应用<em>迁移</em>PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库(Oracle兼容 版)。通过ADAM将Oracle数据库迁移到 PolarDB数据库,可以降低应用升级、运 维成本,同时提升系统弹性,实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云, 通过ADAM评估迁移工具,降低迁移 风险,提高迁移效率。 2.使用PolarDB(Oracle兼容版)数据 库,提升数据库并发读能力,降低运维 成本。 产品列表 数据库和应用迁移(ADAM) PolarDB(Oracle兼容版) 云服务器(ECS) 专有网络(VPC)
是阿里云提供的一种基础云计算 。无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS 实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。也能随时 释放资源,节省费用。更多信息,请参考:https://www.aliyun.com/product/ecs PolarDB(Oracle兼容版):POLARDB是阿里巴巴自主研发的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库PolarDB,数据库和应用迁移 ADAM,云速搭
Openstack迁移DDH
Openstack<em>迁移</em>DDH
场景描述 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 上云的同时,显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
OpenStack迁移DDH 最佳实践 业务架构 场景描述 解决问题 在线下IDC中,很多用户使用OpenStack构建云环境,本 介绍如何将线下IDC中基于OpenStack构建的云服务器 1.如何将OpenStack中的云服务器迁移 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 DDH上。上云的同时,显著降低成本。2.如何使用DDH构建云上环境。产品...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,专有宿主机
自建Hive数仓迁移到阿里云EMR
自建Hive数仓<em>迁移</em>到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
步骤2 部署完成后,重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元 库,但是此时元数据库还未创建,因此在 EMR控制台可以看到 Hive MetaStore 异常停止。文档版本:20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
< 1 2 3 4 ... 11 >
共有11页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用