自建Hive数仓迁移到阿里EMR
自建Hive数仓迁移到阿里<em>云</em>EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
自建 Hive数据仓库跨版本迁移到阿里 EMR 场景描述 解决的问题 客户在IDC或者公有环境自建Hadoop集群构建 Hive数据仓库的数据迁移方案 数据仓库和分析系统,购买阿里 EMR集群之后,Hive元数据库的迁移方案 涉及到将数据仓库和Hive元数据的数据库迁移上 Hive跨版本迁移后的数据订正 。目前主流 Hive数据仓库迁移场景...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
企业上云数据安全
企业上云数据安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
具体如何进行加密 产品列表 敏感数据识别 SDDP 密钥管理服务 KMS 数据库 RDS 对象存储 OSS 阿里最佳实践分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 文档版本信息 企业上云数据安全 阿里 企业上云数据安全 最佳实践 文档版本:20150122(发布日期)II 文档版本信息 企业上云数据安全 文档版本信息 文本...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
阿里账号下已开通以下阿里云服务:ᅳ EHPC服务文件存储 NAS服务对象存储 OSS服务器 ECS ᅳ 云速搭 CADT 下载本文用到的操作命令和代码:以 CentOS主机为例:#yum-y install git#git clone https://code.aliyun.com/best-practice/230.git 其中,samplecode.sh包含了所有使用的命令。如果你是 windows主机,...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
更 多 信 息,请 参 见 OSS 简介 https://www.aliyun.com/product/oss 云文件存储 NAS:是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件 系统。兼容 POSIX 文件接口,可支持数千台计算节点共享访问,可以挂载到弹性 计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高性能 计算 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
云速搭部署基于OSS的Nextcloud网盘
云速搭部署基于<em>OSS</em>的Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署,这里使用ECS的UserData特性自动安装MySQL等组件,减少配置工作量。
详见 https://www.aliyun.com/product/ecs 对象存储 OSS:对象存储服务(Object Storage Service,OSS)是一种海 量、安全、低成本、高可靠的存储服务,适合存放任意类型的文件。容量和 处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。详见 https://www.aliyun.com/product/oss 文档版本:20220328 3 云速搭...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云速搭CADT
VMware迁移DDH
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机(DDH)的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统,满足安全、合规、 自定义部署、自带许可证(BYOL)等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系,支持ECS自定义部 署,可在DDH环境和多租户环境间迁移。 l支持自带许可证(BYOL)。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
产品列表 l 访问控制 RAM l 专有网络 VPC l 服务器 ECS l 对象存储 OSS l 专有宿主机 DDH l 资源编排 ROS 文档版本:V1.2 版本日期:20191106 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 企业上云实践 VMware 迁移 DDH 最佳实践 文档版本:20150122(发布日期)II 企业上云实践 VMware 迁移 DDH|...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,专有宿主机
FastGPU极速AI训练/推理
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境,并使用AIACC加速工具进行加速。
开通以下服务:ᅳ GPU服务器 ᅳ 文件存储 NAS(或者 CPFS)ᅳ 专有网络 VPC ᅳ 对象存储 OSS 2 FastGPU极速 AI推理 FastGPU简介 1.FastGPU简介 FastGPU是⼀套构建在阿⾥上的⼈⼯智能计算极速部署⼯具,其提供便捷的接⼝和⾃动⼯ 具实现⼈⼯智能训练/推理计算在阿⾥ IAAS资源上的快速部署。FastGPU提供两套组件:...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,对象存储 OSS,文件存储NAS,文件存储 CPFS,GPU云服务器
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
安装 wordpress 的命令请从以下链接下载使用:https://code.aliyun.com/best- practice/12 已经开通了如下服务:ᅳ 专有网络 VPC ᅳ 服务器 ECS ᅳ 弹性公网 IP EIP ᅳ 负载均衡 SLB ᅳ 数据库 RDS ᅳ 数据库备份 DBS ᅳ 对象存储 OSS ᅳ 数据湖分析 DLA ᅳ 数据管理 DMS ᅳ 数据传输 DTS ᅳ 云速搭 CADT 文档版本:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用 OSS保存计算结果 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 对象存储 OSS 云速搭 CADT 最佳实践频道 阿里最佳实践技术分享群 如二维码过期,请搜索群号:31852400 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 企业上云实践 EHPC药物筛选最佳实践 文档版本:20210811 II 企业上云实践 EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
Openstack迁移DDH
Openstack迁移DDH
场景描述 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 上云的同时,显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
 开通以下服务:ˉ专有宿主机DDHˉ对象存储OSSˉ专有网络VPC 文档版本:20200312(发布日期)3 Openstack迁移DDH OpenStack简介 1.OpenStack简介 OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作开发的,是以 Apache许可证授权的自由软件和开放源代码项目。OpenStack是一个开源的云计算 管理平台项目,可以...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,专有宿主机
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
在客户交流过程中,基 DBS提供了完善的备份机制和 API 于数据高可用和灾备需求,要求将数据备份至阿 OSS的分层存储机制降低备份集储存成本 里云OSS存储空间,同时备份数据流基于 IPSec VPN/专线进行安全传输。基于IPSecVPN/专线进行安全传输。产品列表 VPC,ECS,DBS,VPN网关,OSS 文档版本:20200113 文档模板(手册...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
FPGA加速图片和视频转码
FPGA加速图片和视频转码
场景描述 场景1:图片转码 移动互联网早已进入读图时代,目前的图片都是 JPEG格式,尺寸太大,导致传输占用更多的网络 带宽,花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2:视频转码 到2022年,82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率,都比H.264有明显的优势,但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小, 节省网络流量,降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC,ECS,FPGA,OSS
文档版本:20210906 13 使用 FPGA服务器加速图片和视频转码 FPGA服务器加速图片转码 步骤1 通过如下命令两个视频文件分别进行截图:#ffmpeg-y-i 1080p_20181111.mp4-vf fps=0.1-s 1920x1080 \ 1080p_20181111_snapshot-%d.png#ffmpeg-y-i 1080p_20181111_xgh265_01-fixed-qp-mode-with-HDR2.mp4 \-vf fps=0.1-s 1920x...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,对象存储 OSS,云速搭CADT
大数据workshop
大数据workshop
大数据workshop
步骤5 rds的访问地址可以在实例详情里查询,登录 rds实例详情页,选择查看连接详情:文档版本:20210628(发布日期)26 阿里最佳实践大数据 WorkShop 最佳实践项目实践 步骤6 找到地址信息:步骤7 修改配置文件并保存后,执行./start.sh脚本启动服务:观察日志文件是否更新:tail-f/var/log/gen.log,该文件每秒都有新...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云速搭部署智能接入网关SAG APP
云速搭部署智能接入网关SAG APP
本篇最佳实践通过CADT在华东2上海和美西弗吉尼亚创建跨地域的VPC,在VPC内部署ECS模拟办公系统应用。通过CADT购买SAG APP版并挂载到云连接网CCN,通过云企业网CEN将云上跨地域的VPC和云连接网CCN打通,实现内网互联互通。登录SAG客户端之后,就可以通过内网IP访问云上资源。
用户可 以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详见:https://www.aliyun.com/product/developerservices/cadt 专有网络 VPC:专有网络(Virtual Private Cloud,简称 VPC),帮助您基于阿里 构建一个逻辑隔离的专有。专有网络由逻辑网络设备(如虚拟路由器,虚拟交 换机)组成,可以...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,智能接入网关
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
步骤3 rds的访问地址可以在实例详情里查询,登录rds实例详情页,选择查看连接详情:步骤4 找到地址信息:步骤5 修改配置文件并保存后,执行./start.sh脚本启动服务:文档版本:20210803(发布日期)26阿里最佳实践金融大数据WorkShop 最佳实践项目实践 观察日志文件是否更新:tail-f/var/log/gen.log,该文件每秒都有新...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
企业构建统一CMDB数据源
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台,对接数十款产品的API,拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理,需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递,将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档,使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据,在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据,实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听,及时感知云上资源的增删改,洞察异常变更。
同时帮助您记录上 IT资源的配置变更历史,允许您将全量资源配置和配置 历史文件持续收集到指定的存储空间。同时持续自动地评估上资源配置的合规 性,实现上 IT合规治理。详见:https://www.aliyun.com/product/config 日志服务(SLS):日志服务(Log Service)提供基本的日志存储能力。同时日志 服务还一站式提供...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),配置审计
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
相关产品对象存储 OSS 本产品开源大数据平台 E-MapReduce文件存储 CPFS机器学习平台 PAI一键部署应用日志数据归档架构采用服务器 ECS、日志服务 SLS 和对象存储 OSS。通过服务器 ECS 部署 Nginx 服务,日志服务 SLS 从服务器 ECS 采集 Nginx 服务的访问日志,然后将压缩后的访问日志投递到对象存储 OSS 归档。解决...
来自: 云产品
云存储解决方案
云存储解决方案面向大数据存储、多媒体存储(视频存储)、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景,提供更安全稳定、更优化、无缝上云的智能数据存储服务,为企业上云、实现数字化转型奠定数据基础。
通过在线和离线数据迁移相结合的解决方案,历时1个多月,高效地解决了客户海量数据从线下往上迁移的难题.Momenta 使用了阿里云文件存储 CPFS 以及对象存储 OSS,支持其上模型训练任务以及数据长期保存.上 OSS 的弹性、按需存储能力,为基因数据提供海量存储空间,同时通过冷数据归档存储,大幅降低存储成本.根据您...
来自: 解决方案
闪电立方
阿里云闪电立方能够为用户提供安全、高效、便捷的数据传输服务。有数据在线迁移和离线迁移(闪电立方)两种方式,可解决大规模数据传输效率、安全问题等难题。
推荐使用在线迁移服务,将第三方云服务商的数据轻松迁移至阿里云对象存储 OSS,配合使用OSS的镜像回源功能实现不中断业务的数据热迁移.对象存储OSS.推荐搭配使用.数据迁移至OSS.数据迁移至OSS.用户数据存储在本地服务器的文件系统中,本地机房能够通过搭建专有网络VPC使用专线等连接方式实现云上VPC与本地机房的网络互通,...
来自: 云产品
企业用户多账号合并之存储迁移集中
企业用户多账号合并之<em>存储</em>迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
使用数 据迁移服务,您可以将第三方数据轻松迁移至阿里云对象存储 OSS,也可以在 存储 OSS 之 间 进 行 灵 活 的 数 据 迁 移。详 见 https://help.aliyun.com/product/94157.html 文档版本:20220505 III 企业用户多账号合并之存储迁移集中部署 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
< 1 2 3 4 ... 15 >
共有15页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用