自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到<em>阿里云</em>EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
E-MapReduce 阿里云 E-MapReduce(EMR)是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink生态大数据 PaaS 产品。提供用户在云上使用开源 技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的 文档版本:20210721 III 自建Hive数据仓库跨版本迁移到阿里云 EMR 前言 大数据...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到<em>阿里云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
阿里云最佳实践分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 自建Hive 数据仓库跨版本迁移到 阿里云Databricks数据洞察 文档版本:20210425(发布日期)文档版本:20210425 1 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
解决问题 利用容器服务 ACK搭建跨可用区高可用 产品列表 的应用 容器服务 ACK 容器服务 ACK结合 SLB,RDS,REDIS构 RDS for Mysql版 建高可用应用 云数据库 Redis 版 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 容器跨...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
大数据系统基准性能测试最佳实践
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
进行 TestDFSIO测试 产品列表 EMR 云服务器 ECS 云速搭 CADT 阿里云最佳实践分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 大数据系统基准性能测试 最佳实践 文档版本:20211123 文档版本:20150122(发布日期)II 大数据系统...
来自: 最佳实践 | 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
SpringCloud应用托管到ACK服务
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中,创建容器服务ACK后, 利用Helm一键部署SpringCloud应用,将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
解决问题 将 SpringCloud应用托管到容器服务 ACK 产品列表 容器服务 ACK 云服务器 ECS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 SpringCloud应用托管到 ACK服务 最佳实践 企业上云实践 ...
来自: 最佳实践 | 相关产品:容器服务 ACK
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用 OSS保存计算结果 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 对象存储 OSS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 EHPC药物筛选最佳实践 文档版本:20210811 II 企业上云实践 EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
轻量级GPU部署游戏最佳实践
轻量级GPU部署<em>云</em>游戏最佳实践
随着AI深度学习,视频处理,科学计算以及图形可视化等应用场景的普及,GPU的市场需求越来越大,但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。
同时支持 AI计算与图形图像计算 产品列表 部署架构 云服务器 ECS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 轻量级GPU部署云游戏 最佳实践 文档版本:20220211 文档版本:20220211 II 轻量级 GPU部署云游戏 文档版本信息 文档版本信息 文本信息 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
中小企业基于SAG APP实现上移动办公
中小企业基于SAG APP实现<em>云</em>上移动办公
1. 客户端一键接入上云,配置自动化 2. 城域内 Internet 就近接入,快速高效 3. 数据加密传输,满足安全性要求 4. 阿里云控制台统一配置管理
4.阿里云控制台统一配置管理 产品列表 云企业网 CEN 智能接入网关 SAG APP 云服务器 ECS 云解析 PrivateZone 最佳实践频道 阿里云最佳实践生态群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 中小企业基于SAG APP 实现云上移动办公最佳实践 文档版本:20211008(发布日期)文档版本:20150122(发布...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,云解析 PrivateZone,智能接入网关,云速搭
虚拟桌面架构的高性能体验上部署
虚拟桌面架构的高性能体验<em>云</em>上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云,以及有虚拟化桌面 架构需求上云。包括但不限于: 1.有许可证合规要求,利用自带license快速上云的客户。 2.对数据安全较高要求,需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势,构建云上更加高效、高性 能体验的服务,为客户解决: 1.客户VDI部署的需求,能够更及时的得到满足。 2.解决硬件资源限制,根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等,提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC(专有网络) SLB(负载均衡) CEN(云企业网) 专有宿主机 OpenAPI
云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 虚拟桌面架构的高性能体验云上部署 产品版本:V1.1.0(软件版本)文档版本:20191224(发布日期)企业上云实践 虚拟桌面架构的高性能体验云上部署|文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 虚拟桌面架构的高性能体验云上...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,专有宿主机
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
使用 ECS弹性伸缩组构建集群弹性 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 云速搭 CADT 云服务器 ECS GPU云服务器 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EHPC分子动力学 最佳实践 文档版本:20211115(发布日期)文档版本:20150122(发布日期)II...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
EHPC混合渲染
EHPC混合<em>云</em>渲染
介绍在混合云环境下,利用E-HPC及其文件缓存机制,无缝读取线下存储中的项目资产,免去复杂繁琐的文件同步问题;充分利用云上资源弹性、按使用付费的优势,构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
最佳实践频道 产品列表 云服务器 ECS GPU云服务器 GPU 高性能计算 EHPC 专有网络 VPC 云企业网 CEN 弹性公网 IP EIP 访问控制 RAM 阿里云最佳实践分享群 文件存储 NAS 如二维码过期,请搜索群号:31852400 文档版本:20191129 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 E-HPC混合云...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网,GPU云服务器,弹性高性能计算E-HPC
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
产品列表 云服务器 ECS GPU云服务器 GPU 批量计算 BCS 专有网络 VPC 弹性公网 IP EIP VPN网关 VPN 文件存储 NAS 阿里云最佳实践技术分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 云端影视渲染 最佳实践 文档版本:20200220 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
混合使用Ali-Perseus
混合<em>云</em>使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
使用 CPFS存储共享数据 产品列表 云企业网 CEN 如二维码过期,GPU云服务器 请搜索群号:31852400 并行文件存储 CPFS 文件存储 NAS 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 混合云使用飞天 AI加速工具 最佳实践 文档版本:20200114 II 混合云使用飞天AI加速工具 文档版本信息 文档...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
RAM用户集成企业AD FS身份认证
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS,使用企 业AD对员工的身份认证及管理功能,配置RAM 用户与AD用户的映射关系,实现企业员工使用企 业AD域账号以单点登录(SSO)的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
产品列表  访问控制 RAM  专有网络 VPC  云服务器 ECS 文档版本:20190828RAM用户集成企业ADFS身份认证 文档版本信息 阿里云 企业上云实践 RAM用户集成企业AD FS身份认证 文档版本:20150122(发布日期)2RAM用户集成企业ADFS身份认证 文档版本信息 文档版本信息 文本信息:属性 内容 文档名称 企业上云实践RAM用户...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,访问控制,云速搭CADT
基于HBR上统一备份
基于HBR<em>云</em>上统一备份
场景描述 混合云备份(简称HBR)是一种简单易用且高性价 比的在线备份服务,可以为阿里云ECS,NAS,OSS 以及自建机房内的各类数据提供安全,高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
产品列表 适用云资源 混合云备份 HBR ECS文件系统 云服务器 ECS NAS文件 文件系统 NAS OSS文件 对象存储 OSS ECS上自建的 SQL Server数据库 ECS上自建的 My SQL 数据库 ECS上自建的 Oracle 数据库 ECS上自建的 SAP HANA数据库 阿里云最佳实践技术分享群 最佳实践频道 云服务器 ECS(产品名称)文档模板(手册名称)/文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,混合云备份,云速搭
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
使用 NAS存储计算数据 产品列表 容器服务 Kubernetes版 GPU云服务器 文件存储 NAS 最佳实践频道 阿里云最佳实践分享群 如二维码 过期,请搜索群 号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云智能 RAPIDS加速图像搜索 最佳实践 文档版本:20200114 文档版本:20150122(发布日期)II ...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
KVM on弹性裸金属
KVM on<em>弹性</em>裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品,为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware,本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时,可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
grubby-update-kernel=ALL-args=intel_iommu=on grubby-update-kernel=ALL-args=iommu=pt dracut-force reboot 文档版本:20191213 39 KVMon弹性裸金属 IPvtap方式 4.reboot后,会断开ssh连接,等待3~5分钟,系统重新启动后,再次重新登录 务器(神龙)实例。sshroot@公网IP 2.2.安装KVM 步骤1 安装虚拟化软件。...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,弹性裸金属服务器(神龙)
超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
解决问题  使用神龙GPU云服务器搭建NLP训练 环境  使用SCC的RDMA网络 使用CPFS存储训练数据   使用AIACC加速训练 产品列表  神龙GPU云服务器(SCCGN6) SCC超级计算集群  CPFS共享存储云服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 超级计算集群实现自然语言处理 训练最佳...
来自: 最佳实践 | 相关产品:文件存储NAS,超级计算集群
高性能数据库ECS测试及选型
高性能数据库<em>ECS</em>测试及选型
概述 客户自建高性能数据库(如电商大促)在做ECS选型时,对磁盘的IO、网络的吞吐都有很大要求,为了跟接近真实业务场景,使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景  自建数据库性能测试  磁盘性能测试  ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势  基于标准的TPC-C测试,接近真实业务场景。  提供多规格实例测试,快速选择最优性价比实例。
解决问题 自建数据库性能测试 磁盘性能测试 产品列表 ECS选型建议 专用网络 VPC 云服务器 ECS HammerDB FIO 阿里云最佳实践技术分享群 最佳实践频道 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 高性能数据库 ECS测试及选型 最佳实践 文档版本:20201104 文档版本:20150122(发布日期)II 高性能...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
也可以通过公网连接 2、华东2(上海)region:2.1、开通云产品:Kafka、SAE 2.2、云服务器ECS(模拟业务产生日志)2.3、SAE模拟应用引擎(SAE或K8S集群等),产品日志数据,投递到 Kafka 文档版本:20240428 2SLS数据入湖Kafka最佳实践 最佳实践概述 产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里云创建...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用