自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过下面命令将 master、slave1、slave2 和 slave3 这 4 个节点上的公钥文件/root/.ssh/id_rsa.pub内容拷贝到 master节点的/root/.ssh/authorized_keys 中。cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本:20210425 8 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 ssh ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
解决问题 利用容器服务 ACK搭建跨可用区高可用 产品列表 的应用 容器服务 ACK 容器服务 ACK结合 SLB,RDS,REDIS构 RDS for Mysql版 建高可用应用 云数据库 Redis 版 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 容器跨...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
EHPC混合云渲染
EHPC混合云渲染
介绍在混合云环境下,利用E-HPC及其文件缓存机制,无缝读取线下存储中的项目资产,免去复杂繁琐的文件同步问题;充分利用云上资源弹性、按使用付费的优势,构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
最佳实践频道 产品列表 云服务器 ECS GPU云服务器 GPU 高性能计算 EHPC 专有网络 VPC 云企业网 CEN 弹性公网 IP EIP 访问控制 RAM 阿里云最佳实践分享群 文件存储 NAS 如二维码过期,请搜索群号:31852400 文档版本:20191129 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 E-HPC混合云...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网,GPU云服务器,弹性高性能计算E-HPC
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
步骤3 将 vCenter ISO 下 载 拷 贝 到 windows 器。本 示 例 使 用 VMware-VIM-all-6.5.0-8307201.iso。文档版本:20191121 51 VMwareon弹性裸金属 安装和部署VMware 步骤4 双击vCenter安装文件。步骤5 双击autorun。步骤6 根据安装向导,完成VMwarevCenterServer的安装。1.在适用于Windows的vCenterServer页面...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
混合云HBR云上备份VMware虚拟机
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
文档版本:20190716 22 混合云HBR云上备份VMware虚拟机 部署阿里云混合云存储客户端 步骤4 在选择模板页面,单击本地文件前的单选按钮,并单击浏览。步骤5 选中已下载好的客户端安装文件,单击打开,然后单击下一步。文档版本:20190716 23 混合云HBR云上备份VMware虚拟机 部署阿里云混合云存储客户端 步骤6 在选择名称和...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙),混合云备份
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
对象存储 OSS 产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区对象存储 OSS安全、稳定、高性价比、性能领先的对象存储服务,您可以存储任意数量的数据,并且可以从任意位置获取。立即购买免费试用快捷入口控制台文档APISDK产品定价常用工具05:03快速了解对象存储 OSS产品动态...
来自: 云产品
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK(容器服务Kubernetes版,简称ACK)支持企业级K8s容器化应用的全生命周期管理,提供高性能可伸缩的容器应用管理能力,助力企业高效运行云端K8s容器化应用。
相关产品容器服务 ACK文件存储 NAS块存储云数据库 Redis 版性能测试 PTS云速搭 CADT一键部署ACK 实现 GPU 成本优化利用 ACK 部署 GPU 集群之后,出于成本优化的考虑,对于集群中 GPU 利用率不高的应用,比如推理的应用,建议利用阿里云 cGPU 技术将一定数量的应用跑到一块 GPU 卡上,以提高利用率。对于 GPU 利用率比较高的...
来自: 云产品
边缘节点服务ENS
阿里云边缘节点服务(Edge Node Service, 简称ENS)基于运营商边缘节点和网络构建,一站式提供“融合、开放、联动、弹性”的分布式算力资源,帮助用户业务下沉至运营商侧边缘,有效降低计算时延和成本。
99.9%,接入端到端时延低于20毫秒.广覆盖的分布式基础设施.计算多形态,接入零门槛.算网融合,实现多点协同;终端云化,助力业务提效.上云边界扩展至最后一公里,端到端网络时延一粟 —— 数字化“抗疫”,社会化大协同之战.越来越多的企业重视通过边缘云的能力...有了\\.阿里云边缘云 致力于提供全球领先的边缘基础设施服务.
来自: 云产品
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台,是一种简单易用的公共云灾备服务,可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略,并完全托管备份活动,轻松满足业务与合规需求。
文件存储 NAS.推荐搭配使用.OSS/NAS 无代理备份.场景描述与概要.存储全系产品百元包年.注册阿里云,免费领云存储.阿里云存储标杆案例样板间.ECS 整机备份.数据灾备中心帮助企业完善数据保护.ECS备份基础版全新上线,降低使用门槛.Cloud Backup 云上统一备份最佳实践.云备份产品文档.云备份常见问题解答.云备份计费方式与...
来自: 云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
文件存储 CPFS可支持Linux和Windows操作系统大规模共享访问,可弹性扩展,低延迟、高吞吐的文件存储服务文件存储 HDFS 版具备无限容量及性能扩展、单一命名空间、高可靠和高可用等特性的分布式文件系统。表格存储 Tablestore阿里云自研的面向海量结构化数据存储的 Serverless 表存储服务。数据库文件存储 DBFS数据库文件...
来自: 云产品
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
NAS:阿里云文件存储(Network Attached Storage,简称 NAS)是面向阿里云 ECS 实 例、HPC 和 Docker 等计算节点的文件存储服务,提供标准的文件访问协议,您无需对 现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可 靠和高可用等特性的分布式文件系统。OSS:阿里云对象存储服务(Object ...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
大数据系统基准性能测试最佳实践
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
阿里云账号下已开通以下阿里云服务:ᅳ GPU云服务器 ᅳ 文件存储服务 下载本文用到的操作命令和代码:以 CentOS主机为例:#yum-y install git#git clone https://code.aliyun.com/best-practice/202.git 如果你是 windows 主机,请下载 windows 版本的 git:https://git- scm.com/download/win 遇到问题,请扫钉钉二维码...
来自: 最佳实践 | 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
阿里云日志<em>服务</em>SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志,实现在一个平台上管理多云架构下的所有日志。
阿里云 SLS多云日志统一管理方案-腾讯云日志采集 最佳实践 业务架构 场景描述 使用日志服务 SLS统一采集、存储、查询和分析 阿里云、腾讯云等不同云厂商上的业务日志、系 统日志和云产品日志,实现在一个平台上管理多 云架构下的所有日志。产品列表 方案适用的场景和优势 阿里云 多云:使用多云架构的用户都需要有一个统一...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志<em>服务</em>SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
可观测链路 OpenTelemetry 版结合日志服务 SLS关联分析 最佳实践 场景描述 业务架构 可观测链路 OpenTelemetry 版为分布式应用的 开发者提供了完整的调用链路还原、调用请求量 统计、链路拓扑、应用依赖分析等工具,可以帮 助开发者快速分析和诊断分布式应用架构下的 性能瓶颈,当应用出现业务异常问题时,您可以 在可观测...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-<em>存储</em>-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
阿里云对象存储 OSS(Object Storage Service):是一款海量、安全、低成本、高可靠的 云存储服务,可提供 99.9999999999%(12个 9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。阿里云消息服务 MNS(Message Service):是一种高效、可靠、安全、便捷、可弹性扩展 文档版本:20240422 5 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
云上 AI
依托大模型与云计算的协同发展,阿里云帮助企业和开发者以最快速度实现生成式和判别式的创新应用,拥抱 AI 时代
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台阿里云,让 AI创新 触手可及阿里云让 AI创新 触手可及依托大模型与云计算的协同发展,阿里云帮助企业和开发者以最快速度实现生成式和判别式的创新应用,拥抱 AI 时代。依托大模型与云计算的协同发展,阿里云帮助企业和开发者以最快速度实现...
来自: 解决方案
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化<em>文件</em>实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
 阿里云对象存储OSS(ObjectStorageService):是一款海量、安全、低成本、高可靠的云 存储服务,可提供99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。多种 存储类型供选择,全面优化存储成本。 云速搭CADT(CloudArchitectDesignTools):是一款为上云应用提供自助式云架构管理 的产品,显著地降低应用...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的 聚合、分析处理和导出等,本方案给出了在多 云/混合云场景下,构建通过标准的Kafka协议 和托管服务,SLS可以连接Kafka数据入湖导 入,然后进行统一的海量数据的集中存储、智 能转储、...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
高可用及共享存储Web服务
随着业务规模的增长,数据请求和并发访问量增大、静态文件高频变更,企业需要搭建一个高可用和共享存储的网站架构,以确保网站服务能够7*24小时运行的同时,可保障数据一致性和共享性,并降低数据重复存储的成本。
方案介绍高可用及共享存储Web服务架构采用同地域不同可用区的云服务器ECS提供高性能的后端服务,负载均衡CLB实现高可用保证业务的连续性,文件存储NAS实现多个Web服务器之间的数据共享和同步,确保数据的一致性。解决问题:服务器单点故障单机架构下,人员误操作、磁盘故障等,导致服务中断,业务不可用,造成巨大经济损失...
来自: 解决方案
文件存储CPFS
阿里云文件存储CPFS是完全托管、可扩展的并行文件存储系统。针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和百万级IOPS的数据读写请求。
解决方案与优势.CPFS 高性能 IO 加速训练时的小文件读取效率,提升业务模型的训练迭代效率,有力的支撑了客户业务增长带来的大容量和高性能的需求.OSS 冷热数据分级存储能力,为客户提供海量数据长期存储服务,进一步协助客户节省开支.方案效果与价值.负载均衡SLB.对象存储 OSS.文件存储NAS.推荐搭配使用.AI 训练与推理....
来自: 云产品
< 1 2 3 4 ... 20 >
共有20页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用