一键训练大模型及部署GPU共享推理服务
通过创建ACK集群Pro版，使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群，白屏配置任务数据共享存储和下载，并通过命令行工具Arena快速提交模型训练任务、部署推理服务。使用云原生AI套件可以让模型训练和推理提效，提高GPU资源利用率。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台一键训练大模型及部署GPU共享推理服务方案介绍方案优势应用场景方案部署方案权益一键训练大模型及部署GPU共享推理服务通过创建ACK集群Pro版，使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群，...
来自：
解决方案
GPU云服务器
阿里云GPU云服务器（GPU Cloud Computing，GPU）是提供 GPU 算力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。阿里云作为亚洲第一的云服务提供商，随时为您提供触手可得的算力，有效缓解计算压力，提升您的业务效率，助您提高企业竞争力。
gn6v规格族、gn7i(指定规格)首购活动，包月5折，包年低至4折起.gn6v规格族包月低至6折起，gn6i规格族包年5折起.A10卡目录价降低11%~25%，6月6日上线生效.GPU云服务器Ebmgn7ix邀测报名通道.阿里云cGPU容器技术重磅发布.GRID15.2镜像(windows server 2022).GRID13.5镜像(windows server 2022).查看更多商品.阿里云GPU云服务器...
来自：
云产品
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
方案架构 本方案使用了 gnv6机型的 GPU云服务器，客户可以根据自己的需求选择相应的 GPU云服务器实例类型。并行文件系统 CPFS作为共享存储，提供高带宽低延迟的数据访问服务。飞天 AI加速工具训练框架加速分布式训练，提升训练速度。飞天 AI加速工具推理框架加速推理过程，提升推理性能。系统架构图如下：1 混合云使用飞天...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
RAPIDS加速图像搜索 最佳实践 部署架构 场景描述 本方案适用于使用 RAPIDS加速平台+GPU云服务器来对图像搜索任务进行加 速的场景。相比 CPU，利用 GPU+RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。解决问题 1.搭建 RAPIDS加速图像搜索环境 2.使用容器服务 Kubernetes版部署图像搜 索环境 3.使用 NAS存储计算数据 ...
云原生AI解决方案
云原生AI解决方案利用容器技术全面支持GPU和CPU异构资源集群统一管理和调度，与阿里云其他资源服务深度整合，支持机器学习计算的完整生命周期，提供低门槛、开放、高效的深度学习解决方案。
云服务器ECS.GPU云服务器.FPGA 云服务器.高性能计算 HPC.对象存储 OSS.文件存储 NAS.搭建Tensorflow实验环境.打通TensorFlow持续训练链路.TensorFlow单机多卡训练性能实践.实践案例分享.打造深度学习云端实验室.像梵高一样作画.玩转主流框架.创建GPU云服务器集群.GPU服务架构和案例分析.利用GPU指标弹性伸缩.GPU应用详情....
来自：
解决方案
弹性加速计算
Alibaba Elastic Accelerated Computing Instances (EAIS)是一款弹性加速计算实例，可在Alibaba ECS实例中灵活添加GPU加速资源。您可以针对您的应用程序的整体计算和内存需求在 Alibaba Cloud 中选择最适用的ECS实例，然后再配置所需量级的 GPU 驱动推理加速，有效利用资源，同时火速节约成本。相比运行AI推理、渲染、编解码的GPU实例，使用EAIS实例的成本可以降低超过 50%。EAIS支持 TensorFlow、PyTorch 和 ONNX 模型。
当CPU实例需要添加GPU算力来满足应用的加速推理需求时，EAIS可以使每个实例连接到加速器。同样，当需求降低需要减少ECS实例时，EAIS也会降级每个实例所连接的加速器.已有ECS实例请直接跳到02步骤.创建账号及ECS实例.注册阿里云账号，在ECS控制台创建按量付费ECS实例.立即进入EAIS控制台.创建EAIS实例.进入EAIS控制台购买...
来自：
云产品
模型在线服务PAI-EAS
模型在线服务PAI-EAS( Elastic Algorithm Service ) 是阿里云人工智能PAI的模型在线服务平台，将模型一键部署为在线推理服务或AI-Web应用，高吞吐低延时，支持自动扩缩容和完整运维监控体系等能力。
产品功能子项.产品功能子项描述.产品功能描述.支持动态加压，自动寻找服务的负载上限，支持实时查看压测秒级监控数据及查看报告....跟秋葉一起，用PAI-EAS实现AI视频生成应用.5分钟使用EAS一键部署AIGC绘画.重磅推出超低折扣节省计划；全新PAI GU系列30规格问世，同等性能价格优惠40%，持续释放技术与规模红利.查看更多商品.
来自：
云产品
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
解决问题 使用 GPU云服务器搭建推理环境 使用容器服务 Kubernetes版构建推理环 境 使用 NAS存储模型数据 使用飞天 AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务 Kubernetes版 NAS共享存储 阿里云最佳实践技术分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
解决问题 使用神龙GPU云服务器搭建NLP训练 环境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用AIACC加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 超级计算集群实现自然语言处理 训练最佳...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
快速进行 AI POC性能测试 产品列表 如二维码过期，GPU云服务器 请搜索群号：31852400 文件存储 NAS（CPFS）对象存储 OSS 专有网络 VPC 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 FastGPU极速 AI训练/推理 最佳实践 文档版本：2021015 文档版本：20150122（发布日期）II FastGPU极速 ...
E-MapReduce
阿里云E-MapReduce(简称EMR)是阿里云云原生数据湖的核心计算引擎，全面支持Hadoop、Spark、HBase、Hive、Flink等大数据组件，为客户提供企业级开源大数据平台服务。通过有效弹性伸缩和数据分层存储机制，相较于传统HDFS固定集群方式，可节省50%以上的费用，同时支持创建抢占式实例，相比按量付费的购买方式，可节省50%~80%的费用。
云服务器 ECS.对象存储 OSS.推荐搭配使用.延续开源技术栈，链接阿里云生态和开源大数据生态.随着企业积累数据规模迅速膨胀，数据分析使用会遇到：数据规模膨胀的成本挑战；计算和存储耦合带来的某项资源闲置问题；由于多种数据分析场景，如离线计算、流式计算、交互式分析、机器学习等，导致多引擎间频繁的引动数据，造成...
来自：
云产品
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
新浪微博使用函数计算-无服务器计算，处理每日数十亿次个性化图片处理，综合成本下降 35%.世纪联华使用函数计算+表格存储的方式，平滑支撑双 11 大促等突发业务.函数计算FC这种无服务器计算的模式帮助石墨文档有效解决了性能瓶颈，并节省了 58%的服务器成本.语雀使用函数计算处理 CPU 密集型任务，免去了搭建集群的代价....
来自：
云产品
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
产品列表 专有网络VPC 云服务器ECS 容器服务Kubernetes版 日志服务SLS 阿里云交换机 最佳实践频道 最佳实践分享群 SLS交流群 阿里云安全组 弹性公网IP NAT网关通过ES兼容接口方式使用 Kibana访问SLS数据 最佳实践 文档版本：20240418（发布日期）基于MSE云原生网关同城多活最佳实践 文档版本信息 ...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
MSE云原生网关使用 JWT进行认证鉴权 场景描述 业务架构 MSE网关中调用外部的认证鉴权服务，通过 JWT 的方式进行全局认证鉴权。应用场景 对网关有认证鉴权安全需求的场景，对于敏感 的服务路由（可通过黑白名单方式配置）在网 关层进行认证鉴权。解决问题 MSE网关和认证鉴权服务的集成问题 产品列表 专有网络 VPC 传统负载...
限制企业仅使用已批准的云服务
客户使用资源目录集中管理云上账号，通过管控策略创建“只能使用批准的云服务”对应的Policy，实现企业在云上只能使用批准的云服务，从而规范用户使用云产品的行为。
通过此能力，可以实现企业在云上只能使用批准的云服务，从而规范企业内部用户订购和使用云产品的行为。方案预估：0元起/年（资源管理为免费产品，费用由客户订购和部署的云服务决定）方案部署一步步跟随方案教程，带你快速上手，进行方案部署。方案介绍限制企业仅使用已批准的云服务客户使用资源目录集中管理云上账号，通过...
来自：
解决方案
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
文档版本：20220211 3 轻量级 GPU部署云游戏 CADT部署资源 1.CADT部署资源 本节采用云速搭 CADT快速构建 GPU云资源环境。注意：在使用 CADT部署资源之前，需要在控制台开通所用到的服务。步骤1 访问 https://bpstudio.console.aliyun.com/ ，登录云速搭 CADT控制台。说明：如果提示需要开通服务，请根据提示进行开通。步骤2...
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展，更多的企业会使用云计算，且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构（RI）和存储容量单位包（SCU）可以帮助客户灵活的节省成本。 本文提供全链路使用实践，帮助客户快速验证云上服务，更合理 的使用RI/SCU。借助覆盖率指标和智能推荐，有效管理云上资 源成本。 用户价值 使用RI 和SCU，可以灵活抵扣相关资源。随时创建释放， 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务，跨服务高 度灵活，无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘，简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
相比于随 ECS预付费实例购买 云盘的模式，存储容量单位包与按量付费云盘的组合使用，兼具性价比与资源使 用的灵活性。详见：www.aliyun.com/product/scu 文档版本：20200608（发布日期）IV RI和SCU全链路使用实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 前置条件.1 1.实践概述.2 2.成本节省对比.6 2.1.业务...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
本实践与阿里云 ACK官方使 用的版本对齐，安装 Docker CE 19.03.5，K8S 1.16.10版本。以 node1为例，node2、node3、node4节点上都按以下步骤操作。操作步骤 步骤1 调整相关系统服务。1.禁用防火墙。systemctl stop firewalld&systemctl disable firewalld 2.确认 SELinux状态为关闭状态。sestatus 如 SELinux未关闭，使用...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
机器学习PAI E-MapReduceEMR 最佳实践频道 对象存储OSS http://bp.aliyun.com 日志服务SLS 阿里云最佳实践分享群 云速搭CADT 钉钉搜索钉群号31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号43525005207入群云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 基于湖仓一体架构使用MaxCompute...
EHPC混合云渲染
介绍在混合云环境下，利用E-HPC及其文件缓存机制，无缝读取线下存储中的项目资产，免去复杂繁琐的文件同步问题；充分利用云上资源弹性、按使用付费的优势，构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
最佳实践频道 产品列表 云服务器 ECS GPU云服务器 GPU 高性能计算 EHPC 专有网络 VPC 云企业网 CEN 弹性公网 IP EIP 访问控制 RAM 阿里云最佳实践分享群 文件存储 NAS 如二维码过期，请搜索群号：31852400 文档版本：20191129 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 E-HPC混合云...
- 产品推荐
- 这些文档可能帮助您