GPU云服务器提供GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
GPU云服务器的云上安全性是阿里云和客户的共同责任，是阿里云在面对当前的网络安全形势和挑战时所采取的措施，以及提高用户在使用账号、实例、操作系统和资源等方面的安全性所具备的能力。GPU云服务器的云上安全性涉及的内容与云服务器ECS...
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
深入解析GPU云服务器的SLA注意事项，帮您厘清不同规格族的可用性保障差异，明确哪些系列不提供SLA承诺，助您在选型时做出正确决策，有效规避业务风险。
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
以下GPU云服务器规格族不提供SLA承诺。当用户购买的实例不可用时，阿里云仅会以代金券形式返还故障期间产生的计费。实例规格族 ecs.ebmgn9t ecs.gn9t ecs.ebmgn8t ecs.ebmgn8ts ecs.ebmgn8te ecs.gn8te ecs.gn8t ecs.ebmgn7t ecs.gn7t ecs....
GPU云服务器使用RAM进行访问控制时，其身份管理、权限策略以及服务关联角色与云服务器ECS一致，具体说明如下：身份管理 使用RAM用户和RAM角色，通过授权来访问和管理阿里云账号（即主账号）下的资源。更多信息，请参见 身份管理。基于身份...
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）的推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用...
在GPU云服务器上安装Docker环境后，如果未安装NVIDIA Container Toolkit，通过 docker run-gpus all[镜像名称]启动容器镜像时，可能会出现 docker:Error response from daemon:could not select device driver""with capabilities:[[gpu]]...
请按照标签顺序依次点击 新建 应用，构建如下图所示的包含GPU云服务器实例的应用架构：本文所选地域为华北2（北京）可用区H。双击GPU实例，配置相关参数。参考 创建GPU实例，选择对应的实例规格、镜像及版本。修改自定义登录密码。在 实例...
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
ECS实例的GPU在过去某个时间范围内的最大利用率大于等于指定值时，视为“合规”。ECS实例未被云监控监控或者无监控数据时，视为“不适用”。非GPU系列ECS实例不适用本...10)修正指导 具体修复操作，请参见 GPU云服务器（gn/vgn/sgn系列）。
ECS实例的GPU显存在过去某个时间范围内的最大利用率大于等于指定值时，视为“合规”。ECS实例GPU未被云监控监控或者无监控数据时，视为“不适用”。...10)修正指导 具体修复操作，请参见 GPU云服务器（gn/vgn/sgn系列）。
单击 创建节点池，选择 实例规格 为GPU云服务器，并设置 期望节点数 为所需节点数量。更多参数，请参见 创建和管理节点池。关于可选的GPU ECS规格，请参见 ACK支持的GPU实例规格。说明 当在实例规格列表里没有可用实例时，可选择其他虚拟...
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
开发人员可以根据实际业务情况，在不同的GPU云服务器上安装DeepNCCL通信库，以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用DeepNCCL的操作方法。说明 关于DeepNCCL的更多信息，请参见 什么是AI...
说明 为优化神龙架构GPU服务器的网络性能，阿里云推出了sccgn7ex实例规格，该规格机型配备了具有超强计算能力的GPU和RDMA（Remote Direct Memory Access）高性能网络服务。如果您选择了sccgn7ex实例，则需要根据自身业务，选择是否自动安装...
Nvidia GPU服务器中提供多项监控指标，您可以将Nvidia GPU服务器中的监控指标接入到全栈可观测应用中，进行可视化展示。前提条件 已创建实例。具体操作，请参见 创建实例。步骤一：安装NVIDIA GPU驱动 日志服务 使用 nvidia-smi 命令采集...
说明 DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，可以帮助您实现大语言模型在GPU上的高性能推理优化功能。更多信息，请参见 什么是推理引擎DeepGPU-LLM。准备工作 获取DeepGPU-LLM容器...
架构：选择 GPU云服务器。实例规格：根据业务需求选择合适的 GPU实例规格族，例如 ecs.gn7i-c8g1.2xlarge（NVIDIA A10）。为提高扩容成功率，建议配置多个实例规格。污点（Taints）：为防止非目标应用被调度到GPU节点上，建议为节点池配置...
配置项 说明 实例规格 架构 选择 GPU云服务器，选择多个GPU实例规格。由于只有在节点有多张GPU卡的情况下，节点选卡策略才能看出效果，建议选择带有多张GPU卡机型。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点...
已 创建ACK托管集群，且指定实例规格的架构为 GPU云服务器。使用限制 请勿将共享GPU调度的节点的CPU Policy设置为 static。若您需要自定义KubeConfig文件路径，由于 kubectl inspect cgpu 命令不支持-kubeconfig 参数，请使用 export ...
本文为您汇总了GPU服务器的最佳实践，您可以根据自身业务场景选择相应的操作参考。模型部署与推理服务 在GPU实例上部署DeepSeek-R1蒸馏模型 适用于需要轻量化、高性能推理的场景。本教程介绍在GPU实例上部署DeepSeek-R1蒸馏模型推理服务。...
chmod+x/usr/local/bin/kubectl-inspect-cgpu 步骤三：创建GPU节点 创建GPU云服务器，并安装驱动和nvidia-container-runtime。具体操作，请参见 创建和管理节点池。说明 如果您添加节点池时已经创建GPU节点并配置好环境，可以跳过此步骤。...
为进一步优化神龙架构GPU服务器的网络性能，阿里云推出了GPU计算型超级计算集群实例规格族，即sccgn系列实例，该系列机型具备了超强的计算能力和网络通信能力。本文为您介绍sccgn系列实例的使用说明及性能验证。使用说明 sccgn系列机型同时...
架构：GPU云服务器。实例规格：根据业务需求选择合适的 实例规格族，如ecs.gn7i-c8g1.2xlarge(NVIDIA A10)。为提高扩容成功率，建议选择多个实例规格。污点（Taints）为防止非GPU工作负载被调度到价格较高的GPU节点，建议通过污点实现逻辑...
DeepGPU-LLM作为阿里云开发的一套推理引擎，旨在优化大语言模型在GPU云服务器上的推理过程，为您提供免费的高性能、低延迟推理服务。DeepGPU-LLM提供了一系列的API接口（例如模型加载、模型推理等功能），在GPU云服务器上成功安装DeepGPU-...
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena。已安装GPU拓扑感知调度组件。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上版本 ...
训练任务按实际执行时长计费，精准到秒，彻底消除了传统模式下GPU服务器的闲置成本，特别适合实验性调参和迭代训练。考虑到模型训练工作负载对资源确定性和灵活性的需求，可以使用 GPU-HPN容量预留 方案来预定GPU资源。推理部署阶段：模型...
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
根据 nvidia-smi 状态排查问题 nvidia-smi（NVIDIA System Management Interface）是一个监测NVIDIA GPU设备状态的命令行实用工具，可以用于管理GPU服务器性能和健康状况。您可以根据检查报告中 NVIDIASMIStatusCode 的结果，参见下表，...
阿里云容器计算服务ACS 以Serverless形态提供容器算力，在使用GPU资源时，支持在Pod上声明GPU型号和ACS支持的驱动版本，极大降低了业务的基础设施管理和运维成本。本文主要介绍如何在创建Pod时指定GPU型号和驱动版本。GPU型号说明 ACS支持...
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
ACS集群的GPU-HPN容量预留是一种支持HPN高速网络的GPU算力资源的预留类型。通过将GPU-HPN容量预留与ACS集群中的虚拟节点相关联，您可以基于亲和性调度使用GPU容器算力，从而高效利用计算资源。本文介绍创建GPU-HPN容量预留，以及关联集群的...
阿里云提供多种迁移上云和云上迁移服务器的方式，例如，本地物理机迁移到阿里云、腾讯云服务器迁移到阿里云、在阿里云中跨账号迁移ECS实例等。您可以根据具体业务场景选择对应的迁移方式。说明 本文部分迁移方式使用服务迁移中心实现。...
usr/local/nginx/sbin/nginx-s stop 步骤一：配置SELinux 说明 对于云服务器 ECS，参阅 ECS实例使用须知，基于兼容性、稳定性考虑，请勿开启SELinux。安全增强型Linux（SELinux）是一个Linux内核的功能，它提供支持访问控制的安全政策保护...
如果防勒索客户端或备份任务出现了异常，会导致云安全中心无法保护您的重要文件或数据。建议您及时排查异常情况，防止勒索软件攻击导致的数据丢失或加密。本文介绍为服务器创建勒索防护策略后，防勒索客户端和备份任务异常状态的原因排查及...