GPU设备插件（GPU Device-Plugin）是Kubernetes集群中用于管理每个节点的GPU的组件，使得Kubernetes能够更方便、高效地利用GPU资源。本文介绍在独占GPU调度场景下，如何对...
GPU由于其特殊的硬件架构，在处理计算密集型、易于并行的程序上较CPU有很大的优势。加速原理数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合...
ECI GPU实例内置了显卡设备驱动及CUDA驱动，因此运行ECI GPU实例只需使用内置了CUDA Toolkit等软件的基础镜像即可，无需关心驱动安装。本文介绍如何使用ECI GPU实例。规格...
ACK集群提供节点级别的GPU诊断功能，供您进行部分GPU相关问题的故障排查。如果您在ACK Pro版集群中使用GPU节点时遇到问题，可以启用GPU节点自助诊断，采集GPU诊断的...
xx-xx.tar.gz to ACK developers提交工单，将当前目录下的diagnose-gpu_xx-xx-xx_xx-xx-xx.tar.gz和diagnose-gpu.log交给阿里云ACK技术支持进行问题诊断。GPU节点问题如果不属于Pod...
Kubernetes提供了Custom Metrics机制，该机制可以对接阿里云Prometheus监控来采集GPU指标。本文介绍如何部署阿里云Prometheus监控，并结合示例说明如何通过阿里云Prometheus...
本文介绍如何指定ECS GPU规格创建一个ECI Pod，以及如何修改GPU驱动版本。规格说明GPU规格含有GPU计算卡，适用于深度学习、图像处理等场景。GPU对应的Docker镜像可以直接...
NVIDIA GPU上存在一些硬件计数器，这些计数器可以用来收集一些设备级别的性能指标，例如GPU利用率、内存使用情况等。借助NVIDIA提供的NVML（NVIDIA Management Library）库或...
GPU Pod容量预留不需要直接绑定集群，您只需要购买时指定Pod规格、可用区、锁定时间等属性，ACS会保证在需要资源时，分钟级启动相应规格的Pod。通过GPU Pod容量预留，...
如果您使用阿里云ECS的GPU实例，则GPU实例中已默认安装驱动，可跳过此步骤。步骤二：创建Logtail采集配置登录日志服务控制台。在接入数据区域的监控数据页签下，单击...
如果您使用阿里云ECS的GPU实例，则GPU实例中已默认安装驱动，可跳过此步骤。步骤二：创建Logtail采集配置登录日志服务控制台。在日志应用区域的智能运维页签下，单击全...
在OpenGL、Direct 3D、云游戏等图形加速/图形渲染场景下，安装了GRID驱动的GPU可有效提高图形渲染效率和性能。本文为您介绍通过云助手方式在GPU实例（计算型和虚拟化...
通过云速搭实现GPU云服务器的部署，这里使用ECS的UserData特性自动安装GPU驱动、AIACC等组件，减少配置工作量。涉及产品专有网络VPC GPU云服务器弹性公网IP云速搭CADT方案...
在GPU的实例上安装推理引擎TensorRT-LLM，可以帮助您快速且方便地构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）的推理环境，主要...
在深度学习、AI等通用计算业务场景下，安装了Tesla驱动的GPU才能发挥高性能计算能力。Windows系统GPU计算型实例不支持在创建实例时自动安装Tesla驱动，您只能参考...
计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU。更多信息，请参见什么是神行工具包（DeepGPU）。该工具不需要额外支付费用，您只需为与其...
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍停止ECS实例，以及VPC内实例节省停机模式相关操作。前提条件实例必须处于运行中状态...
Kubernetes提供了Custom Metrics机制，该机制可以对接阿里云Prometheus监控来采集GPU指标。本文介绍如何部署阿里云Prometheus监控，并结合示例说明如何通过阿里云Prometheus...
一、GPU支持型号信息1.GPU卡支持情况Nvidia Tesla家族。P系列，P 100。该系列其他型号理论上支持，但是未验证，暂不推荐。V系列，V 100。T系列，T 4。A系列，A 100，A 10，A 40，A...
为避免产生额外的费用，建议在启用此功能前，仔细阅读阿里云Prometheus的计费概述，了解自定义指标的收费策略。费用将根据您的集群规模和应用数量等因素产生变动。您...
在使用Kubernetes集群实现GPU计算时，为了有效利用GPU设备，可使用GPU节点卡型属性标签将应用调度至目标节点。本文介绍GPU节点卡型属性标签基本信息以及如何使业务...
在您使用专属资源组部署服务时，EAS提供了GPU共享功能，以便充分利用资源。您只需在部署服务时打开GPU共享开关，系统便会在服务中部署虚拟化的GPU，EAS可以根据您...
传统GPU使用场景存在资源利用率低、使用成本高和弹性能力弱等痛点问题，而Serverless GPU提供了一种更加灵活的方式来利用GPU计算资源，您只需根据自己的实际需求选择...
当您的集群已经安装共享GPU调度组件，但节点GPU驱动版本与集群中已存在的cGPU版本不兼容，或者节点操作系统版本与集群中已存在的cGPU版本不兼容时，您需要将共享...
ACK集群Pro版支持共享GPU，共享GPU能够在Kubernetes上实现共享GPU调度和显存隔离。本文介绍如何设置共享GPU调度的多卡共享策略。前提条件已创建ACK集群Pro版。已安装...
本文介绍如何指定ECS GPU规格创建一个ECI Pod，以及如何修改GPU驱动版本。规格说明GPU规格含有GPU计算卡，适用于深度学习、图像处理等场景。GPU对应的Docker镜像可以直接...
例如，创建GPU实例时需要提前了解容器镜像适用的GPU实例类型，拉取容器镜像时需要提前获取镜像地址等信息。登录容器镜像服务控制台。在左侧导航栏，单击制品中心。在仓库...
本文介绍如何通过Kubernetes事件中心对GPU Xid错误进行监控告警，帮助您实时了解和诊断NVIDIA驱动程序的错误报告。...触发告警后，您会收到阿里云发出的告警短信。
模型部署支持根据GPU算力占比与显存大小进行切分使用，提升资源利用率。适用客户AIGC/AI推理/模型在线服务的客户群。新增功能/规格EAS模型部署的过程中，支持客户根据...
如需在Knative部署AI任务、高性能计算等需要GPU资源的工作负载时，您可以在Knative Service中指定GPU规格，创建GPU实例。您也可以为节点开启共享GPU调度能力，降低GPU...
在Kubernetes环境中，GPU资源的管理复杂度高、故障诊断和恢复难度大，且宕机成本高。出现故障时，您需要正确识别问题（硬件、驱动、配置等问题），快速采取恰当的恢复措施，...
算力调度策略支持阿里云所有的异构GPU实例，以及GPU实例所配备的NVIDIA显卡，其型号包含Tesla P 4、Tesla P 100、Tesla T 4、Tesla V 100、Tesla A 10。以下测试项使用2个容器...
如需在Knative部署AI任务、高性能计算等需要GPU资源的工作负载时，您可以在Knative Service中指定GPU规格，创建GPU实例。您也可以为节点开启共享GPU调度能力，降低GPU...
ACK集群Pro版支持为应用申请GPU显存和算力，能够帮助您更精细化的使用GPU的显存和算力资源。本文介绍如何通过共享GPU调度实现算力分配。前提条件已创建ACK集群...
当升级GPU实例的操作系统（例如Alibaba Cloud Linux、RedHat、CentOS、Ubuntu等）内核时，可能会因为两个内核的kABI（Kernel Application Binary Interface）不一致，导致旧内核上构建...
激活GPU拓扑资源调度前，您需要安装并配置相关组件。本文介绍如何安装GPU拓扑感知调度相关组件以及在集群中开启GPU拓扑感知调度能力。前提条件已创建ACK Pro集群，且...