场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
配置项 说明 版本 Kubernetes专有版 集群名称 cs-ai-inference 地域 华北 3(张家口)专有网络 vpc-ai-inference sw-b 节点类型 按量付费 Master实例数量 3 实例规格 4核 8G(ecs.c5.xlarge)系统盘 高效云盘 120 GiB Worker实例 新增实例 实例规格 异构计算 GPU/FPGA 4核 16G(ecs.gn5i-c4g1.xlarge)注意:实际生产环境中...