场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
Kubernetes支持通过 CRD的方式定义不同类型的工作负载,用于分布式的应用生命 周期管理,例如,在深度学习领域,支持 MPI、ParameterServer等模式;在深度学 习解决方案中,支持 MPI、Tensorflow Parameter Server等模式。要在 Kubernetes上 运行他们,您需要在集群中部署 tj-job、mpi-operator、tf-job-dashboard等基础...