场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
准备推理 demo环境 背景信息 飞天 AI 加速推理工具提供统一的模型推理加速服务,目前支持三种深度学习框架模型:TensorFlow、PyTorch和 Caffe2,包含 Perseus Model Server和 Perseus Inference Client两 个部分。Perseus Model Server是服务端程序,负责加载模型并对外提供推理服务,支持 HTTP/GRPC 两种连接方式。Perseus...