场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
也可以在执行 arena命令之前,用如下命令拉取镜像:#docker pull registry.cn-shanghai.aliyuncs.com/ai_beijing/perseus_inference:v0.5 查询任务状态,可以获得访问的 endpoint,以及 grpc和 restful的端口#arena serve list 这里,保留 ENDPOINT_ADDRESS地址备用,这是推理 server端的服务地址。如果需要获取 job的日志...