超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
游圣行夜 创建 V1.1 2019/11/20 敬 增加首页概览页,更新git地址 V1.2 2019/12/09 敬 产品更新 V1.3 2020/02/02 敬 更新架构图 V1.4 2020/12/10 敬 AIACC更新及demo更新 V1.5 2021/03/08 敬 更新文件链接等 I企业上云实践 超级计算集群实现自然语言处理训练 前言 概述 本文介绍了使用阿里SCC超级计算集群来进行...
来自: 最佳实践 相关产品:文件存储NAS,超级计算集群
SLS多云日志采集、处理及分析
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
SLS多云日志采集、处理及分析 最佳实践 业务架构 场景描述 从第三方云平台或线下 IDC服务器采集 日志写入到阿里日志服务,通过日志 进行数据分析,帮助提升运维、运营效 率,建立 DT 时代海量日志处理能力。针对未使用其他日志采集服务的用户,推 荐在他或线下服务器安装 logtail采集并使 用 Https安全传输;针对...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
VMware迁移DDH
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机(DDH)的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统,满足安全、合规、 自定义部署、自带许可证(BYOL)等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系,支持ECS自定义部 署,可在DDH环境和多租户环境间迁移。 l支持自带许可证(BYOL)。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
使用 DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS 成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统,满足安全、合规、自定义部署、自带许可证(BYOL)等企业级需求。解决问题 l 云端独享高性能、高可靠、高弹性的物理服务器资源...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,专有宿主机
游戏数据运营融合分析
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户,无法 接受T+1延迟。 3.对数据成本有一定诉求的客户,希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析:依托ADB计算密集型实例, 秒级监控DAU等数据,为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析:打通结构化和非结构化 数据,支撑产品体验分析;广告买量投放效 果实时(分钟级)分析,渠道的评估更准确。 3.低成本:DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析,在满足各种分析场景需求的同时,有效 地降低的客户的总体使用成本。 4.学习成本低:DLA和ADB兼容标准SQL语 法,无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
产品列表 专有网络 VPC、负载均衡 SLB、NAT网关、弹性公网 IP 服务器 ECS、日志服务 SLS、对 象存储 OSS 数据库 RDS MySQL、数据传输 DTS、数据管理 DMS 分析型数据库 MySQL版 ADS 数据湖分析 DLA、Quick BI 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 游戏数据运营融合分析 最佳实践 文档...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,云原生数据仓库AnalyticDB My,数据湖分析,Quick BI
通过私网访问云服务
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务,无需创建NAT网关或EIP等公网出口,更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
通过私网访问云服务 最佳实践 场景描述 公网访问 VS 私网访问 一般情况下,部署在阿里 VPC A内的服务提 供方需要暴露公网访问入口,而 VPC B内的 使用方则通过公网路径访问 VPC A内的服务 提供方。但公网访问方式容易受到攻击,存在安 全隐患,且网络质量和时延无法得到可靠保障。若服务提供方和服务使用方所在的 VPC...
来自: 最佳实践 | 相关产品:云解析 PrivateZone,私网连接
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
DBS通过IPSec VPN备份自建数据库 场景描述 解决的问题 客户业务系统部署在 IDC或者公有云环境,对 自建数据库的云上/跨云备份需求 数据有云上备份需求。在客户交流过程,基 DBS提供了完善的备份机制和 API 于数据高可用和灾备需求,要求将数据备份至阿 OSS的分层存储机制降低备份集储存成本 里云OSS的存储空间,同时...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
产品列表  E-MapReduce  对象存储OSS  服务器ECS  访问控制RAM  专有网络VPC服务器ECS(产品名称)文档模板(手册名称)/阿里 企业上云实践 数据湖-在线学习场景数据分析 最佳实践 文档版本:20200331 文档版本:20150122(发布日期)2数据湖-在线学习场景数据分析 文档版本信息 文档版本信息 文本信息 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
低成本跨境文件传输
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本:开发人员关注代码逻辑即可; 2.网络成本低:相比CEN高速通道的方式网 络成本降低; 3.同步服务部署成本低:文件发生变化触发函 数计算任务,按量触发,不用准备ECS; 4.弹性高效:一个文件同步触发一个函数工作 流任务,充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
低成本跨境文件传输 最佳实践 业务架构 场景描述 随着企业的发展,很多企业开始走了国际 化的路线。海外业务的发展过程,如何低成 本的跨境传输和同步文件成了一个难题。本 例着重演示利用阿里资源,创建低成本、高 弹性和高效文件传输系统的最佳实践。应用场景 跨境对象存储数据传输需求 对跨境传输成本控制严苛 能...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,函数计算,Serverless 工作流
智能开放搜索 OpenSearch
阿里云智能开放搜索 OpenSearch是阿里自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台,内置全链路搜索功能,提供一站式、场景化的行业大数据解决方案。
灵活的接入方式 SaaS化一站式智能搜索方案,及PaaS化大规模分布式在线搜索服务产品版本 产品选型指导了解更多行业算法版 开箱即用,适合有智能搜索诉求的中小企业及开发者 核心优势:内置多套行业算法模型,提升搜索效果 适用规格:独享型集群,包含丰富的行业算法 典型场景1-电商:商品(含多语言)、店铺搜索 典型场景2-...
来自: 云产品
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
内容 文档名称 基于 MaxCompute的大数据 BI分析最佳实践 文档编号 106 文档版本 V1.6 版本日期 2021-12-13 文档状态 外部发布 制作人 弦望、期会、衾影 审阅人 魁、敬 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-07-12 弦望、期会 魁、敬 创建 V1.1 2019-10-21 筱晖-文档优化 V1.2 2019-10-29 期会 敬...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
FPGA加速图片和视频转码
FPGA加速图片和视频转码
场景描述 场景1:图片转码 移动互联网早已进入读图时代,目前的图片都是 JPEG格式,尺寸太大,导致传输占用更多的网络 带宽,花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2:视频转码 到2022年,82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率,都比H.264有明显的优势,但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小, 节省网络流量,降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC,ECS,FPGA,OSS
它具有以下特征:➢ 高达 1080p/60fps的容量,与单个 FPGA并行 4个会话 ➢ 4X编码通道,支持多线程/多进程编码 ➢ 视频增强功能 ➢ 基于 FPGA即服务(FAAS)平台的,并且可在阿里巴巴公共云上使用 文档版本:20210906 V 使用 FPGA云服务器加速图片和视频转码 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.VI 最佳...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,对象存储 OSS,云速搭CADT
利用低成本链路完成业务数据迁移上云
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
13 文档版本:20191230 利用低成本链路完成业务数据迁移上云 配置云上环境 完成后,控制台实例解绑已加入IP,会看到有1个公网IP可用。步骤6 将此公网IP绑定到ECS实例,单击管理。步骤7 单击绑定。步骤8 选择ECS实例,选择之前创建的ECS,并单击确定。14 文档版本:20191230 利用低成本链路完成业务数据迁移上云 配置云上...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS
轻量消息队列(原 MNS)
轻量消息队列(原 MNS)是一款易集成、高并发、可弹性扩展的轻量消息队列服务。轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力,让开发者低成本快速构建分布式、松耦合系统,高效地传递数据和通知消息。
阿里消息服务 MNS 是一种高效、可靠、安全、便捷、可弹性扩展的分布式消息服务。MNS能够帮助应用开发者在他们应用的分布式组件自由的传递数据、通知消息,构建松耦合系统.消息队列 RocketMQ.\\b消息队列 kafka.微消息队列 MQTT.消息队列 AMQP.【新特性推出】发布AMQP,兼容开源RabbitMQ.【高级特性】顺序消息,FIFO ...
来自: 云产品
基于ECI、RI和EIP降成本方案
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
基于 ECI、RI和 EIP降成本方案最佳实践 业务架构 场景描述 随着企业逐步将自己的业务搬移到使云上,越来越多的企业也开始重视云上的使用成 本。针对客户的使用场景,特别是无状态服务、易于容器化的场景,基于 ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券 RI,可以灵活的抵扣相关资源费用;弹性容器实 例 ECI,在...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
基于ECI+FaaS构建游戏战斗结算
基于ECI+FaaS构建游戏战斗结算<em>服</em>
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
基于 ECI+FaaS构建游戏战斗结算 最佳实践 业务架构 背景描述 在游戏行业的很多游戏类型,尤其是 SLG,为了防止客户端作弊,在每局战斗之 后,在客户端预判玩家胜利的情况下,需要 服务端来进行战斗数据的结算,从而确定玩 家是不是真正的胜利。战斗结算是强 CPU 密集型,结算系统每日需要大量的计算力,尤其是开或者...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
RI和SCU全链路使用实践
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展,更多的企业会使用云计算,且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。 本文提供全链路使用实践,帮助客户快速验证云上服务,更合理 的使用RI/SCU。借助覆盖率指标和智能推荐,有效管理云上资 源成本。 用户价值 使用RI 和SCU,可以灵活抵扣相关资源。随时创建释放, 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务,跨服务高 度灵活,无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘,简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
RI和 SCU 全链路使用实践 业务架构 场景描述 随着云计算的不断发展,更多的企业会使用云计 算,且会有越来越多的企业和用户开始重视云上 使用成本。其中计算和存储是云资源使用的主要服务之一。采用预留实例券(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。本文提供全链路 使用实践,帮助客户快速验证云上服务...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,存储容量单位包,预留实例券
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
创建 BDS集群 BDS 是阿里云针对 HBase自主研发的一套迁移同步服务,主要帮助云上的客户进行 自建 HBase、云 HBase集群的数据导入和导出。步骤1 通过连接登录到云数据库 Hbase版控制台 https://hbase.console.aliyun.com/hbase/cn-shanghai/clusters 步骤2 点击创建 bds集群 完成创建后状态运行:文档版本:20210723 31 自...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
FastGPU极速AI训练/推理
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境,并使用AIACC加速工具进行加速。
FastGPU极速 AI训练/推理 最佳实践 架构图 场景描述 利用 FastGPU工具一键构建阿里云上的 AI 训练/推理环境,并使用 AIACC加速工具进 行加速。目前,FastGPU提供了三个 demo,分别是 GTC-demo,Pytorch 手势识别训练 InsightFace,Mxnet 人脸识别训练 Bert模型,Tensorflow语音识别训练 解决问题 1.快速构建 AI训练推理环境...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,对象存储 OSS,文件存储NAS,文件存储 CPFS,GPU云服务器
搭建高性能ACK集群
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式,导致容器之间的网 络性能,相比服务器之间直接通信方式,会有一 定程度的下降。阿里云托管版的K8S容器服务, 支持自研的Terway网络插件,该插件可以有效 减少因容器而引入的网络性能下降,可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践,指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
独占弹性网卡的 ACK集群,因弹性网卡绑定 Pod所在 Node、网卡直接移入到 Pod网 络空间,完全利用云上底层虚拟化网络,容器和云产品同等地位,性能相对宿主机(此 处指容器宿主机 ECS)无任何损失。支持独占弹性网卡的 Pod功能的 ACK集群网络逻辑架构图:文档版本:20220126 4 搭建高性能 ACK集群最佳实践 CADT基础环境配置 ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,容器服务 ACK,云速搭
商标服务
提供商标注册,智能商标查询,商标转让,商标续展及商标管理等服务,省时省心,全力护航品牌资产。
阿里知识产权服务是阿里旗下为用户提供关于的商标注册申请,免费商标查询,商标转让交易及软件著作权登记、智能LOGO设计、正版图片等服务;同时还为用户提供商标维护/保护服务,为商标注册后续维护,提供全面专业的解决方案。阿里商标注册申请全程在线代办服务,热门商标明码标价,海量高清正版图片素材任意下载,...
来自: 云产品 | 相关产品:商标注册申请,商标查询,商标转让交易,版权登记,阿里云知识产权服务
< 1 2 3 4 ... 16 >
共有16页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用