超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东2(上海)可用区G 实例  架构:超级计算集群  分类:GPU型  实例规格:企业级GPU计算型sccgn6 ecs.sccgn6.24xlarge(96vCPU,384GiB) 购买实例数量:2台 5企业上云实践 基于超级计算集群的自然语言处理AI训练  最小购买数量:2台 镜像 公共镜像 CentOS 7.564...
来自: 最佳实践 相关产品:文件存储NAS,超级计算集群
PolarDB 应对大并发复杂查询实践
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL,遇到大并发复杂查询时,需要排队长时间等待,容易形成慢查询,影响业务。PolarDB并发查询能力可以很好解决此问题。
实例所使用的镜像为 CentOS 7.0 64位 PolarDB 规格 polar.mysql.x8.4xlarge 版本 8.0 2.2.测试工具 TPC-H是业界常用的一套基准,由 TPC委员会制定发布,用于评测数据库的分析型 查询能力。TPC-H查询包含 8张数据表、22条复杂的 SQL查询,大多数查询包含若 干表 Join、子查询和 Group by聚合等。TPC-H安装见附录 测试环境...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库PolarDB,云速搭CADT
基因计算工作流
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现,支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算,按照规定好的步骤依次完成 计算,这符合工作流的特点:多层次,有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
容器服务 ACK已打通阿里云生态 20+产品,提供了极致弹性,海量镜像分发。共享存储 NAS/CPFS提供不同性能的共享存储,满足不同性能需求。增强型工作流完全兼容 argo命令,并支持基于最近失败断点 retry整个 workflow。文档版本:20191127 1 基因计算工作流最佳实践 前置条件 前置条件 在进行本实践前,您需要完成以下准备...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,文件存储NAS,容器服务 ACK
VMware迁移DDH
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机(DDH)的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统,满足安全、合规、 自定义部署、自带许可证(BYOL)等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系,支持ECS自定义部 署,可在DDH环境和多租户环境间迁移。 l支持自带许可证(BYOL)。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
操作系统 Linux 系统盘大小(GiB)20 系统架构 x86_64 系统平台 CentOS 镜像格式 VHD 文档版本:20200218 36 企业上云实践 VMware 迁移 DDH|自定义镜像导入 导入镜像 确定 在 对话框中,阅读相关内容,并单击。镜像导入需要一定时间,进度为 100%后即导入完成。文档版本:20200218 37 企业上云实践 VMware 迁移 DDH|自定义...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,专有宿主机
云上IT治理workshop
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施,集团 旗下有多个分公司(如制造分公司和销售分公 司),各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴,拟达到以下 业务目标: 1. 各个分公司拥有独立的账号,可以购买云资 源,由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建,分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
更新以下配置项:实例规格:ecs.c6.large 镜像版本:Alibaba Cloud Linux 3.2104 64位 系统盘类型:cloud_essd 性能级别:PL0 资源组选择:测试资源组 文档版本:20210909(发布日期)73 云上 IT治理 Workshop 权限验证 重复上述步骤,更新开发 ECS配置,资源组选择开发资源组。步骤5 单击右上角保存按钮,自定义命名应用...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,访问控制,操作审计,资源管理,配置审计
云速搭-ECS结合网络相关优化方案
云速搭-ECS结合网络相关优化方案
本实践设计了不同的ECS结合网络部署方案,并使用云速搭CADT做预算,可以快速对比出不同方案根据当前账户的折扣的价格差,根据需要部署系统的需求和享有的折扣,可以灵活配置ECS和网络产品,节约成本。
这里需要按照顺序从上往下进行输入和选择,其中支付方式决定了可选择的机型实 例,按量付费和包年包月的机型各个可用区分布不同,这里同上选择了 ecs.g5ne.large机型,操作系统使用 Alibaba Cloud Linux 3.2104 64位镜像,系统 盘选择 40G 高效云盘 2.为这台 ecs勾选分配公网 IPv4地址,带宽计费方式选择按固定带宽,带宽...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭CADT
私网CLB监听端口自转发
私网CLB监听端口自转发
通过云速搭实现一个 EIP-CLB->ECS 的简单架构,实现其中 CLB 前端在监听到http 80 端口的请求时,基于一个配置的自转发规则会把请求转发到自己监听的 https 443端口,以确保请求拥有可信的证书,然后转发给后端的 80 或其他端口,后端应用则无需校验证书就能确定收到的请求是可信的。
这里需要按照顺序从上往下进行输入和选择,其中支付方式决定了可选择的机型实例,按量付费和包年包月的机型各个可用区分布不同,这里示例选择了 ecs.s6-c1m2.large 机型,操作系统使用 Alibaba Cloud Linux 3.2104 64位镜像,系统盘选择 40G 高效 云盘 文档版本:20211112 9 私网CLB监听端口自转发 通过云速搭部署资源 步骤...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云速搭CADT
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
2.前往实例与镜像>镜像页面,单击页面右上角的导入镜像。3.在导入镜像对话框中,完成导入镜像配置,并单击确定。配置描述如下。配置项 说明 OSSObject地址 输入步骤7-[6]中复制的镜像文件的URL 镜像名称 esxi-xdragon-date 操作系统 Linux 系统盘大小(GiB)40 系统架构 X86_64 系统平台 CentOS 镜像格式 QCOW2 文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
go1.10.8 25.Git commit:481bc77 26.Built:Sat May 4 02:02:43 2019 27.OS/Arch:linux/amd64 28.Experimental:false 29.30.31.#打造wordpress v1镜像 32.33.34.#mkdir-p/makeWordpress 35.#cd/makeWordpress 36.#wget https://raw.githubusercontent.com/docker- library/wordpress//php7.3/apache/Dockerfile 文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
基于ECI、RI和EIP降成本方案
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
在这种分层结构下,可以做到资源共享,例如多个镜像从相同的 父镜像构建而来,那么宿主机只需在磁盘上保存一份父镜像,同时内存中也只需加载 一份父镜像就可以为所有容器服务了,并且镜像的每一层都可以被共享。通常制作 docker镜像有两种方式:dockerfile和 docker commit。docker commit是提 交一个容器的副本使之成为新...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
阿里云最佳实践容器workshop
阿里云最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
文档版本:20220301(发布日期)31 阿里云ACK容器服务workshop 阿里云 ACK实践 选择镜像 Tag:文档版本:20220301(发布日期)32 阿里云ACK容器服务workshop 阿里云 ACK实践 文档版本:20220301(发布日期)33 阿里云ACK容器服务workshop 阿里云 ACK实践 1)镜像 Tag:不设置默认就是 latest,此处选择 v1.0 2)镜像拉取...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
文档版本:20220321 18 E-HPC低成本实现量化策略回测 操作步骤 步骤3 进入 ECS 控 制 台镜像 页 面,确 认 创 建 完 成。(https://ecs.console.aliyun.com/image/region/cn-zhangjiakou/imageList)说明:创建镜像耗时受镜像大小影响,本例的自定义镜像耗时约 10分钟左右,请耐心 等待。文档版本:20220321 19 E-HPC...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
服务器迁移中心SMC
服务器迁移中心(Server Migration Center,简称SMC)是阿里云自主研发的迁移平台。使用SMC迁云工具和迁移服务,可将您的单台或多台迁移源迁移至阿里云。迁移源(或源服务器)概指您的待迁移IDC服务器、虚拟机、其他云平台的云主机或其他类型的服务器。
支持多种服务器平台.Windows、Linux主流操作系统平台.支持多种操作系统.支持种迁移源类型.适用于新建ECS实例或更换系统盘.迁移到ECS镜像.适合已购买ECS实例的场景.迁移到ECS实例.适用于新建无影桌面实例场景.迁移到无影桌面镜像.支持多种迁移目标类型.云服务器ECS.推荐搭配使用.迁移上阿里云.跨可用区迁移、操作系统迁移....
来自: 云产品
基于k8s多集群隔离环境下的devops实现
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
创建容器镜像服务 本方案使用阿里云容器镜像服务(ACR)来保存通过 jenkins构建的容器镜像,相对于 传统容器仓库 harbor、docker registry,ACR在易用性、安全性上更具优势。1.1.创建命名空间 步骤1 登录阿里云容器镜像服务控制台(https://cr.console.aliyun.com)。步骤2 在左侧导航栏选择命名空间,并单击右上角的创建...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
金融行业从经典网络向VPC容器化改造
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤,可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
5在镜像仓库中点击仓库名称就进 看到详情页面 这里显示了之后会用到的登陆方式与推镜像上镜仓库的方式 文档版本:20200703(发布日期)11 金融行业从经典网络向VPC容器化改造最佳实践 操作步骤 1.4.将应用打包上传到镜像服务 1配置应用 这里以WordPress为例 重新回到dev_claissic的ssh连接窗口,如果失去连接可以重新登陆...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,容器服务 ACK,日志服务(SLS),容器镜像服务 ACR
自建K8S集群迁移ACK弹性裸金属集群
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后,企业在享受K8S带来应 用管理的便利的同时,存在硬件性能不足,本 地扩展性差,容器容灾难,K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性:如何通过弹性裸金属服务 器的强劲硬件性能,实现云端资源急速扩 展,从容应对应用访问压力大的问题。 2.如何简化云端K8S运维:通过阿里云容器服 务(ACK)实现敏捷开发和部署落地,加速 企业业务迭代。 3.如何综合考虑迁移和容灾:如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云:如何实现应用上云数据 库连接零修改。 5.数据库上云及回退:如何实现上云回退; 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
创建自定义镜像 步骤1 继续在 app001执行 image.sh脚本,在 master节点下载 Magento docker 官方母 。注意:等待镜像下载完毕,文件 600M+,预计下载时间 20分钟左右,若长时间下载 数据无变化请终止镜像拉取任务重新拉取镜像。2.2.4.配置应用程序 步骤1 在 CADT架构图中双击 APP001,点击前往控制台,记录主实例绑定 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,NAT网关,弹性裸金属服务器(神龙),云速搭
混合云自有K8S弹性使用ECI
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
文档版本:20210520 15 混合云 IDC自有 K8S弹性使用 ECI 部署 K8S集群 1.Kubernetes几乎所有的安装组件和 Docker镜像都放在 goolge自己的网站上,直 接访问可能会有网络问题,这里的解决办法是从阿里云镜像仓库下载镜像,拉取到 本地以后改回默认的镜像 tag。下载脚本内容如下:#!bin/bash url=registry....
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
步骤11 单击镜像仓库名称,在基本信息页可查看到将镜像推送到 Registry的命令,请根据实 际镜像信息替换示例中的【ImageId】和【镜像版本号】等参数。文档版本:20201127 33 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 步骤12 网关服镜像,成功推送到镜像仓库后。3.4.游戏服 步骤1 下载网关服代码,地址:...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
Dubbo应用上云
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云, 应 用采用 docker 方式部署, 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理,简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务,提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版(ACK) 微服务引擎(MSE) 关系数据库服务(RDS) 应用高可用服务(AHAS) 应用实时监控服务(ARMS)
latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine yum install-y yum-utils device-mapper-persistent-data lvm2 yum-config-manager-add-repo https://download.docker.com/linux/centos/docker-ce.repo yum -y install docker-ce docker-ce-cli containerd.io systemctl start docker...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,容器服务 ACK,应用实时监控服务 ARMS ,应用高可用服务 AHAS,微服务引擎,云速搭
弹性计算
阿里云弹性计算提供弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。经十年深厚技术积淀,阿里云弹性计算技术先进、性能优异、 稳如磐石,致力于提供永不停机的计算服务。
让用户可以看到服务商侧为自己构建的独享环境,而且所有的运维操作都可以被完整的看到,被审计,就透过玻璃房看到生产的全过程。不仅兼顾了SaaS的灵活性,也保证了数据的安全性,两全其美,让制药企业不再有后顾之忧,利用优秀的云原生软件加速新药研发速度。深势科技也是基于此方案完成了对泓博医药的服务.深势科技生物...
来自: 云产品
< 1 2 3 4 5 >
共有5页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用