超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
tcp_tx_rate和tcp_rx_rate是tcp 流量。以上脚本使用perseus框架来进行测试,如果要使用horovod框架,需要将脚本中use_perseus 改成use_horovod就可以了。修改后脚本如下:[root@scc001perseus]#catpre_train_horovod.sh#!bin/bash if[$#-ne2];then echo"Usage:$0workersgpus_per_worker"exit-1 fi 46企业上云实践 基于...
来自: 最佳实践 相关产品:文件存储NAS,超级计算集群
企业办公安全访问一体化
企业办公安全访问一体化
本场景模拟企业办公环境,基于 CSAS 服务构 建企业办公安全一体化方案,将“安全 + 网络” 能力无缝融合,实现了对云下办公终端安全的统 一管理,企业无需在投资复杂且昂贵的传统硬件 安全设备,即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
企业办公安全访问一体化最佳实践 业务架构 场景描述 本场景模拟企业办公环境,基于CSAS服务构建 企业办公安全一体化方案,将“安全+网络”能力 无缝融合,实现了对云下办公终端安全的统一管 理,企业无需在投资复杂且昂贵的传统硬件安全 设备,即可快速构建安全、可靠、低成本的办公 安全防护体系。解决问题 1.企业办公环境...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云安全访问服务
云数据库RDS MySQL版备份恢复
云数据库RDS MySQL版备份恢复
场景描述 用户数据库数据, 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求, 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复, 快速应对误操作误删除等逻辑错误, 降低业务损失。 2. 可以方便实现异地备份, 实现数据级容灾, 满足合规要求。 3. 可以方便将数据进行归档, 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率, 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
云数据库 RDS MySQL版备份恢复 文档编号 215 文档版本 V1.1 版本日期 2021-04-27 文档状态 外部发布 制作人 游士 审阅人 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-04-1 游士 敬 创建 文档版本:20210427(发布日期)I 云数据库 RDS MySQL版备份恢复 产品介绍 产品介绍 VPC:专有网络 VPC(Virtual Private...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,访问控制
云托付
云托付是以阿里云的机房技术、运维、安全标准,结合合作伙伴的机柜资源、优质线路,为阿里云客户提供一站式的混合云托管服务,实现云上、云下业务互联。
查看详情 高速通道 高速通道是一款连接企业数据中心与阿里云的网络服务,可在企业数据中心与云网络之间建立高速、稳定、安全的私通信通道。高速通道的数据传输过程可信可控,能有效提高网络通信的质量及安全性。查看详情 NAT 网关 NAT 网关是一种网络地址转换服务,提供NAT代理(SNAT和DNAT)能力。阿里云 NAT 网关分为...
来自: 云产品
基于ECI、RI和EIP降成本方案
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
详情请参见:https://www.aliyun.com/product/vpc 文档版本:20211214 III 基于 ECI、RI和 EIP降成本方案 前言 弹性公网 IP(EIP):独立的公网 IP资源,可以绑定到阿里云专有网络 VPC类型 的 ECS、NAT网关、私负载均衡 SLB,并可以动态解绑,实现公网 IP和 ECS、NAT 网关、SLB 的解耦,满足灵活管理的要求。...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
详 见:https://www.aliyun.com/product/developerservices/cadt OSS 阿里云对象存储服务(Object Storage Service,简称 OSS)为您提供基于 的数据存取服务。使用 OSS,您可以通过网络随时存储和调用包括文本、图 片、音频和视频等在内的各种非结构化数据文件。ElasticSearch Elasticsearch是一个高度可扩展的开源全文...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
高速通道
阿里云高速通道(Express Connect,简称EC)是一款基于IPVPN便捷高效的网络服务。帮助不同网络环境间实现高速、稳定、安全的私网通信,包括跨地域/跨用户的VPC内网互通、专线接入及混合云等场景,极大提高网络拓扑的灵活性和跨网络通信的质量与安全性。
高速通道(Express Connect)是一款连接企业数据中心与阿里云的网络服务,可在企业数据中心与云网络之间建立高速、稳定、安全的私通信通道。高速通道的数据传输过程可信可控,能有效提高网络通信的质量及安全性.孙慧颖,靖鑫,也树.提供主动容灾故障演练功能.通过冗余线路进行流量切换.谢赟辉,靖鑫,也树.通用icon文字列表...
来自: 云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink,2倍性能提升,拥有FlinkCDC、动态CEP等企业级增值功能,内置丰富上下游连接器,助力企业构建高效、稳定和强大的实时数据应用。
最佳实践:上海鸥新软件 IOT+Flink 实践.随着连接设备数的快速增加,数据量急剧膨胀,物联网系统需要可扩展以适应数据流入,如何快速分析数据,节约用户成本成为难点.利用实时计算 Flink 版丰富的API支持,对IoT的结构化/非结构化数据进行实时解析和分析,反向控制生产链路,节约成本.最佳实践:VIPKID 解决在线教育实时...
来自: 云产品
企业应用(酒店PMS)混合云组网最佳实践
企业应用(酒店PMS)混合云组网最佳实践
酒店上云是分阶段实施,线下和云上的混合云是长期 状态,需要保证线下多地域多分支、云上多地域之间 互相访问,且需要满足不同类型的企业节点的服务要 求,比如总部 IDC 要求带宽大,对安全可靠性要求 高等。
产品介绍 VPC:专有网络(Virtual Private Cloud),是用户基于阿里云创建的自定义私有 ,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和 管理云产品实例,比如 ECS、负载均衡、RDS等。VSW:虚拟交换机(Virtual Switch),阿里云专有网络的基础网络设备,通过创建 交换机为专有网络划分一个...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,智能接入网关,云速搭
弹性裸金属自建ORACLE数据库单机版
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造:由于历史原因,客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大,客户没有技术/时间去做改 造。 2.高性能:客户希望拥有比虚拟机更高的性能 和稳定性,以保障数据库高性能,支撑高并 发的业务系统; 3.高可用:在单机条件下,极端情况下数据库 发生宕机时,客户希望能快速拉起数据库服 务,减少停机时间; 4.数据安全性:极端情况下能找回数据。数据 备份和恢复更方便。
3.高可用:在单机条件下,极端情况下数据库 发生宕机时,客户希望能快速拉起数据库 ,减少停机时间;4.数据安全性:极端情况下能找回数据。数据 备份和恢复更方便。解决问题 1.如何利用云强劲资源,如神龙服务器、ESSD 存储,支撑数据库高效稳健运行;2.如何利用云资源和产品优势兼顾单机数 据库的可用性;3.如何...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
本步骤中需要在客户 IDC的路由器(本实 践方案用 VPC的路由表模拟)添加杭州 DBS服务的网段:100.104.217.0/24 通过 https://vpc.console.aliyun.com/vpc/cn-shanghai/route-tables登录华东 2( )区域 VPC路由表控制台,按如下截图步骤进行操作:文档版本:20210812 17 DBS通过 IPSec VPN备份自建数据库 创建 IPSec ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
创建上海区域专有网络 vpc-shanghai 仿照 1.1中的步骤,在上海区域创建 vpc-shanghai,其中 7 混合云使用飞天AI加速工具 创建专有网络 8 混合云使用飞天AI加速工具 创建专有网络 9 混合云使用飞天AI加速工具 创建云企业实例 2.创建云企业实例 步骤1 登录阿里云控制台。步骤2 通过产品与服务导航,定位到云企业,单击...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
基于ECI+FaaS构建游戏战斗结算
基于ECI+FaaS构建游戏战斗结算<em>服</em>
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
案例中的核心游戏模块如下:网关:负责所有网络数据包的转发,通常是网络负载较集中的点,对于网络吞吐 能力要求较高,通过网关服务器实现玩家请求调度及连接状态监测,并将请求路由 到后面的游戏,运行于 ACK容器集群中 游戏:游戏业务逻辑的主要承载服务,CPU主频要求较高,运行于 ACK容器集 群中,底层实例选型为高...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
混合云数据库统一管理
混合云数据库统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
本最佳实践描述在混合云场景下,如何利用阿里云数据库网关服务对云的 RDS 和 IDC中的本地数据库进行统一管理。本最佳实践的网络规划方案如下:类型 地域 IP网段 连接方式 VPC 北京 10.0.0.0/24 模拟使用阿里云 RDS实例 VPC 杭州 172.16.0.0/24 模拟 IDC机房自建 MySQL VPC 上海 192.168.0.0/16 模拟云自建 PgSQL ...
来自: 最佳实践 | 相关产品:数据传输,数据管理
云速搭部署智能接入网关SAG APP
云速搭部署智能接入网关SAG APP
本篇最佳实践通过CADT在华东2上海和美西弗吉尼亚创建跨地域的VPC,在VPC内部署ECS模拟办公系统应用。通过CADT购买SAG APP版并挂载到云连接网CCN,通过云企业网CEN将云上跨地域的VPC和云连接网CCN打通,实现内网互联互通。登录SAG客户端之后,就可以通过内网IP访问云上资源。
已开通以下服务:ᅳ 专有网络 VPC ᅳ 云服务器 ECS ᅳ 云速搭 CADT ᅳ 智能接入网关 SAG 文档版本:20211023 2 云速搭部署智能接入网关 SAG APP 产品介绍 产品介绍 云速搭 CADT:是一款为上云应用提供自助式云架构管理的产品,显著地降低应 用云管理的难度和时间成本。本产品提供丰富的预制应用架构模板,同时也支 持自助...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,智能接入网关
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
1)project_name:为MC的项目名称,本示例为2.1步骤2创建的“dlf_mc001”access_id&access_key:创建2.1创建的RAM用户对应的AK信息 2)end_point:本例是华东2上海Endpoint:http://service.cn-shanghai.maxcompute.aliyun.com/api MaxCompute在各地域部署的访问端点:请参考...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
云速搭部署和导入公网型负载均衡CLB
云速搭部署和导入公网型负载均衡CLB
本实践讲解如何通过云速搭导入一个已保有的公网型负载均衡 CLB,并部署一个新的公网型 CLB。
新建公网型CLB 步骤1 从左侧网络产品列表找到负载均衡CLB(公网),单击拖入到上海区域中。步骤2 双击 clb图标,开启配置。文档版本:20211104 8 云速搭部署和导入公网型负载均衡 CLB CADT部署公网型CLB 步骤3 按以下配置项完成配置后,关闭配置页面。配置型 内容 购买方式 新购 实例名称 自定义,本例使用“新建公网型 CLB...
来自: 最佳实践 | 相关产品:负载均衡 SLB,云速搭CADT
威胁情报
威胁情报服务是阿里云提供的安全服务,可自动对威胁指标(例如IP地址、域名和文件)进行分级、威胁信息上下文关联和数据分析,支持相关人员读取威胁情报并对其进行处置,帮助您快速评估企业中存在的威胁风险并提供处置建议。
威胁情报服务提供的完整的威胁下文和历史恶意行为进行分析,评估潜在的业务风险.数字取证:事件调查和可溯源性.数字取证:事件调查和可溯源性.通过相关性和历史攻击者分析,威胁情报能够确定其他可能处于风险中的IT资源,并根据历史证据预测攻击的后续行为。这种相关性分析可以更全面地掌握攻击者的攻击手段和相关目标信息....
来自: 云产品
云速搭快速部署CEN-TR最佳实践
云速搭快速部署CEN-TR最佳实践
本实践通过云速搭设计一个 CEN-TR 方案,创建 VPC、VSwitch、CEN、带宽包、企业版 TR和路由表等资源。
详见:https://www.aliyun.com/product/vpc 云企业网(Cloud Enterprise Network,简称 CEN)是阿里云提供的一款能够快速 构建混合云和分布式业务系统的全球网络服务,为用户提供优质、高效、稳定的 传输环境,帮助用户打造一张具有企业级规模和通信能力的云网络。适用于 集团企业、全球网络等场景。详见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云企业网,云速搭CADT
企业多账号环境下的安全资源统一管控最佳实践
企业多账号环境下的安全资源统一管控最佳实践
某地产公司在上海、杭州设有两个分公司,公司使用阿里云支撑各分公司的 IT 业务系统,这些系统由各分公司独立负责,包括独立负责云上业务账号的创建、员工权限的分配管理、资源的购买、IT 风险的管控、安全管理等。由于公司业务发展较快,各分公司创建了非常多的业务账号来承载新的业务,每个业务账号独立管理,带来了非常大的管理问题。人员权限管理混乱,离职员工在云上的身份梳理不清难以及时清理造成极大的安全隐患;账号权限过大、使用弱密码可能造成账号被盗数据泄露;公司内部缺乏统一的合规基线和安全管控,各业务系统各自为政,数据泄露、业务中断、安全入侵风险升级。 为了提升云上的管控效率和安全性,总公司成立新的信息安全中心和阿里云对接。信息安全中心的定位是统一采购安全产品,集中保障云上资源的安全性。
目前,EIP支持绑定到专有网络类型的 ECS实例、专有网络类型的 私 SLB实例、专有网络类型的辅助弹性网卡、NAT网关和高可用虚拟 IP。CFW:阿里云云防火墙(Cloud Firewall)是业界首款公共云环境下的 SaaS化防 火墙,可统一管理南北向和东西向的流量,提供流量监控、精准访问控制、实时入 侵防御等功能,全面保护您的网络...
来自: 最佳实践 | 相关产品:云安全中心,云防火墙,资源管理,云速搭CADT,云SSO
< 1 2 3 4 ... 17 >
共有17页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用