基因计算工作流
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现,支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算,按照规定好的步骤依次完成 计算,这符合工作流的特点:多层次,有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
兼容 POSIX 文件接口,可支持数千台计算节点共享访问,可以挂载到 弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高 文档版本:20191127 III 基因计算工作流最佳实践 前言 性能计算 EHPC,AI训练 PAI等计算业务提供高性能的共享存储,用户无需修 改应用程序,即可无缝迁移业务系统上云。...
来自: 最佳实践 相关产品:块存储,云服务器ECS,文件存储NAS,容器服务 ACK
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
Wordpress 存 储 的 路 径 为/usr/share/nginx/wordpress/wp-content/uploads,因此需要将 NAS挂载至此目录下。先创建该目录:mkdir-p/usr/share/nginx/wordpress/wp-content/uploads 步骤3 挂载 NAS实例。根据 3.2.获取 NAS实例挂载点获取的挂载命令,修改挂载点为 wordpress uploads 目录/usr/share/nginx/...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
EHPC混合云渲染
EHPC混合云渲染
介绍在混合云环境下,利用E-HPC及其文件缓存机制,无缝读取线下存储中的项目资产,免去复杂繁琐的文件同步问题;充分利用云上资源弹性、按使用付费的优势,构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
E-HPC混合云渲染最佳实践 场景描述 部署架构图:介绍在混合云环境下,利用 E-HPC及其文件缓存 机制,无缝读取线下存储中的项目资产,免去复 杂繁琐的文件同步问题,充分利用云资源弹 性、按使用付费的优势,构建高性能、高可靠和 可扩展的渲染服务。解决问题 混合云环境下本地集群与云端集群一体化的渲染 服务。避免繁琐...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网,GPU云服务器,弹性高性能计算E-HPC
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
文档版本:20200220 30 云端影视渲染 基于 ECS部署Deadline Server 步骤5 通过复制本地文件,在远程桌面窗口内粘贴,即可将 Deadline 渲染管理软件上传至 deadline-server。4.3.为 ECS实例挂载 NAS及 NFS client配置优化 为 deadline-server挂载 NAS 步骤1 安装 NFS客户端:打开服务器管理器。文档版本:20200220 31 云端...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
下载好 ossutil工具后,需要在上传机器配置 Access Key,它是一组密钥,用于本地与阿里 云产品的鉴权,由 IT管理员生成 csv文件。实际生产中,用户可将数据直接存放在阿里云 OSS对象存储服务。本案例中,我们已 有部分测试数据存放于本地,考虑通过 ossutil命令将本地数据上传至阿里云 OSS。回测过程中,直接从 OSS拉取...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
KVM on弹性裸金属
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品,为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware,本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时,可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
文档版本:20191213 24 KVMon弹性裸金属 基础环境配置 步骤2 在左侧导航栏,单击文件系统下的文件系统列表,选择地域为华东2(上海),并单击 右角的。步骤3 选择极速型NAS(按量后付费)配置相关参数,并单击立即购买。具体参数描述见下表。配置项 说明 地域 华东2(上海)可用区 上海可用区E 类型 高级型 容量 500GB ...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,弹性裸金属服务器(神龙)
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
文档版本:20220622 51 容器跨可用区高可用最佳实践 部署 wordpress应用 图中图片的文件名称是 flower.jpg.:步骤14 登录容器的终端查看 步骤15 登录后,发现如下:可以看到,图片已经存放在了“wp-content/uploads”目录下,wordpress默认按照图 片上传的“年/月”为目录名称,保存图片,这里是/2022/01目录。文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
利用低成本链路完成业务数据迁移上云
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
传输文件在云下A主机所挂载存储数据,为方便演示,在A主机根目录/qiany目录 下,准备迁移的文件如下(后面介绍生成方式)。1.100m.file#100m的文件3个。2.1000m.file#1000m的文件2个。共2300m(方案验证为了时间成本不演示全部200TB的传输)。登录云下服务器,准备迁移数据 步骤1 SSH登录服务器。sshroot@47.xxx.xxx.114 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过下面命令将 master、slave1、slave2 和 slave3 这 4 个节点的公钥文件/root/.ssh/id_rsa.pub内容拷贝到 master节点的/root/.ssh/authorized_keys 中。cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本:20210425 8 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 ssh ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
数据迁移上云
数据迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
相比于 scp主要有以下优 点:传输前会进行检测,跳过最终修改时间戳和文件大小一致的文件 传输前会对数据进行压缩 支持断点续 操作步骤 步骤1 NAS服务器安装 rsync,安装命令:yum install rsync-y 47 文档版本:20201013 数据迁移上云最佳实践 通过CEN跨区域迁移NAS 步骤2 执行 rsync-avzP-e 'ssh-p 22'/data/*root@172....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
EHPC分子动力学 最佳实践 部署架构图 场景描述 本实践适用于使用弹性高性能计算 EHPC+文件存储 NAS+ECS弹性供应在阿里云低 成本构建分子模拟 MDaaS(Molecular Dynamics as a Service)超算集群。解决问题 1.使用 EHPC运行分子动力学软件 CP2K 2.使用文件存储 NAS存储数据和代码 3.使用 ECS弹性伸缩组构建集群弹性 产品...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
企业用户多账号合并之存储迁移集中
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
因 在线迁移服务会比对源数据地址和目的数据地址中的文件,若目的数据地址中有 与源数据地址同名的文件,且源数据地址中该文件的更新时间比目的数据地址中 该文件的更新时间晚,则迁移服务会用源文件地址中的文件覆盖目的数据地址中 的文件。全量数据迁移任务多次提交时,如果文件名一致、ContentType 一致、大小相同 且...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
 将目标ECS实例加入客户端管理节点后,文件系统会自动挂载在默认路径/cpfs/。以下命 令在要挂载CPFS的ECS实例运行。 可以使用mount-bind命令,通过自定义路径访问CPFS文件系统。至此,两个节点都挂载了cpfs,在/mnt/cpfs。20企业上云实践 基于超级计算集群的自然语言处理AI训练 4.部署AI训练基础环境 说明:...
来自: 最佳实践 | 相关产品:文件存储NAS,超级计算集群
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
30 文档版本信息:20191209 RAPIDS加速机器学习 使 用容器服 务 A CK部署 RAPIDS环境 步骤4 下面备份以上运行文件,然后在原来的文件上参数,使用 CPU进行训练,查看作业 运行时间。31 文档版本信息:20191209 RAPIDS加速机器学习 使 用容器服 务 A CK部署 RAPIDS环境 步骤5 重新从头按步执行一遍,看下时间。32 文档版本...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
这里我们简化 cpfs的配置,不采用 pv/pvc的方式进行部署,直接挂载到 master节点和 worker节点,容器在使用的 时候,直接像使用本地目录一样使用 cpfs目录文件。步骤1 注意:根据实际情况更换下面脚本中的挂载点信息。[root@master001~]#vim install-cpfs.sh#!bin/bash set-e CPFSMountPoint=cpfs-03a2f2ee-mgl5....
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
FastGPU极速AI训练/推理
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境,并使用AIACC加速工具进行加速。
详见 https://cn.aliyun.com/product/ecs/gpu NAS: 阿里云文件存储(NAS)Network Attached Storage是一种分布式的网络 存储,为 ECS、HPC、FC 等提供安全、无限容量、高性能、高可靠、简单易 用的文件存储服务。FC与 NAS无缝集成。这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统的...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,对象存储 OSS,文件存储NAS,文件存储 CPFS,GPU云服务器
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
权限组 VPC默认权限组(全部允许)44 RAPIDS加速图像搜索 使用容器服务 ACK部署 RAPIDS环境 步骤7 单击文件系统 ID,进入文件系统详情页面。45 RAPIDS加速图像搜索 使用容器服务 ACK部署 RAPIDS环境 6.4.登录集群并绑定 NAS实例 步骤1 登录容器服务-Kubernets控制台。步骤2 单击集群 ack-rapids操作列下的管理。步骤3 可...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
Node.js性能平台
Node.js 性能平台(Node.js Performance Platform)是阿里云面向中大型 Node.js 应用提供性能监控、安全提醒、故障排查、性能优化等服务的整体性解决方案。凭借对 Node.js 内核深入的理解,我们提供完善的工具链和服务,协助客户主动、快速发现和定位线上问题。
凭借对 Node.js 内核深入的理解,我们提供完善的工具链和服务,协助客户主动、快速发现和定位线问题.Node.js 性能平台.查看Node.js性能平台所有相关文档.了解如何快速使用Node.js性能平台.更多问题交流讨论FAQ.来自阿里内部或客户的最佳实践.通过以应用为视角,以提供更贴合开发者和运维的使用习惯.应用视角,DevOps 优先...
来自: 云产品
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用