函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
详见 https://cn.aliyun.com/product/fc NAS: 阿里云文件存储（NAS）Network Attached Storage是一种分布式的网络文 件存储，为 ECS、HPC、FC 等提供安全、无限容量、高性能、高可靠、简单易 用的文件存储服务。FC与 NAS无缝集成。这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的文件。...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
在左侧导航栏，单击文件系统>文件系统列表 在文件系统列表页面，单击目标文件系统名称，进入文件系统详情页，单击挂载使用。 在客户端管理节点区域，列表中第一个ECS实例默认为CPFS客户端安装节点，远程连接 该ECS实例。17企业上云实践 基于超级计算集群的自然语言处理AI训练 18企业上云实践 基于超级计算集群的...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
如果系统提示配置文件的格式问题，请使用写字板程序将配置文件 config.ini另存为一 份纯文本文件格式的文件，并使用该新的配置文件启动自动伸缩插件。步骤6 此时可以看到 deadline web services的运行窗口内日志滚动。文档版本：20200220 114 云端影视渲染 自动伸缩脚本部署及验证 步骤7 查看日志文件，确认自动伸缩脚本...
EHPC混合云渲染
介绍在混合云环境下，利用E-HPC及其文件缓存机制，无缝读取线下存储中的项目资产，免去复杂繁琐的文件同步问题；充分利用云上资源弹性、按使用付费的优势，构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
E-HPC混合云渲染最佳实践 场景描述 部署架构图：介绍在混合云环境下，利用 E-HPC及其文件缓存 机制，无缝读取线下存储中的项目资产，免去复 杂繁琐的文件同步问题，充分利用云上资源弹 性、按使用付费的优势，构建高性能、高可靠和 可扩展的渲染服务。解决问题 混合云环境下本地集群与云端集群一体化的渲染 服务。避免繁琐...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过下面命令将 master、slave1、slave2 和 slave3 这 4 个节点上的公钥文件/root/.ssh/id_rsa.pub内容拷贝到 master节点的/root/.ssh/authorized_keys文 件中。cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本：20210425 8 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 ssh ...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
cd perseus-inference/ls cp-r resnet50_*/mnt/cd/mnt rm-rf/mnt/lost+found/ls 45 企业上云实践 基于弹性计算的 AI推理|部署飞天 AI加速推理工具的 demo 注意：这里镜像启动时，会在/mnt目录下找第一个文件夹下的model.config文 件，如果找不到容器无法启动。4.4.使用 arena 部署 model server 4.4.1.安装最新版本的 arena...
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
传输文件在云下A主机所挂载存储数据上，为方便演示，在A主机根目录/qiany目录 下,准备迁移的文件如下（后面介绍生成方式）。1.100m.file#100m的文件3个。2.1000m.file#1000m的文件2个。共2300m（方案验证为了时间成本不演示全部200TB的传输）。登录云下服务器，准备迁移数据 步骤1 SSH登录服务器。sshroot@47.xxx.xxx.114 ...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
基因计算工作流 最佳实践 架构图 场景...阿里云账号下已开通以下阿里云服务：ￚ 容器服务 Kubernetes版 ￚ 文件存储 NAS服务 ￚ 资源编排（ROS）服务 ￚ 访问控制（RAM）服务 ￚ 日志服务（SLS）ￚ 弹性伸缩服务（ESS）ￚ 文件存储 NAS服务 下载本文用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone ...
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属，利用云计算平台提供的弹性基础设 施，降低部分运维成本和学习成本，使用其 擅长的技术工具专注自身业务，实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
步骤3 将 vCenter ISO 文 件 下 载 拷 贝 到 windows 服 务 器。本 示 例 使 用 VMware-VIM-all-6.5.0-8307201.iso。文档版本：20191121 51 VMwareon弹性裸金属 安装和部署VMware 步骤4 双击vCenter安装文件。步骤5 双击autorun。步骤6 根据安装向导，完成VMwarevCenterServer的安装。1.在适用于Windows的vCenterServer页面...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
（2）在线迁移前会检查源地址和目的地址的文件，但是若您源和目的有相同文件名的 文件，且源地址的文件更新时间比目的地址文件更新时间晚，迁移时会直接覆盖目的 地址的文件。若两个文件内容不同，必须更改文件名或做好备份。1.如果系统提示该功能在公测中，请单击去申请提交白名单权限申请。2.填写相关信息，提交迁移公测...
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
解决问题 利用容器服务 ACK搭建跨可用区高可用 产品列表 的应用 容器服务 ACK 容器服务 ACK结合 SLB，RDS，REDIS构 RDS for Mysql版 建高可用应用 云数据库 Redis 版 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 容器跨...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
弹性公网 IP 文件存储 NAS 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 E-HPC低成本实现 量化策略回测 文档版本：20220321 文档版本：20150122（发布日期）II E-HPC低成本实现量化策略回测 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 E-HPC低成本...
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求，统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问，数据统一需求。 3.系统架构及资源成本优化需求，多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
因 在线迁移服务会比对源数据地址和目的数据地址中的文件，若目的数据地址中有 与源数据地址同名的文件，且源数据地址中该文件的更新时间比目的数据地址中 该文件的更新时间晚，则迁移服务会用源文件地址中的文件覆盖目的数据地址中 的文件。全量数据迁移任务多次提交时，如果文件名一致、ContentType 一致、大小相同 且...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
详见 https://cn.aliyun.com/product/ecs/gpu NAS: 阿里云文件存储（NAS）Network Attached Storage是一种分布式的网络文 件存储，为 ECS、HPC、FC 等提供安全、无限容量、高性能、高可靠、简单易 用的文件存储服务。FC与 NAS无缝集成。这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的...
- 产品推荐
- 这些文档可能帮助您