一键训练大模型及部署GPU共享推理服务
通过创建ACK集群Pro版，使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群，白屏配置任务数据共享存储和下载，并通过命令行工具Arena快速提交模型训练任务、部署推理服务。使用云原生AI套件可以让模型训练和推理提效，提高GPU资源利用率。
架构与部署 一键训练大模型及部署GPU共享推理服务 通过创建ACK集群Pro版，您可以为集群挂载NAS实例作为集群的共享存储卷，用于存放模型训练数据。集群中部署云原生AI套件后，您可以基于其能力提交Bloom模型训练任务进行模型训练，并通过GPU显存共享调度的能力，将多个推理服务部署在同一块GPU卡上以提高GPU的利用率。立即...
来自：
技术解决方案
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
iot_video_process_original_videos/：存放原始视频（比如高清视频），也就是在6.2 文档版本：20240502 64基于函数计算FC实现物联网音视频处理最佳实践 场景验证 章节通过接口发送的视频文件。可以看到原始视频的大小是38.596MB。 iot_video_process_split_videos/：存放切分后的视频。该路径下还有一层原始视频 名称...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
创建函数前必须先创建服务，服务就像函数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置等。文档版本：20240408 8 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 服务名称：根据实际业务自行填写。服务角色：默认选择 AliyunFcDefaultRole，如果下拉框没有，可以点击创建默认 ...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
文档版本：20240330 44基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 oss_bucket_for_metadata：根据实际需求填写OSSBucket名称，为了存放Topic，Group信息文件。 source_kafka_instance_id：业务系统Kafka实例的实例ID。 target_kafka_endpoint：ECS上自建Kafka的连接地址，输入:9092（ECS...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
NVMe共 享盘支持多ECS实例并发读写访问，具备高可靠、高并发、高性能等特点。为 ECS实例提供了多实例挂载和IO拦截功能。 VPC：VirtualPrivateCloud，简称VPC。基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如ECS、负载均衡、RDS等。在创建前，...
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
创建数据库共享文件夹 创建一个新的共享文件夹存放文件存储云网关数据库，不配置共享权限。此共享文件夹严禁删除和修改。在设置首页面，点击权限，41 企业上云实践 机场视频监控最佳实践 进入权限首页面， 点击共享文件夹 点击添加 2 1 弹出如下窗口，在通用标签页下， 在“文件夹名称”框里，填写要共享的文件夹...
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
ￚ 在可用区 H创建容量型 NAS用于存放网站共享文件，暂时不考虑 NAS的高 可用。Wordpress整体架构 Wordpress应用是无状态的，前端都放在容器里，数据都放在后端的 RDS数据库里，Redis插件用来加速。文档版本：20220622 4 容器跨可用区高可用最佳实践 搭建基础环境 2.搭建基础环境 本章介绍如何开通产品及服务，并利用云速搭...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
1fkn_rgd.pdbqt 是受体的文件，配体文 件在 test 目录下，有 30 个：这里会计算1fkn与每一个配体的亲和度，这个例子只用来demo，并不具有实际意义。vina-ehpcarrayjob.tar.gz 这个文件可以从本方案提供的代码里获取。[root@login0~]#tar xzvf vina-ehpcarrayjob.tar.gz[root@login0~]#cd vina-ehpcarrayjob[root@login0 ...
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
文档版本：20220207 24 ACK容器平台集群安全控制最佳实践 Kubernetes集群API Server认证与授权 vim保存为 config-ops文件存放于集群 Master节点的$HOME/.kube目录下 按照同样的方式创建名为 config-user-defined的文件，过程不再赘述 2.在 ACK控制台上对 RAM子用户进行授权 首先使用主帐号进行登录，然后选择容器服务 ...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
发布日期：20220320 I 企业上云实践 基于弹性计算的 AI推理最佳实践|演示环境说明 方案架构 用户通过域名访问推理服务，如 demo中通过 notebook提供网页式的运行环境，推理服务器部署在容 器中模型和文件都存放在共享存储 NAS上。发布日期：20220320 II 企业上云实践 基于弹性计算的 AI推理最佳实践|演示环境说明 最佳实践...
Exchange Server云上部署最佳实践
阿里云提供基础设施服务，能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署，可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
证书安装及设置 步骤1 在证书申请前，先在 EX1的 D盘上创建一个共享文件夹，用于存放证书请求文件。文档版本：20220119 85 Exchange Server云上部署最佳实践 配置 Exchange Server 文档版本：20220119 86 Exchange Server云上部署最佳实践 配置 Exchange Server 步骤2 打开 ECA并转到服务器>证书>+。文档版本：20220119 87 ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
详情请查看 https://www.aliyun.com/product/emapreduce HDFS Hadoop 分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文 件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式 文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉 价的机器上。HDFS能提供高吞吐量的...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
作为该云主机的唯一租户，您不需要与其他租户共 享云主机所有物理资源。您还可以获得这台物理服务器的物理属性信息，包括CPU 数量（Socket数）、物理CPU核数、内存大小，并根据宿主机规格创建指定规格 族的ECS实例。详见https://help.aliyun.com/document_detail/68563.html 服务器迁移中心SMC：服务器迁移中心SMC...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
（2）在线迁移前会检查源地址和目的地址的文件，但是若您源和目的有相同文件名的 文件，且源地址的文件更新时间比目的地址文件更新时间晚，迁移时会直接覆盖目的 地址的文件。若两个文件内容不同，必须更改文件名或做好备份。1.如果系统提示该功能在公测中，请单击去申请提交白名单权限申请。2.填写相关信息，提交迁移公测...
EHPC混合云渲染
介绍在混合云环境下，利用E-HPC及其文件缓存机制，无缝读取线下存储中的项目资产，免去复杂繁琐的文件同步问题；充分利用云上资源弹性、按使用付费的优势，构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
netdev,minorversion=0,noresvport 0 0">>/etc/fstab#用作混合云缓存的云 NAS挂载命令写入 fstab,V4方式挂载 echo"${IDC_NAS_ADDRESS}${IDC_MOUNTPOINT}_tmp${IDC_NAS_MOUNTPARA}">>/etc/fstab#存 放用户渲染素材的 IDC NAS挂载命令写入 fstab mount-a mkdir-p${EHPC_CACHE_MOUNTPOINT}/ehpc-cache echo"create ehpcfs ...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
弹性公网 IP 文件存储 NAS 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 E-HPC低成本实现 量化策略回测 文档版本：20220321 文档版本：20150122（发布日期）II E-HPC低成本实现量化策略回测 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 E-HPC低成本...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
本地开发环境使用 IntelliJ IDEA，创建 Maven工程，创建的 Maven工程结构如下图 所示，并将修改后的 core-site.xml文件放入应用项目的 resources目录，这里以编写 一个常见的 WordCount函数作为用户分析作业示例并打包为 jar文件。文档版本：20200409 14 Spark on ECI大数据分析 应用开发 步骤2 添加 SPARK_HOME环境变量。1...
- 产品推荐
- 这些文档可能帮助您