云速搭部署弹性加速计算实例EAIS
云速搭部署弹性加速<em>计算</em>实例EAIS
弹性加速计算实例EAIS(Elastic Accelerated Computing Instances)是一款阿里云提供的性能卓越、成本优化、弹性扩展的IaaS(Infrastructure as a Service)级别弹性计算服务。EAIS可以将CPU资源与GPU资源成功解耦,帮助您将GPU资源附加到ECS实例上,构建成您希望得到的GPU实例规格,用于推理场景下的弹性使用,从而提高资源利用率,降低成本。 本文将从架构的角度,对EAIS与ECS结合使用的场景进行整体部署演示。
详见 https://www.aliyun.com/product/ecs 弹性加速计算实例(EAIS):弹性加速计算实例 EAIS(Elastic Accelerated Computing Instances)是一款阿里云提供的性能卓越、成本优化、弹性扩展的 IaaS(Infrastructure as a Service)级 别 弹 性 服 务。详见:https://help.aliyun.com/document_detail/185066.html ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云速搭CADT,弹性加速计算实例
基于DataWorks的大数据一站式开发及数据治理
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发,包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS,使用Hive进行数据分析。通过Dataworks进行数据治理,数据地图查看数据信息和血缘关系,数据质量监控异常和报警。 适用场景  日志采集、处理及分析  日志使用Flink实时写入HDFS  日志数据实时ETL  日志HIVE分析  基于dataworks一站式开发  数据治理 方案优势  大数据一站式开发,完善的数据治理能力。  性能优越:高吞吐,高扩展性。  安全稳定:Exactly-Once,故障自动恢复,资源隔离。  简单易用:SQL语言,在线开发,全面支持UDX。  功能强大:支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ,以及各种流式及静态数据源关联查询。
自定义 HDFS Sink.47 文档版本:20201020 IV 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 最佳实践概述 概述 本实践基于 Dataworks做大数据一站式开发,包含数据实时采集到 kafka通过实时 对数据进行 ETL写入 HDFS,使用 Hive进行数据分析。通过 Dataworks进行数据 治理,数据地图查看数据信息和血缘关系...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,E-MapReduce,DataWorks,实时计算,云速搭
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本:20211213 99 基于 MaxCompute的大数据 BI分析 数据分析及QuickBI展示 步骤8 添加计算字段(度量)pv,表达式 count([item_id])文档版本:20211213 100 基于 MaxCompute的大数据 BI分析 数据分析及QuickBI展示 步骤9 添加计算字段(维度)age_range。age_range表达式详情请在 democode中查看。文档版本:20211213 ...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
战斗结算是强 CPU 密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量 玩家,导致需要的计算量瞬间几倍增长,同 时需要结算系统保持稳定的延时来保证玩 家的用户体验。产品列表 阿里云最佳实践分享群 最佳实践频道 容器 Kubernetes ACK 容器实例 ECI 容器镜像仓库 ACR 函数计算 FC 访问控制 RAM ...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
可视化•如果可视化部分计算量不大,可以采用 EHPC自带的可视化服务 方案优势 1.E-HPC是阿里云基于自有的基础设施服务构建的云超平台,提供从硬件架设、软件部署到作业执 行、运行监控以及结果分析的一站式高性能计算服务.最佳实践实例 本文介绍如何使用 EHPC来搭建实现虚拟药物筛选的解决方案。虚拟药物筛选中的关键一环...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按收费力,带来了较高的成本,并且抢占式实例和按付费实例都不保证资源...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
Function Compute搭建前端CICD系统
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构,随着访问量在增 长,性能会成为瓶颈。在这种情况下,用户可以 通过利用OSS和CDN对网站进行架构优化, 做到网站文件的动静分离,提升用户访问体验, 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更,上传分支文件至OSS,通 过CDN进行前端资源加速。 方案优势 1.面向serverless:无需购买服务器 2.免运维:无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式:事件驱动方式触发响应 5.费用极低:按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
Function Compute计算搭建前端 CICD系统最佳实践 业务架构图 场景描述 传统动静不分离的产品架构,随着访问在增 长,性能会成为瓶颈。在这种情况下,用户可 以通过利用 OSS和 CDN对网站进行架构优 化,做到网站文件的动静分离,提升用户访问 体验,实现成本可控。本方案使用 Function Compute监听前端代码 库提交的分支...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,日志服务(SLS),函数计算,CDN
低成本跨境文件传输
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本:开发人员关注代码逻辑即可; 2.网络成本低:相比CEN高速通道的方式网 络成本降低; 3.同步服务部署成本低:文件发生变化触发函 数计算任务,按量触发,不用准备ECS; 4.弹性高效:一个文件同步触发一个函数工作 流任务,充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
文档版本:20211025(发布日期)1 低成本跨境文件传输最佳实践 最佳实践概述 方案优势 运维低成本:开发人员关注代码逻辑即可 网络成本低:相比 CEN高速通道的方式网络成本降低 同步服务部署成本低:文件发生变化触发函数计算任务,按触发,不用准备 ECS。弹性高效:一个文件同步触发一个函数计算工作流任务,充分利用...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,函数计算,Serverless 工作流
Serverless图片分类和身份证过滤
Serverless图片分类和身份证过滤
场景描述 场景一:大型图库智能管理通过深度学习算法,自动识别图像中的常见的场景,客户可以基于函数计算对接智能媒体管理的图像识别功能,轻松实现图片的自动管理和分组,完成大型图像库的智能管理。 场景二:身份证图片过滤 通过扫描存储在OSSbucket中的图片,通 过智能媒体管理进行身份证识别,找到海量图片中的身份证图片,对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
附录:VS Code函数计算插件开发 Aliyun Serverless VSCode Extension 是阿里云 Serverless 产品 函数计算 Function Compute 的 VSCode 插件,该插件是结合了函数计算 Fun 工具以及函数计算 SDK,为用户提供 VSCode 图形化开发调试函数计算以及操作函数计算资源的工具。本例节介绍使用 VSCode部署获取 token的函数如下(以 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,智能媒体管理
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
地域规划:本例选择华北 2(北京)E-HPC按照一般集群,登录节点一个,控制节点两个,计算节点两个,实际使用 中可以依据作业计算量弹性增加计算节点数量。文档版本:20211116 2 EHPC分子动力学最佳实践 搭建基础环境 1.搭建基础环境 本章介绍如何开通产品及服务,并利用云速搭 cadt快速部署整个 demo系统。注意:由于安装...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
虚拟交换机(VSWITCH):使用 H可用区 192.168.0.0/24部署 ehpc集群 本例计算量不大,ehpc 按照一般集群,登录节点一个,控制节点两个,计算节点两个,实际使用中可以依据作业计算量弹性增加计算节点数量。3 EHPC工业仿真 创建 EHPC集群 1.搭建基础环境 本章介绍如何开通产品及服务,并利用云速搭 cadt快速部署整个 demo系统...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
文档编号 219 文档版本 V1.0 版本日期 2021-08-06 文档状态 外部发布 制作人 游士 审阅人 衾影 游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-07-12 敬海 缘 衾影 游圣 创建 V1.1 2021-08-06 游士 更新细节 文档版本:20210806(发布日期)I Function Compute构建高弹性大数据采集系统 产品介绍 产品介绍 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
8 文档版本:20240425利用交互式分析工具进行数据查询 产品简介 1.4.DataWorks DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS(Platform-as-a-Service)平台产品,提供数据集成、数据开发、数据地图、数据 和数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价 值的挖掘和探索。...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
E-HPC低成本实现量化策略回测 最佳实践 业务架构图 场景描述 在量化交易场景下,量化策略的构建流程一般包 括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的力,进行大量数 据的分析和处理,如何快速、高效和低成本的进 行批量任务的调度,并快速获取结果是量化领域 遇到的普遍挑战,这也是...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
付费基础版/1个月 其他参考默认配置 s MaxCom 需要新建工作空间 基于模版新建 按付费 pute 分别为:dlf_mc_01、dlf_mc_02 机器学习 按付费 使用MC的SQL完成机器学习 基于模版新建 PAI 工作空间:dlf_ins 日志存在在SLS基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 1.1.配置数据湖构建服务 步骤1登录DLF控制台...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
MaxCompute湖仓一体方案
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案,将 MaxCompute与自建的Hive集群做数据打 通,通过存储共享,元数据镜像等方式,解 决传统模式下的存储冗余,计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性,解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性:现有业务无需改造。 2.性能优化:MaxCompute在SQL上做 了大量优化与能力沉淀,可提高SQL 运行性能,降低计算成本。 3.灵活管理:元数据实时同步,无需额外 管理数据同步任务。 4.资源弹性:利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute(原ODPS) 云企业网CEN
MaxCompute湖仓一体方案 最佳实践 业务架构 场景描述 数据湖 EMR与云数仓的融合解决方案,将 MaxCompute与 Hive集群做数据打通,通 过存储共享,元数据镜像等方式,解决传统 模式下的存储冗余,计算资源弹性能力弱的 痛点。可大幅度增强系统的资源弹性,解决 业务高峰期计算资源不足的问题。湖仓一体 兼具数据湖的灵活性与...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云企业网,E-MapReduce,大数据计算服务 MaxCompute,运维编排,云速搭
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
函数计算会为客户准备好 资源,并以弹性、可靠的方式运行您的代码。详见:https://www.aliyun.com/product/fc 日志服务(SLS):一站式提供数据收集、清洗、分析、可视化和告警功能。全面 提升海量日志处理能力,实时挖掘数据价值,智能助力研发/运维/运营/安全等场景。详见:https://www.aliyun.com/product/sls 对象...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
2.使用批量计算服务管理渲染计算集群,集群 计算节点自动加入 Deadline资源池。3.使用 Deadline做渲染任务管理。4.批量计算集群计算节点根据 Deadline渲染 任务自动扩容和收缩,资源管理自动化。产品列表 云服务器 ECS GPU云服务器 GPU 批量计算 BCS 专有网络 VPC 弹性公网 IP EIP VPN网关 VPN 文件存储 NAS 阿里云最佳实践...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
大数据workshop
大数据workshop
大数据workshop
阿里云技术框架 阿里云产品 简介 类比 ECS 弹性计算服务器 Linux服务器 RDS 关系型数据库 自有 MySQL服务器 DataHub 数据总线 Kafka+各种服务接口 实时计算 Flink版 实时计算 Spark、Flink MaxCompute-Hologres 交互式查询分析产品 PostgreSQL 文档版本:20210628(发布日期)3 阿里云最佳实践大数据 WorkShop 最佳实践方案...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用