基于弹性供应组构建大数据分析集群
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
设置全局的抢占式实例上限价格 供应组过期时是否关停供应组内实例 文档版本:20200619 37 基于弹性供应组构建大数据集群分析 Spark集群搭建 超过容量时是否关停供应组内实例 步骤7 确认创建后,弹性供应组会通过动态规划算法,根据您设定的购买量和策略,自动选 择最合适的资源,并持续维持目标力。等待几分钟后,可以...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
EHPC药物筛选 最佳实践 部署架构图 场景描述 本方案适用于使用弹性高性能计算 EHPC和文件 存储 NAS来搭建基础环境,运行药物筛选应用 Autodock Vina的场景中,这里采用批处理方式 来提交作业,并可以可视化计算结果。解决问题 1.使用 EHPC运行药物筛选应用 2.使用 nas存储计算数据 3.使用 OSS保存计算结果 产品列表 弹性高...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
FastGPU极速AI训练/推理
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境,并使用AIACC加速工具进行加速。
FastGPU作为衔接⽤户线下⼈⼯智能算法和线上海量阿⾥云 GPU计算资源的关键⼀环,⽅ 便⽤户将⼈⼯智能算法计算⼀键构建在阿⾥云的 IAAS资源上,⽆需关⼼IAAS层相关的计 、存储、⽹络等繁琐的部署操作,做到简单适配、⼀键部署,随处运⾏的效果。为⽤户提 供了省时、经济、便捷的基于阿⾥云 IAAS资源的⼈⼯智能即刻构建⽅案...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,对象存储 OSS,文件存储NAS,文件存储 CPFS,GPU云服务器
FPGA加速图片和视频转码
FPGA加速图片和视频转码
场景描述 场景1:图片转码 移动互联网早已进入读图时代,目前的图片都是 JPEG格式,尺寸太大,导致传输占用更多的网络 带宽,花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2:视频转码 到2022年,82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率,都比H.264有明显的优势,但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小, 节省网络流量,降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC,ECS,FPGA,OSS
外部发布 制作人 游士 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/08/27 云魁 敬海、行夜 创建 V1.1 2019/09/04 筱晖-文档优化 V1.2 2020/12/01 云魁 敬海 视频转码算法替换为阿 里云达摩院 XGH265 V1.3 2021/9/6 游士 使用 CADT创建资源,文档优化 文档版本:20210906 I 使用 FPGA云服务器加速...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,对象存储 OSS,云速搭CADT
非现场执法解决方案
柔性执法解决方案基于接入的摄像头视频数据,智能识别城市违章行为,以“温馨提示”替代“罚单”。同时,打通政府各部门沉淀的政务数据,结合阿里生态数据,实现先通知后处罚,并形成后向约束依据。
需求沟通明确,阿里云架构师与您沟通以定制解决方案.为您的解决方案配置专属服务团队进一步洽谈合作.违章主动发现.24H在线巡检.唤醒沉睡数据.AI智能识别城市违章事件,无需人工现场巡检,人力成本降低43%,违章发掘能力提升75%.智能发掘违章.架构灵活可变.算法在线升级.设备充分利旧.数据跨界联动.打破摄像头原有视频监控...
来自: 解决方案
基于日志服务构建业务可观测性系统
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具,以及对应的监控系统有非常多的选择,比如ZABBIX,Prometheus,Skywalking等。但是这些系统都存在同样的一个问题,只覆盖了可观察性的一部分,举个简单的类比,大家在日常开车的过程中,会用到很多的辅助设备,仪表盘,行车记录仪,导航,倒车影像等等,这些设备都各自承载了一部分的功能,但是都存在着如下的问题: l 数据覆盖不完整 l 存在数据孤岛(无法关联协同) l 使用门槛高,不够人性化 核心价值 l 全覆盖,统一协议,支持各类平台。 l 数据关联,统一Schema,关联Metrics/Logs。 l 云原生,SaaS服务,拥抱云原生。 l 简单易用,自动化埋点,数十项易用功能。 智能化,异常诊断,根因分析。
能够提供异常诊断和根因分 文档版本:20210616 5 基于日志服务构建业务可观察性系统 架构设计 析等智能算法能力的核心优势。全覆盖,统一协议,支持各类平台。数据关联,统一 Schema,关联 Metrics/Logs。云原生,SaaS服务,拥抱云原生。简单易用,自动化埋点,数十项易用功能。智能化,异常诊断,根因分析。文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
数字社区平台首页
创新社区管理、服务和决策的智能化管理模式, 辅助政府完善社区治理,构建IoT时代智慧、平安和幸福的社区。
基于阿里在社区领域的标准服务模型、大数据及人工智能算法,实现社区治理的“寓治理于服务”.我们的方案架构.提交合作咨询后我们会尽快与您取得联系,十分期待与您合作.我们会尽快回应您.基于小区感知设备数据和业务服务,对小区基础信息智能实时更新、动态分类建档,构建以人为本,关联房屋、地址、车辆、关系等统一的社区...
来自: 解决方案
社区治理解决方案
创新社区管理、服务和决策的智能化管理模式, 辅助政府完善社区治理,构建IoT时代智慧、平安和幸福的社区。
业务和感知数据融合,基于AI算法、业务算法和GIS、AR可视化能力构建社区整体运行态势一张图,实现社区动态全面明晰.态势感知“智能化”.灵活配置社区事件的处置流程,支持联动人员处理、自动机器处理等类型处理流程,实现社区事件提醒到位、高效处理.风险处置“自动化”.结合阿里优势,共同服务社区治理政府客户.加入我们,...
来自: 解决方案
图数据库GDB
图数据库(Graph Database, 简称GDB)是阿里云自主研发的图数据库产品,经历阿里巴巴集团内丰富的应用场景打磨,具备行业最佳实践经验。是基于图技术的行业多元异构数据的融合、分析、决策引擎,是知识图谱的最佳底座。
基于达摩院的智能搜索推荐算法和知识图谱技术,融合阿里巴巴电商策略沉淀,为企业提供贯穿搜索和推荐的一站式服务。助力企业快速过渡冷启动过程,面向业务场景定制化方案,持续提升核心业务指标,实现业务营收增长.将搜索和推荐融合提供一站式服务,精准理解用户意图并提供个新化智能推荐,推用户之所想.搜索推荐一站式服务...
来自: 云产品
大数据近实时数据投递MaxCompute
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。 l混合云环境下,现有业务系统零改造,打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程,数据自动入仓。 l借助MaxCompute优化计算引擎,实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute支持 SQL、MapReduce、UDF(Java/Python)、Graph、基于 DAG的处理、交互式、内存计算、机器学习等计 类型及 MPI迭代类算法。大幅简化了企业大数据平台的应用架构,具有强数据安 全、低成本、免运维、极致弹性扩展等特点。MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,数据总线,云速搭CADT
全域停车解决方案
全域停车时空调度系统融合阿里云、高德地图和蚂蚁金服的核心能力,实现了车辆、道路、车场、车位的最优适配和精准调度,致力于解决城市“停车难题”。
盘活现有停车资源,将“主动”查找停车场,变为“算法推荐”的最“优”停车场.服务模式创新.停车信息感知.停车特征分析.错峰停车阶梯调价.先停车后付费.融合蚂蚁金服业务能力,无需绑定手机号,实现车主“先离场后付费”.运营模式创新.停车安全保障.将停车调度、缴费等业务场景与芝麻信用体系融合,构建城市信用停车文明...
来自: 解决方案
阿里云时序时空数据库TSDB
时序时空数据库 ( Time Series and Spatial-Temporal Database , 简称 TSDB) 是一种集时序数据高效读写,压缩存储,实时计算能力为一体的数据库服务,可广泛应用于物联网和互联网领域,实现对设备及业务服务的实时监控,实时预测告警。
高性能写入,分布式架构易扩展,解决传统工业时序数据库性单机架构,性能低不易扩展.高性能易扩展.高压缩比存储算法,降低90%存储成本,企业整体投入成本显著降低.工业设备数据上云,云上强大的安全防空和备份机制,解决数据安全问题.千万数据点实时读写.高效压缩算法,单数据点~2Byte,降低存储成本>90%.支持降精度,插值...
来自: 云产品
工业视觉检测解决方案
工业视觉检测解决方案全链路打通数据采集、标注、训练和部署环境,通过深度学习和图像处理算法,进行全自动生产流程管理,自动识别图像中的瑕疵或故障,以达到大幅节省人力,提高产品生产效率及精度稳定性的效果。
全链路打通数据采集、标注、训练和部署环境,通过深度学习和图像处理算法,进行全自动生产流程管理,自动识别图像中的瑕疵或故障,以达到大幅节省人力,提高产品生产效率及精度稳定性的效果.自动机器学习.实现全自动管理.工业视觉检测解决方案.提交合作咨询.明确项目和工业行业相关,按要求提交合作需求,并确保电话畅通....
来自: 解决方案
弹性计算
阿里云弹性计算提供弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。经十年深厚技术积淀,阿里云弹性计算技术先进、性能优异、 稳如磐石,致力于提供永不停机的计算服务。
在AI算法这块,不论是NLP还是OCR,都需要大量的计算资源和比较多的CPU机器,依托阿里云自研的软硬一体的神龙架构提供的超强力和高稳定性,帮助达观数据有效提升了AI算法的研发效率,极致的弹性也让达观数据可以根据客户的需要,随时地快速扩容,超强的稳定性也让达观数据为客户提供了更加稳定、安全的服务.依托阿里云六代...
来自: 云产品
远程教育AI辅助解决方案
远程教育AI辅助解决方案弥补了传统教育场景中的诸多不足,底座基于阿里云达摩院的算法能力,轻松接入,场景覆盖广泛,识别准确度较高。
需求沟通明确,阿里云架构师及专业服务团队为您定制解决方案.为您的解决方案配置专属服务团队进一步洽谈合作.汇聚阿里巴巴集团图像、视频、3D 视觉等具有先进性与竞争力的视觉 AI 能力,视频和图像内容识别准确度高,识别速度快,提升 AI 场景应用的客户体验.AI 算法能力强.低代码、低门槛调用 AI 算法平台能力,用户可以...
来自: 解决方案
厂区智慧安防解决方案
厂区智慧安防解决方案,面向需要进行厂区安全监管的客户,基于阿里云物联网边缘计算能力,提供部署在近场侧的高可用的软硬一体产品,自动识别厂区安全管理的各要素,创建统一安全视图,提升安全预警的准确性。
采用阿里云平头哥玄铁系列视觉 AI 处理器,优化图像处理效率,涵盖厂区安防的主要场景算法能力,支持针对不同场景实现算法定制.算法场景丰富、准确度高.即插即用,人工实施成本低,技术研发投入少,可以快速按需构建各种边缘计算场景.开箱即用、投入少、接口灵活.与现有本地安防系统并行,在不干扰和新增监控设备的情况下,...
来自: 解决方案
智慧建筑解决方案
基于IoT边缘计算集成楼宇中5A系统, 把设备、应用、数据统一集中管理,实现对建筑的全面感知,同时基于物联网平台提供空间可视化的数据展示与事件驱动的工作方式,让建筑可以智慧化的响应与决策。
通过智能边缘一体机调度计算资源支撑边缘系统,简化现场本地的IT架构.优化IT架构.基于智能边缘一体机支持的协议,快速的集成楼宇中的5A系统.高效率集成子系统.提供的云边协同机制,数据实时汇聚到云端,打破数据孤岛.打破数据孤岛.通过智能边缘一体机提供AI算法,实现视频本地实时分析处理,提高人效.提供对联网设备进行...
来自: 解决方案
高速自由流收费稽核解决方案
阿里云高速自由流收费稽核解决方案,助力高速公路由传统模式走向云端一体化模式转型,实现不停车自由通行,业务管理的实时审计、让每辆车的每个行程每笔费用都不遗漏。
建成了基于阿里云计算、大数据架构的视频检测系统,达到了全桥36公里每125米一路的事件检测密度,辅以高德大数据平台路况检测,实现了“安全畅通 和谐高效”的运营目标.基于达摩院 AI 算法与高德深度融合的“智慧眼”高速管控平台实现路况事件感知与处置自动联动闭环。2019年春运成都绕城高速拥堵平均下降10%,事件智能发现...
来自: 解决方案
< 1 2 3 4 ... 8 >
共有8页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用