Spark on ECI大数据分析
Spark on ECI<em>大数据分析</em>
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS:阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务,允许用户像在 Hadoop分布式文件系统中管理访问 ,...
来自: 最佳实践 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
互联网电商行业离线大数据分析
互联网电商行业离线<em>大数据分析</em>
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示,如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示,效果震撼,触控大屏支持用户自助查询数据,极大地增强数据的可读性。
互联网电商行业离线大数据分析 最佳实践 业务架构 场景描述 本实践介绍了使用阿里云MaxCompute、数据库(RDS)、DataWorks等产品实现电商网站离线数据 ,分析后的业务指标数据实时在大屏展示。通过完整 的实践Demo为例,提供从电商网站搭建,数据从RDS 同步到MaxCompute、再到DataWorks进行数据分析,最后在大屏上展示...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,API网关,云速搭CADT
基于弹性供应组构建大数据分析集群
基于弹性供应组构建<em>大数据分析</em>集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组(APG)搭建 spark计算集 群,提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用 spot实例 交付,最高可省 90%成本。2.稳定可靠:跨可用域、跨实例...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
例如临时扩展、测试、大数据处理等。计费方式转化:暂不支持转换为其他计费方式。包年包月(预付费)定义:先付费后使用,在购买ECS实例时一次性付费,购买时长越长,折扣越多。适用场景:可预估资源使用周期、业务稳定成熟、需要长期使用资源等。例如7*24的Web服务、数据库服务等。计费方式转换:包年包月可以变更为按量...
来自: 云产品
云原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的,基于云原生架构的内存数据库,兼容Redis API,支持内存、持久内存、ESSD三种存储介质,并提供大量扩展型数据结构及企业级能力。
大数据处理无缝对接.网站类应用场景中,网站读写压力较大,且要求控制成本,云原生内存数据库Tair单节点版满足纯缓存场景,提供高QPS性能,数据持久化到底层RDS能力.Tair多线程模型提供最高30万的QPS,升级为单节点集群版后可承载超大流量压力.单节点故障不影响业务.单节点Tair满足纯缓存应用,提供超高性价比.云服务器ECS....
来自: 云产品
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
预置近百种图表组件与十种看板模板,支持不同数据类型展示与分析,满足不同场景需求.预置可视化插件与看板模板.可观测可视化 Grafana 版.应用实时监控服务 ARMS.统一监控大盘.针对多告警源进行统一管理,实现跨平台、跨团队的应急协同.丰富的预置集成组件,覆盖阿里云日志服务SLS、Prometheus、ARMS、开源主流监控系统。...
来自: 云产品
人工智能平台 PAI
阿里云人工智能平台 PAI 涵盖交互式建模、可视化建模、分布式训练到模型在线部署全流程;快速搭建人工智能推荐系统;深度学习模型训练速度提升数十倍;减少50%GPU成本
通过数据集加速、计算加速、优化算法、调度算法资源优化技术等多种手段,提高AI训练推理的速度、易用性稳定性,极提升AI计算的效率.AI加速服务.进一步了解AI加速服务.智算服务 PAI-灵骏.文档与工具.查看详细方案介绍.PAI在文图生成领域,提供了端到端、轻量化的纯白盒解决方案。您可以直接使用PAI提供的默认模型,...
来自: 云产品
阿里云云效
云效,一站式Devops平台,支持公共云、专有云和混合云多种部署形态,通过云原生新技术和研发新范式,助力创新创业和数字化转型企业快速实现组织敏捷和研发敏捷,打造“双敏”企业,实现10倍研发效能提升。
通过可协作的结构化文档,将知识积累沉淀下来,并在团队中有效流动,由此提升企业的创造力.8 场景化专业模版,50+度量图表,更多维度研发效能报表,打造专业交付过程监控研发效能度量、分析平台.云效效能洞察.提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常...
来自: 云产品
云原生企业级数据
基于对象存储 OSS 构建的数据湖,可对接多种数据输入方式,存储任何规模的结构化、半结构化、非结构化数据,打破数据湖孤岛。无缝对接多种数据分析产品,对存储在对象存储 OSS 中的数据直接进行大数据分析,洞察业务价值。同时,数据湖提供多种存储类型的冷热分层转换能力,通过数据全生命周期管理优化存储成本。
通过多种存储类型实现数据冷热分层,可无缝对接 EMR、PAI 等大数据分析和训练引擎。结合高性能文件存储 CPFS,实现 OSS 与 CPFS 数据双向流通,同时,热点训练数据以透明方式同步到 CPFS,通过 CPFS 的文件语义与机器学习平台 PAI 对接,满足高性能训练场景需求。解决问题:数据孤岛林立不同业务部门由于数据规模、数据类型...
来自: 解决方案
云原生企业级数据湖解决方案
云原生企业级数据湖解决方案,数据湖解决方案,无缝对接多种计算分析平台,数据湖中的数据可以直接进行数据分析、处理。
通过阿里云数据湖解决方案支撑了加和ReachMax流量业务,日均150亿条、近200列的数据分析和大量的临时数据统计与分析需求。海量的流量决策和分析服务,通过阿里云数据湖基座OSS在数据可靠性、多存储类型、弹性扩展等多方面能力,幅度简化了加和在数据存储和应用的设计复杂度,相比加和原先使用的自建方案,平均成本下降了...
来自: 解决方案
证券智能营销解决方案
专注于赋能证券企业,实现扩展新用户、经营客户价值、提升资产规模、提高客户质量。以“科技+服务”为引领,围绕零售业务打造网络化、标准化、精细化、智能化的互联网客户运营平台。
大数据分析和人工智能为支撑,构建一套网络化、标准化、精细化、智能化的互联网客户运营平台,是经纪业务的发展关键.证券智能营销解决方案.通过整合分析客户内外部数据、建立客户标签、勾勒客户画像,构建基于客户全生命周期的各阶段服务场景,制定产品及服务运营策略,向客户推荐千人千面产品、服务及活动,实现客户的...
来自: 解决方案
云上数据集成解决方案
云上数据集成解决方案提供可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展的数据传输交互服务,有效帮助您解 决云环境、个人站点环境下异构数据存储系统的数据互通难题,让您数据不再成为孤岛!助您实现大数据分析和实时商务智能。
数据集成提供一套抽象化的数据...助您实现大数据分析和实时商务智能.云上数据集成解决方案.支持MaxCompute、AnalyticDB for PostgreSQL和Hologres等大数据计算引擎及其他数据源.详细了解>.支持的数据源.查看如何配置数据集成的数据源.详细了解>.如何进行增量数据同步.详细了解>.数据增量同步.数据集成整库迁移介绍.详细了解>.
来自: 解决方案
金融行业解决方案
适应金融科技及数字产业发展现状,为银行、保险、证券等金融机构进行科技赋能,支撑业务发展变化,通过智能营销、数据风控、智慧金融等场景,拉动金融机构数字化转型和科技创新。
以科技+服务为引领,以大数据分析和人工智能为支撑,构建网络化、标准化、精细化、智能化的客户运营平台.证券智能营销解决方案.提供保险企业完整数据中台方案,包含数据中台内容建设、数据资产管理、数据智能研发、数据消费等组成部分.保险数据中台解决方案.金融行业能力图.根据您填写的需求,将有售前专家为您提供免费...
来自: 解决方案
云行情开门红
云行情开门红活动,港股美股行情数据全球服务共享,活动期间享限时折扣。
大数据分析和人工智能为支撑,构建网络化、标准化、精细化、智能化的用户运营平台.证券智能营销解决方案.实现计算资源随访问量或定时伸缩,提供弹性计算能力、降低计算/存储成本,降低延时、增加稳定性.证券行情上云解决方案.基于阿里多媒体和智能化技术连接各类终端,远程实现证券开户、银行柜员服务等线下金融场景.视频...
来自: 解决方案
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
通过多种存储类型实现数据冷热分层,可无缝对接 EMR、PAI 等大数据分析和训练引擎。结合高性能文件存储 CPFS,实现 OSS 与 CPFS 数据双向流通,同时,热点训练数据以透明方式同步到 CPFS,通过 CPFS 的文件语义与机器学习平台 PAI 对接,满足高性能训练场景需求。解决问题:数据孤岛林立不同业务部门由于数据规模、数据类型...
来自: 云产品
工业数据中台解决方案
以企业IT&OT数据为基础,结合数据汇聚&治理能力,实现数据资产化、数据服务化,打造统一标准、稳定可靠的数据资产,发挥数据价值,完成端到端的数据敏捷交付、部署、应用。
借助阿里数据中台主数据治理解决方案,为河钢集团构建河钢集团中央数字中心主数据管理平台,平台以集团钢铁主业为实施范围,以营销主数据为实施内容,旨在借助大数据、云计算技术,搭建以主数据管理为核心的集团数据中台基础,构建一个全面、统一、完整的主数据标准化体系,支撑集团统一营销平台和大数据分析平台的全面建设...
来自: 解决方案
固废行业解决方案
固废行业解决方案帮助提升我国固废企业处理垃圾的能力,通过AI技术实现垃圾焚烧、烟气处理、污水污泥处理的控制自动化,帮助固废企业实现“智能管控”,提升企业作业能力。
基于大数据分析和AI技术,对干化设备的历史运行数据、实时状态数据以及其他依赖因素进行数据上云、数据云端存储,同时进行数据建模、模拟仿真、控制优化,实现污泥干化设备的精细化管理.基于工业大脑部署,将推荐的干化设备操作参数直接写入到本地部署的工控机中,并通过工控机直接写入PLC进行控制操作,实现通过大数据推荐...
来自: 解决方案
新金融人故事-阿里云
金融行业解决方案市场应用案例分享,聆听金融人“数字化转型“路上的那些事儿
大数据分析和人工智能为支撑,构建网络化、标准化、精细化、智能化的用户运营平台.证券智能营销解决方案.阿里云提供保险企业完整数据中台方案,包含数据中台内容建设、数据资产管理、数据智能研发、数据消费、数据服务、数据实验室等组成部分.保险数据中台解决方案.计算资源可随访问量或定时伸缩,提供弹性计算能力的同时...
来自: 解决方案
混合云一体机
混合云一体机面向边缘计算场景,提供软硬件一体解决方案,同时支持远程交付和中心统一运维,提升系统可用性和运维效率,使企业轻松实现云边联动,助力企业在5G时代实现快速创新。
基于视觉AI一体机,将阿里云城市大脑在视觉AI和大数据分析领域的经验输出至地市区县场景,对城市的全面、全量、实时的认知、搜索、预测和优化决策,持续助力大规模平安城市建设.基于IoT一体机,输出包括LP、LE、ID²、SOC等IoT产品,软硬一体化交付运维,即开即用,大幅缩短项目的交付周期,解决了客户边缘采集终端数据上报...
来自: 云产品
< 1 2 3 4 ... 24 >
共有24页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用