Spark on ECI大数据分析
Spark on ECI大<em>数据分析</em>
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS:阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务,允许用户像在 Hadoop分布式文件系统中管理和访问 ,...
来自: 最佳实践 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
数据湖-在线学习场景数据分析
<em>数据</em>湖-在线学习场景<em>数据分析</em>
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
借助EMR 可以简单快速的构建一个基于 Hadoop,Spark,Hive等大数据产品的计算集群,而且可以按需使用,其所有 Job完 文档版本:20200331 5数据湖-在线学习场景数据分析 数据湖 成之后,销毁集群,因为所有的数据都保存在OSS。此外,对于Hadoop集群上的任务,不同类型的任务对于机器配置的要求不同,比如 推荐和算法业务可能...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
基于弹性供应组构建大数据分析集群
基于弹性供应组构建大<em>数据分析</em>集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组(APG)搭建 spark计算集 群,提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用 spot实例 交付,最高可省 90%成本。2.稳定可靠:跨可用域、跨实例...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS提供App开发、测试、运营及运维等云到端的一站式解决方案,帮助企业快速构建高质量的移动应用,阿里云快速开发平台提升企业产品生态发展。
简化了的数据协议和通讯协议,从而显奢提升开发效率和网络通讯效率。消息推送针对不同场景推出多种推送服务,提供个性化推送服务能力。集成了多家手机厂商的推送功能,方便快速集成移动端推送功能,提高 App 的用户留存和用户体验。移动分析MAS 通过统计和分析客户端流量、性能质量和用户行为等数据,用数据实现产品、运营...
来自: 云产品
全域采集与增长分析Quick Tracking
全域采集与增长分析(Quick Tracking)是阿里云推出的应用数据采集及分析产品,为运营、BI、产品和决策层提供一站式数据化运营服务:通用的多维度用户行为分析、自助分析功能、数据无缝对接其他大数据产品,助每个企业实现基于大数据技术的精细化运营能力。
支持崩溃、卡顿、启动分析、网络分析等性能监控功能.支持JS异常、API请求、白屏、用户追踪等性能监控能力.支持JS异常、API请求、用户追踪等性能监控能力.11A_【标题】行业实战场景.谢赟辉,靖鑫,也树.打通广告品牌效果投放数据和用户行为数据,用“价值导向”替代“流量导向”全链路评估广告投放效果,优化投放策略,实现ROI...
来自: 云产品
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
相关产品云服务器ECS本产品专有网络 VPC一键部署Spark集群大数据场景,推荐使用倚天实例,主从节点皆有性能优异表现快速处理大规模数据Spark能够在大规模数据集上进行快速的数据处理和分析,具备高速的数据处理能力。相比传统的MapReduce模型,Spark能够在内存中进行计算,减少了磁盘I/O的开销和数据传输的延迟,从而提高了...
来自: 云产品
日志服务sls
日志服务(Log Service,简称Log)是针对实时数据一站式服务,在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率,建立DT时代海量日志处理能力。
阿里云日志服务方案帮助米连科技解决了数据分散、问题排查效率低、数据分析手段少等问题,全方位提高了IT运维、数据运营、数据风控等方面的实施效能.哈啰出行通过把日志数据迁移到SLS,替代原有的自建方案,节省成本达到30%,同时满足了稳定性、扩展性需求,以及对日志查询分析的需求.查看更多商品.Log/Metric/Trace数据...
来自: 云产品
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构,能够满足不同的业务场景需要。
数据库性能扩展.MongoDB在线数据实时写入后端数据库,再由专用计算引擎进行数据计算分析分析结果再写回源数据库,以便业务快速访问计算结果,高效解决大数据业务场景海量数据复杂计算的难题.可进行数据库源数据访问.对大数据进行计算分析.异构数据库产品之间的数据流动.异构数据互通.负载均衡SLB.云服务器ECS.云数据库...
来自: 云产品
云网管
云网管是阿里云将阿里集团自用的智能网管平台、人力智慧和最佳实践输出,解决企业在全生命周期网络运维管理的挑战,让部署更快捷、运维更高效、网络更透明。产品核心功能包括:网络资源管理、网络监控告警、网络自动化管控、网络建设交付、网络故障自愈。面向客户场景包括:IDC、新零售、新制造、智慧物流、办公、医疗、临时会展等。
十个国家、百个办公分支、万台网络设备.-覆盖全球,统一的监控标准\-资源共享,低成本快速部署\-资产盘点,在线自动批处理\-多类场景,全功能可定制化.-云化服务加探针一键部署\-灵活搭建可视化运维大盘\-特有全自动资产巡检盘点\-阿里云经验沉淀直接赋能.-全球办公分钟级探测和变配,小时级巡检\-临时会场快速部署...
来自: 云产品
云原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的,基于云原生架构的内存数据库,兼容Redis API,支持内存、持久内存、ESSD三种存储介质,并提供大量扩展型数据结构及企业级能力。
测算,相比原有数据库产品,Tair帮助行情业务系统的数据库成本降低50%以上.Tair内存型的高性能以及 TairRoaring 模块支持的 RoaringBitmap 数据结构,成功支持了神策数据的精准营销场景。TairRoaring 将用户数据体积降低至原始数据体积的1/7,访问延时降低至亚毫秒级,吞吐达到每秒百万次请求.十荟团采用云数据库Tair内存...
来自: 云产品
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力,是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案,助力客户应用轻松转型分布式架构,保证风险安全的同时帮助业务需求敏捷迭代,支撑金融业务创新,开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
该系统支撑亿级用户,一天亿笔交易的能力,且并发交易每秒能处理千笔,清算时间不到一小时,即使是在双十一网购狂欢节,支付成功率页高达 99.99%以上.基于金融分布式架构 SOFAStack 技术和分布式数据库 OceanBase,保证其数据安全,异地多活秒级容灾,符合金融安全监管与合规要求,节省 80%IT 投入成本.基于 SOFAStack ...
来自: 云产品
云原生数据库PolarDB 分布式版
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
生态兼容 高度兼容MySQL,打通大数据生态,通过将数据实时同步至云原生数据仓库AnalyticDB,实现对海量数据的实时分析,助力业务智能化。推荐搭配产品 云数据库RDS MySQL版 数据传输服务 云原生数据仓库ADB客户案例特步 利用云原生数据库 PolarDB 分布式版产品的高并发写和海量存储能力,支撑了客户全国超过千家门店的...
来自: 云产品
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
基于PolarDB-X存储海量数据,通过AnalyticDB进行数据分析,可构建智能化的城市公交系统,满足路线规划、站点查询、公交预报、业务报表结算、公交调度等需求,提升运营效率和服务水平.PolarDB-X采用分层架构可确保在并发、计算、数据存储三个方面均可线性扩展,可根据业务潮汐特点灵活升降配PolarDB-X,应对业务需求....
来自: 云产品
云数据库Redis
云数据库 Redis 版是一种全托管、兼容Redis协议的内存数据库服务,包含社区版Redis和企业版Tair,支持主从、集群和读写分离架构,具备低延迟、大吞吐、弹性扩缩容的特点。Tair提供多种系列满足不同场景的性价比要求,更有全球多活、数据闪回、大热Key探测与优化、丰富的数据结构,赋能大规模高性能要求的在线数据业务。
每天自动备份数据数据容灾能力强,免费支持数据一键恢复,有效防范数据误操作,业务损失降到最低.VPC私有网络在TCP层直接进行网络隔离保护;DDOS防护实时监测并清除大流量攻击;支持1000个以上IP白名单配置,直接从访问源进行风险控制.支持同城容灾及异地容灾的缓存数据库,跨地域的容灾能力,有效防护物理层灾害对实例...
来自: 云产品
小程序
mPaaS 小程序,源自于支付宝小程序框架,亿级线上业务体量的锤炼,安全性媲美支付宝原生能力。不仅面向自有 App 投放小程序,更可快速构建打包,覆盖支付宝、淘宝、钉钉等应用。
数据全链路采集,日志深度采集与分析,保证高可用.通过集成第三方小程序能力,增加业务场景,促进用户活跃.蔡伟杰,靖鑫,也树.轻松地将 App 新版本、H5 离线包、小程序包以及开关配置进行下发。提供正式发布和灰度发布,有效验证待发布内容,检查是否存在潜在风险。同时提供包括白名单、机型、城市、系统版本等多维度发布...
来自: 云产品
弹性公网IP
独立的公网IP资源,可以绑定到阿里云专有网络VPC类型的ECS上,并可以动态解绑,再绑定到其它 ECS上,实现公网IP和ECS的解耦,满足灵活管理的要求。
2)现有网络线路单一时延大,弹性能力差,缩扩容时间长,无法快速响应市场需要.公网IP地址不变,将上云改造成本、及业务迁移停机造成的损失减至最低.VPC-IDC互访安全风险,及VPC间的管控与防护.优化中国大陆客户访问.精品香港公网线路,优化访问中国大陆时延.对于企业服务器部署在香港,而服务对象为中国大陆客户时,公网...
来自: 云产品
应用日志数据归档
应用日志数据归档方案为企业提供云上日志数据的存储成本优化。提供了访问日志数据采集、自动压缩、持久化存储,满足企业的网站访问日志数据的归档需求,具有低成本、免运维、弹性扩容的优势。
在线部署 适用客户 业务数据来源及格式多样,需要高效统一采集 有日志持久化存储且即时可查性的需求 需要进行安全分析、检测恶意攻击和防护的企业 方案优势 采用应用日志数据归档方案的优势 大规模采集 支持高吞吐量的日志数据采集,每秒可达百万条日志数据,可满足大规模应用的日志采集需求。自动化压缩 提供自动化压缩...
SLS数据入湖Kafka最佳实践
SLS<em>数据</em>入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的 聚合、分析处理和导出等,本方案给出了在多 云/混合云场景下,构建通过标准的Kafka协议 和托管服务,SLS可以连接Kafka数据入湖导 入,然后进行统一的海量数据的集中存储、智 能转储、...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
开源大数据平台 E-MapReduce 产品概述
开源大数据平台 E-MapReduce是阿里云提供的云原生开源大数据平台,支持多种主流开源大数据组件,具备灵活弹性的资源调度和控制能力。适用于PB 级数据处理、交互分析和机器学习,帮助客户高效构建云端企业级数据湖技术架构。
​查看更多安全合规阿里云EMR是一种托管的开源大数据处理服务,支持弹性扩展,处理PB级海量数据,并提供ACL、加密、Kerberos等安全机制,让用户无需搭建和管理复杂的大数据环境,通过简单配置就可启动使用,与其他大数据产品深度集成,可一站式处理和分析数据网络和基础设施安全访问隔离:通过安全组管理,对集群内的ECS实例进行...
来自: 云产品
< 1 2 3 4 ... 26 >
共有26页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用