阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有 效 降 低 企 业 成 本,并 保 障 安 全。详 见:https://help.aliyun.com/product/27797.html  Dataworks:DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本:20210802(发布...
来自: 最佳实践 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
新零售商超基于Serverless服务化改造
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业,主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态,涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展,其在快速上云后,将核心业务改造为全Serverless架构的中台模式,采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构:FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用:毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维:函数式极简编程可专注于业务创新,无采购和部署成本、提供监控报警等完备的可观测能力。
比如数据是否要做到无状态,无状态的话水平 文档版本:20210519 3 新零售商超基于 Serverless服务化改造 前置条件 扩展会比较容易,而如果是有状态,数据可能就需要做缓存,这就会涉及到 库相关的问题,例如数据过期、一致性等。如果对这些了解不够透彻,做水 平扩展就会比较困难。ᅳ 水位监控 许多开发者在水位监控上...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
备份内容是表、索引、存储过程等数据库 对象, MySQL mysqldump、Oracle exp/imp,增量备份(实时,秒级 RPO)数据丢失风险低于物理备份(实时,10分钟 RPO)。ᅳ 物理备份:不支持云数据库 RDS/POLARDB,支持 ECS自建库、本地数据库、其他云厂商数据库,数据库文件级备份,备份内容是操作系统上数据库文件, MySQL ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
云速搭部署Flink应用
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构,利用DataHub收集原始数据,推送到Flink进行基于流式数据的分析和应用。
更多信 息,详见:https://www.aliyun.com/product/bigdata/sc 数据总线 DataHub:是阿里云提供的流式数据(Streaming Data)服务,它提供流 式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻松构建基于流式 的分析和应用。详见:https://www.aliyun.com/product/datahub 对象存储 OSS(Object Storage Service...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,实时计算,数据总线,云速搭CADT
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
快速应对上层业务运营的技术实现操作 业务改造-分区合服迁移数据 产品列表 专用网络 VPC 数据库 RDS MySQL 数据传输服务 DTS NAT网关 对象存储 OSS 云企业网 CEN 改造后架构-合服并做跨地域访问加速 数据管理 DMS 云服务器 ECS 云速搭 CADT 阿里云最佳实践技术分享群 最佳实践频道 二维码过期,请搜索群号:31852400 云...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
制作人 阿瑟、明誉 审阅人 云护、江柳 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-05-07 阿瑟、明誉 云护 创建 V1.1 2019-07-25 阿瑟-更新模版 V1.2 2019-11-04 阿瑟 江柳 增加跨账号多VPC的 同步 V1.3 2019-11-13 筱晖-文档优化 V1.4 2019-12-17 阿瑟 增加概览页 文档版本:20191217 I 互联网业务全球化...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
向量检索服务 Milvus 版
阿里云向量检索服务Milvus版是一款云原生开源向量检索引擎,为用户提供多模态检索服务和高效稳定的向量数据检索能力,与云计算等产品集成对接,为AI应用场景的数据工程提供便利。
在使用向量检索服务 Milvus 版的过程中,存储数据产生的费用,该部分费用采用按量计费的方式。向量检索服务 Milvus 版免费公测中标准版试用申请安全合规阿里云向量检索服务Milvus版是一款向量检索引擎,用于存储和检索大规模向量数据,源于开源,但不止于开源。它完全兼容开源Milvus API,可以从访问控制、网络、存储、操作...
来自: 云产品
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
ZRS)¥0.15/GB/月存储资源包¥0.10/GB/月存储资源包¥0.033/GB/月无无规格类型适用场景对象最小计量大小最少存储时间要求数据访问特点图片处理数据取回费用存储价格(本地冗余 LRS)存储价格(同城冗余 ZRS)场景推荐选型数据存储数据传输购买更多对象存储 OSS 资源包入门与试用快速上手01开通 OSS 服务1打开 OSS 开通页面2在 ...
来自: 云产品
文件存储NAS
文件存储(Network Attached Storage,简称NAS),是阿里云对外提供的兼容POSXI接口的分布式文件存储,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
大幅降低数据存储成本 了解更多产品功能云原生共享文件存储 多种存储类型 企业级数据管理 企业级数据保护 云原生共享文件存储 通过NFS/SMB协议为弹性计算ECS和容器ACK实例提供跨AZ、区域和VPC的分层目录结构文件访问,支持千个共享访问链接 算分离&计算端加速 容器数据存储至NAS,实现计算弹性下的数据持久化。...
来自: 云产品
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,拥有高吞吐量、高稳定性、低成本等特点,与阿里云大数据生态系统完美打通,让您可以轻松构建基于流式数据的分析和应用。
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻松构建基于流式数据的分析和应用.孙慧颖,靖鑫,也树.MySQL低至1折起,前往限时优惠活动!1元体验简单易用的MySQL数据仓库,毫秒级海量数据多维分析!MySQL数据库+Quick BI数据可视化...
来自: 云产品
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库,可提供PB级海量数据在线/离线分析服务,是面向各行各业的有竞争力的数仓方案,真正做到“人人可用的数据分析服务”。
支持多种数据源接入,实时flink,OLTP数据同步,离线支持OSS存储、JSON数据、HyperLogLog等功能特性,数据写入实时可用,复杂查询高性能返回,整体辅助用户实现从数据存储、分析到展现的一体化的实时数据分析云平台.基于列存储支持海量数据复杂分析聚合,高并发在线数据探索:基于行存储支持高并发的任意维度在线数据探索....
来自: 云产品
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版(简称AnalyticDB)是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务,可用于构建企业级报表系统、数据仓库和数据服务引擎。
数据存储在便宜的HDD介质上,节约存储成本.冷热数据分层.查询速度快,支持对海量日志数据和业务进行即时的复杂关联计算,提高营销效果反馈及时性,快速调整投放策略.营销效果实时反馈.支持多业务数据源,结构化非结构化数据的实时同步.实时多源数据同步.云服务器ECS.云数据库RDS MySQL版.数据传输DTS.推荐搭配产品.广告:...
来自: 云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务,内核基于业界领先的开源分析型数据库 Apache Doris 研发,由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景,致力于为客户提供极致性能、简单易用的数据分析服务。
全量数据存储于廉价稳定的对象存储 OSS 中,存储单价降低约 90%。支持多计算集群共享同一份数据,避免存储冗余,同时提供强大的物理和逻辑隔离能力。总拥有成本(TCO)低于自建数仓 50%。极简易用解决易用性问题支持丰富易用的数据导入方式,帮助客户快速完成数据接入。兼容 MySQL 连接协议和语法,无缝对接十款数据库和...
来自: 云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费,是互联网、IoT、车联网、广告、社交等场景首选数据库,也是为阿里核心业务提供支撑的数据库之一。
基于Lindorm的车联网数据存储处理方案.使用Lindorm AI引擎搭建私域数据知识问答AIGC业务.如何破解HBase+Elasticsearch组合使用遇到的难题.EMQX+Lindorm数据库行业解决方案.基于lindorm的互联网广告解决方案.营销2.0商品卡片(适用鸿蒙1.0).营销2.0商品卡片.通用icon文字列表.千万级高并发吞吐、毫秒级访问延迟。共享存储,...
来自: 云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓,作为一体化大数据智能计算平台ODPS的大规模批量计算引擎,MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务,使您经济高效的分析处理海量数据,进行敏捷的业务洞察。
基于阿里云 MaxCompute和DataWorks 构建了企业级数据仓库体系,底层数据存储方便、便宜、易拓展,计算效率高、反应快,并支持超大规模数据任务自动化管理。和阿里云的其他平台 Quick BI良好的兼容打通,很方便的实现了数据应用一体化,减少了大量额外的开发成本和人力成本。平台一直和用户有良好沟通、反馈,不断优化改进...
来自: 云产品
阿里云时序时空数据库TSDB
时序时空数据库 ( Time Series and Spatial-Temporal Database , 简称 TSDB) 是一种集时序数据高效读写,压缩存储,实时计算能力为一体的数据库服务,可广泛应用于物联网和互联网领域,实现对设备及业务服务的实时监控,实时预测告警。
高效写入,支持大规模集群设备高并发写入.TSDB 帮助我们解决了指标数据存储的问题,其表现出的优越性能,零运维成本,数据永久存储,专门的技术支持,都是我们一直使用的原因。目前我们可以很方便的查看实时指标信息和回溯历史的指标信息,及时发现问题,为进一步的决策提供依据,TSDB 是我们不可缺少的一部分.—— 杭州迪...
来自: 云产品
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台,是一种简单易用的公共云灾备服务,可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略,并完全托管备份活动,轻松满足业务与合规需求。
客户可使用Cloud Backup一个工具来保护OSS/NAS存储数据,界面简单易用,源端重删压缩,永久增量,节省花销.49A_行业实战场景.49A_【标题】客户案例.靖鑫,也树,陈博楷.报喜鸟积极谋求数字化转型,通过阿里云 Cloud Backup 产品实现了资源高效利用,为 VMware 实现无代理迁移,免去手工导入数据,完成后可直接拉起 ECS,完成...
来自: 云产品
实时数仓Hologres
Hologres(原交互式分析)是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与自助分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
基于行表的主键索引和查询引擎的短路径优化,支持每秒十万QPS高性能服务型点查,支持高吞吐更新,相比开源系统性能提升10倍以上.联邦查询,外表加速(Federation).无缝对接MaxCompute,无需数据移动,支持外表透明加速BI访问,支持冷热数据关联分析,支持百万级每秒数据高速同步,支持OSS外表读写,简化数据入湖入仓.高...
来自: 云产品
云原生数据库PolarDB 分布式版
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
在线咨询 能够提供 弹性扩容 PolarDB 分布式版采用分层架构可确保在并发、计算、数据存储三个方面均可线性扩展,可根据业务潮汐特点灵活升降配PolarDB 分布式版,应对业务需求。即开即用 基于PolarDB 分布式版可轻松从单机数据库升级到分布式架构,同时提供丰富的运维功能,相比自建分布式架构,大幅降低研发成本。生态兼容...
来自: 云产品
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK(容器服务Kubernetes版,简称ACK)支持企业级K8s容器化应用的全生命周期管理,提供高性能可伸缩的容器应用管理能力,助力企业高效运行云端K8s容器化应用。
数据安全:默认加密容器服务 ACK 管控侧用户数据,保证客户数据在容器服务 ACK 管控侧传输全链路TLS加密,同时提供完备的审计和控制面组件日志投递能力。供应链安全安全左移:提供镜像构建、安全扫描、全球同步和部署的自动化集成应用交付链能力,帮助企业客户构建高效安全交付和自动化安全运维能力,践行安全左移原则。...
来自: 云产品
< 1 2 3 4 ... 27 >
共有27页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用