大数据近实时数据投递MaxCompute
大数据近实时<em>数据</em>投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。 l混合云环境下,现有业务系统零改造,打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程,数据自动入仓。 l借助MaxCompute优化计算引擎,实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
上近实时数仓,打通云下数据上云链路,解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题,满足高级数据处理需求 区。的最佳实践。使用 DataWorks配置周期调度业务流程,数据自 产品列表 动入仓。借助 MaxCompute优化计算引擎,实现降本增 云服务器 ECS 效。云消息队列 Kafka 最佳实践频道 ...
来自: 最佳实践 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,数据总线,云速搭CADT
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
步骤4 登录 DTS控制台(https://dms.aliyun.com/new#to=migrate ),确认在数据集成→ 同步→上海区域 中的 DTS同步实例已经删除。文档版本:20220207 77 数据库异地灾备 容灾演练 5.1.3.将 RDS灾备实例升为主实例 步骤1 参照章节 3.1.1步骤 1,从 CADT登录 RDS上海热备实例控制台。步骤2 将 RDS上海热备实例的 wp_...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
云速搭部署Flink应用
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构,利用DataHub收集原始数据,推送到Flink进行基于流式数据的分析和应用。
更多信 息,详见:https://www.aliyun.com/product/bigdata/sc 数据总线 DataHub:是阿里云提供的流式数据(Streaming Data)服务,它提供流 式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻松构建基于流式 的分析和应用。详见:https://www.aliyun.com/product/datahub 对象存储 OSS(Object Storage Service...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,实时计算,数据总线,云速搭CADT
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
DTS 提供了数据迁移、实时数据 Data 订阅及数据实时同步等多种数据传输能力,可实现 DTS Transmission 不停服数据迁移、数据异地灾备、异地多活(单元 Service 化)、跨境数据同步、实时数据仓库、查询报表分 流、缓存更新、异步消息通知等多种业务应用场景,助您构建高安全、可扩展、高可用的数据架构。阿里云关系型数据库...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
制作人 阿瑟、明誉 审阅人 云护、江柳 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-05-07 阿瑟、明誉 云护 创建 V1.1 2019-07-25 阿瑟-更新模版 V1.2 2019-11-04 阿瑟 江柳 增加跨账号多VPC的 同步 V1.3 2019-11-13 筱晖-文档优化 V1.4 2019-12-17 阿瑟 增加概览页 文档版本:20191217 I 互联网业务全球化...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
同地域跨可用区容灾
同地域跨可用区容灾
场景描述 面向阿里云公共云客户, 1.业务在同一个地域(Region) 2.应用已经无状态 3.在不大幅增加成本的情况下,希望获得支持业务的跨可用区(Zone)容灾能力 3.希望对整体的应用做容灾备份(简称容灾),而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器(ECS)、数据库(RDS)、专有络(VPC)、负载均衡(SLB)、消息队列(MQ)等
业务节点互通,暂不连接 公网 业务云容灾 同地域跨可用区容灾方案 RDS 主数据地域 北京(高可用 C+E)和业务系统在一个地域,低延迟 中心数据 网络 使用网络规划 VPC 库系统信 实例规格 息 8 核 4GB 存储空间/存储类型 100G/本地 SSD 购买数量 1 数据库:类型,版本 MySQL5.6,高可用版 号,端口号 端口:3306 数据库配置:...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,访问控制
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
ZRS)¥0.15/GB/月存储资源包¥0.10/GB/月存储资源包¥0.033/GB/月无无规格类型适用场景对象最小计量大小最少存储时间要求数据访问特点图片处理数据取回费用存储价格(本地冗余 LRS)存储价格(同城冗余 ZRS)场景推荐选型数据存储数据传输购买更多对象存储 OSS 资源包入门与试用快速上手01开通 OSS 服务1打开 OSS 开通页面2在 ...
来自: 云产品
文件存储NAS
文件存储(Network Attached Storage,简称NAS),是阿里云对外提供的兼容POSXI接口的分布式文件存储,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
大幅降低数据存储成本 了解更多产品功能云原生共享文件存储 多种存储类型 企业级数据管理 企业级数据保护 云原生共享文件存储 通过NFS/SMB协议为弹性计算ECS和容器ACK实例提供跨AZ、区域和VPC的分层目录结构文件访问,支持千个共享访问链接 算分离&计算端加速 容器数据存储至NAS,实现计算弹性下的数据持久化。...
来自: 云产品
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版(简称AnalyticDB)是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务,可用于构建企业级报表系统、数据仓库和数据服务引擎。
数据存储在便宜的HDD介质上,节约存储成本.冷热数据分层.查询速度快,支持对海量日志数据和业务进行即时的复杂关联计算,提高营销效果反馈及时性,快速调整投放策略.营销效果实时反馈.支持多业务数据源,结构化非结构化数据的实时同步.实时多源数据同步.云服务器ECS.云数据库RDS MySQL版.数据传输DTS.推荐搭配产品.广告:...
来自: 云产品
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库,可提供PB级海量数据在线/离线分析服务,是面向各行各业的有竞争力的数仓方案,真正做到“人人可用的数据分析服务”。
支持多种数据源接入,实时flink,OLTP数据同步,离线支持OSS存储、JSON数据、HyperLogLog等功能特性,数据写入实时可用,复杂查询高性能返回,整体辅助用户实现从数据存储、分析到展现的一体化的实时数据分析云平台.基于列存储支持海量数据复杂分析聚合,高并发在线数据探索:基于行存储支持高并发的任意维度在线数据探索....
来自: 云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费,是互联网、IoT、车联网、广告、社交等场景首选数据库,也是为阿里核心业务提供支撑的数据库之一。
基于Lindorm的车联网数据存储处理方案.使用Lindorm AI引擎搭建私域数据知识问答AIGC业务.如何破解HBase+Elasticsearch组合使用遇到的难题.EMQX+Lindorm数据库行业解决方案.基于lindorm的互联网广告解决方案.营销2.0商品卡片(适用鸿蒙1.0).营销2.0商品卡片.通用icon文字列表.千万级高并发吞吐、毫秒级访问延迟。共享存储,...
来自: 云产品
阿里云时序时空数据库TSDB
时序时空数据库 ( Time Series and Spatial-Temporal Database , 简称 TSDB) 是一种集时序数据高效读写,压缩存储,实时计算能力为一体的数据库服务,可广泛应用于物联网和互联网领域,实现对设备及业务服务的实时监控,实时预测告警。
高效写入,支持大规模集群设备高并发写入.TSDB 帮助我们解决了指标数据存储的问题,其表现出的优越性能,零运维成本,数据永久存储,专门的技术支持,都是我们一直使用的原因。目前我们可以很方便的查看实时指标信息和回溯历史的指标信息,及时发现问题,为进一步的决策提供依据,TSDB 是我们不可缺少的一部分.—— 杭州迪...
来自: 云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务,内核基于业界领先的开源分析型数据库 Apache Doris 研发,由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景,致力于为客户提供极致性能、简单易用的数据分析服务。
全量数据存储于廉价稳定的对象存储 OSS 中,存储单价降低约 90%。支持多计算集群共享同一份数据,避免存储冗余,同时提供强大的物理和逻辑隔离能力。总拥有成本(TCO)低于自建数仓 50%。极简易用解决易用性问题支持丰富易用的数据导入方式,帮助客户快速完成数据接入。兼容 MySQL 连接协议和语法,无缝对接十款数据库和...
来自: 云产品
云数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
ClickHouse 支持时序数据存储、支持原生 decimal、内置包含时间窗口函数在内的150+内置函数,为时序数据的聚合分析提供强力支持 推荐搭配使用 云数据库 Redis 版 对象存储 OSS客户案例某潮品社区电商 帮助客户实现实时人群圈选和精准营销。解决自建开源 Elasticsearch 海量日志写入OOM 频发,随机聚合分析效率低问题。数据...
来自: 云产品
实时数仓Hologres
Hologres(原交互式分析)是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与自助分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
基于行表的主键索引和查询引擎的短路径优化,支持每秒十万QPS高性能服务型点查,支持高吞吐更新,相比开源系统性能提升10倍以上.联邦查询,外表加速(Federation).无缝对接MaxCompute,无需数据移动,支持外表透明加速BI访问,支持冷热数据关联分析,支持百万级每秒数据高速同步,支持OSS外表读写,简化数据入湖入仓.高...
来自: 云产品
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL,基于云原生架构,软硬协同优化,提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展,支撑各领域场景化业务,如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
应用场景时空信息领域 企业PostgreSQL标配 OLAP查询加速 SaaS平台 助力IOT高速发展 提供高精尖的专业时空数据存储与计算 Ganos是阿里云开发的数据库时空引擎,对空间/时空数据进行高效存储、索引、查询和分析计算。为路径规划、导航、自动驾驶、热力图分析、LBS、物流追踪等领域提供专业的时空数据存储和计算。引擎历经高德...
来自: 云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓,作为一体化大数据智能计算平台ODPS的大规模批量计算引擎,MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务,使您经济高效的分析处理海量数据,进行敏捷的业务洞察。
基于阿里云 MaxCompute和DataWorks 构建了企业级数据仓库体系,底层数据存储方便、便宜、易拓展,计算效率高、反应快,并支持超大规模数据任务自动化管理。和阿里云的其他平台如 Quick BI良好的兼容打通,很方便的实现了数据应用一体化,减少了大量额外的开发成本和人力成本。平台一直和用户有良好沟通、反馈,不断优化改进...
来自: 云产品
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台,是一种简单易用的公共云灾备服务,可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略,并完全托管备份活动,轻松满足业务与合规需求。
客户可使用Cloud Backup一个工具来保护OSS/NAS存储数据,界面简单易用,源端重删压缩,永久增量,节省花销.49A_行业实战场景.49A_【标题】客户案例.靖鑫,也树,陈博楷.报喜鸟积极谋求数字化转型,通过阿里云 Cloud Backup 产品实现了资源高效利用,为 VMware 实现无代理迁移,免去手工导入数据,完成后可直接拉起 ECS,完成...
来自: 云产品
向量检索服务 Milvus 版
阿里云向量检索服务Milvus版是一款云原生开源向量检索引擎,为用户提供多模态检索服务和高效稳定的向量数据检索能力,与云计算等产品集成对接,为AI应用场景的数据工程提供便利。
在使用向量检索服务 Milvus 版的过程中,存储数据产生的费用,该部分费用采用按量计费的方式。向量检索服务 Milvus 版免费公测中标准版试用申请安全合规阿里云向量检索服务Milvus版是一款向量检索引擎,用于存储和检索大规模向量数据,源于开源,但不止于开源。它完全兼容开源Milvus API,可以从访问控制、网络、存储、操作...
来自: 云产品
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
在线咨询 能够提供 弹性扩容 PolarDB 分布式版采用分层架构可确保在并发、计算、数据存储三个方面均可线性扩展,可根据业务潮汐特点灵活升降配PolarDB 分布式版,应对业务需求。即开即用 基于PolarDB 分布式版可轻松从单机数据库升级到分布式架构,同时提供丰富的运维功能,相比自建分布式架构,大幅降低研发成本。生态兼容...
来自: 云产品
< 1 2 3 4 ... 27 >
共有27页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用