基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
更多信息，请参见：www.aliyun.com/product/rds/mysql 分析型数据库 MySQL版：分析型数据库 MySQL版（AnalyticDB for MySQL）是 一种高并发低延时的 PB级实时数据仓库，全面兼容 MySQL协议以及 SQL:2003 语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。更 多信息，请参见：...
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
实时数仓20讲.15000CU时计算包原价5313元，限时新购仅需59元.15000CU时计算包原价5313元，限时新购仅需59元.<查看全部产品.Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线...
来自：
云产品
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，拥有高吞吐量、高稳定性、低成本等特点，与阿里云大数据生态系统完美打通，让您可以轻松构建基于流式数据的分析和应用。
实时数据仓库.数据总线替换传统数据库，构建实时数仓.查看全部日志.提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据总线.提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统，极大减轻了数据链路的工作量.灵活的缓存时间，下游可...
来自：
云产品
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
随着金融行业发展，传统的离线数仓已经越来越难以满足业务的实时诉求，通过DataWorks构建实时数据仓库，推动行业大数据业务化运营转型.实时客户分析及精准推荐.实时营销活动分析及监控.构建客群标签画像，直观描述群体特征.减少重复营销成本，提高ROI.实时计算Flink版.数据总线DataHub.推荐搭配使用.为了快速数智化转型，...
来自：
云产品
数据传输解决方案
数据传输解决方案支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远距离、毫秒级异步数据传输难题。
实时数据仓库、实时搜索、数据汇总.跨境实时同步.轻量级业务解耦.架构覆盖场景.RPO：0-亚秒级.数据传输特性.数据传输服务DTS业务架构.从RDS向后端数据汇总，获得全局业务的实时统计、BI报表和分析.数据传输DTS.云数据库MySQL.云服务器ECS.其业务系统的数据变化，以订阅消息的方式，快速向下游分发.数据传输DTS.云数据库...
来自：
解决方案
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
波克科技股份有限公司通过引入阿里云云原生实时数据仓库AnalyticDB，实现了每日百亿级游戏玩家行为数据的快速分析和处理，大幅降低数据分析成本，相比原有方案，数据处理性能提升10倍以上.云原生数据仓库 AnalyticDB MySQL版.网络安全升级支持IPV6.通过引入Hologres搭建的实时数仓，支撑了百亿级的业务数据复杂多维分析秒级...
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
更多信息，请参见：help.aliyun.com/document_detail/32321.html AnalyticDB（简称 ADB）：分析型数据库 MySQL版（AnalyticDB for MySQL）是一种高并发低延时的 PB 级实时数据仓库，全面兼容 MySQL 协议以及 SQL:2003 语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和 业务探索。更多信息，请参见：help.aliyun...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
联邦分析架构图 实时数据仓库 实时写入业务数据至实时计算，使用ETL（ExtractTransformationLoad）方式清洗、转换及整理数据。通过Hologres实时查询并输出数据至第三方分析工具，实时分析 数据。典型应用场景如下：数据部门搭建实时数据仓库、展示实时大屏和分析实时Reporting报表。运维和数据应用部门执行实时监控、...
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
随着金融行业发展，传统的离线数仓已经越来越难以满足 业务的实时诉求，通过DataWorks构建实时数据仓库，推动行业大数据业务化运营转型.实时客户分析及精准推荐.实时营销活动分析及监控.构建客群标签画像，直观描述群体特征.减少重复营销成本，提高ROI.实时计算Flink.推荐搭配使用.为了快速数智化转型，拥抱新零售，新零售...
来自：
云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库，致力于为客户提供极致性能、简单易用的数据分析服务。...
来自：
云产品
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
ADB实时数据仓库可以免清洗实时导入各业务关系型数据库 中数据，千亿级别复杂查询毫秒完成，有效支撑灵活、敏捷的运营，经营活动。业务洪峰时段，教育平台内外均希望及时获取整体经营情况动态信息，QuickBI 产品 无缝对接 ADB数据库，提供上百种报表展示方案，让整体大盘情况具象化动态展示，全盘信息一目了然，尽在掌握。...
大数据workshop
大数据workshop
2.整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学 会运用各个服务组件及各个组件之间如何联动。前置知识要求 熟练掌握 SQL语法 对大数据体系系统知识有一定的了解 2.2.项目需求及架构设计 2.2.1.项目需求分析 1.实时采集埋点日志数据 2.实时采集业务数据库中数据 3.对数据进行清洗和处理 4.保存...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
实时数仓 Hologres(原交互式分析)：Hologres是一站式实时数据仓库引擎，支持 海量数据实时写入、实时更新、实时分析，支持标准 SQL（兼容 PostgreSQL协 议），支持 PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延 迟的在线数据服务（Serving），与 MaxCompute、Flink、DataWorks深度融合，提供离在线一体化...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
2.整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会 运用各个服务组件及各个组件之间如何联动。3.理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方 法。前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解 2.2.项目需求及架构设计 2.2.1.项目需求分析 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案，MySQL数据库成为近十年来数据库使用范围最广，数据库生态最好的开源数据库，本方案以MySQL数据库上云的各种场景为切入点，包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
基于分析型数据库MySQL版构建的OLAP数据库解决方案，给企业提供PB级实时数据仓库能力，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索.MySQL数据库亿级以上数据复杂查询.云Redis.通过DRDS分布式数据库解决方案的垂直拆分能力，客户可以获得RDS MySQL的分布式查询能力以及垂直拆分库的管理能力。支持多个RDS ...
来自：
解决方案
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时 分析，支持标准 SQL（兼容 PostgreSQL协议），支持 PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与 MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方 案。云速搭 CADT...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
DTS 提供了数据迁移、实时数据 Data 订阅及数据实时同步等多种数据传输能力，可实现 DTS Transmission 不停服数据迁移、数据异地灾备、异地多活(单元 Service 化)、跨境数据同步、实时数据仓库、查询报表分 流、缓存更新、异步消息通知等多种业务应用场景，助您构建高安全、可扩展、高可用的数据架构。阿里云关系型数据库...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
该最佳实践需要从代码库克隆示例代码，所以请提前准备好Git环境 文档版本：20240418 1通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 部署基础环境 1.基础环境搭建 本实践可通过CADT官方模板快速拉起演示环境。步骤1 登录云速搭CADT管理控制台（https://bpstudio.console.aliyun.com/），单击新建>官 方解决方案>模版...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
比如请求时实时加水印、实 时美颜处理、实时裁剪图片、实时截帧等。部署架构 名词解释 OPAP(ObjectProcessAccessPoint)：是在AP的能力上，拓展了FC功能，通过OPAP访问 的GetObject会触发FC。其他类型的请求会退化到绑定的AP。文档版本：20240304 4基于OSSObjectFC实现非结构化文件实时处理最佳实践 最佳实践概述 AP...
- 产品推荐
- 这些文档可能帮助您