云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库，可提供PB级海量数据在线/离线分析服务，是面向各行各业的有竞争力的数仓方案，真正做到“人人可用的数据分析服务”。
同时可以结合 Dataworks 的 ETL 调度功能，基于 AnalyticDB for PostgreSQL实现企业数据仓库平台.通过 MPP 架构，提供 PB级企业数据分析服务.通过分布式SQL优化器 ORCA，实现免调优复杂SQL分析计算.多类型数据库（开源数据库、传统商业数据库）归为一处，构建企业统一数据仓库.推荐搭配使用.企业级云原生数据平台.企业级云...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
钱大妈风控业务架构，主要由事件接入，风险应对，风险感知，风险回溯四个部分构成，阿里云实时计算Flink版产品在线ETL加工实时用户画像标签和销售事实指标，为钱大妈实时规则引擎的事件接入提供了重要的数据源支持。该风控技术方案已应用于钱大妈集团业务中，准确识别营销活动风险点，为用户利益保驾护航.查看案例详情.易仓...
来自：
云产品
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
数据管理服务 DMS 是一款支撑数据全生命周期的一站式数据管理平台，提供全域数据资产管理、数据治理、数据库设计开发、数据集成（上云迁移、容灾、多活、ETL）、数据开发及数据消费服务等能力.数据管理 DMS.基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂...
来自：
云产品
云数据库 Cassandra 版
Cassandra是连续9年DB-Engines排名第一的宽表数据库，支持类SQL语法CQL，开发体验类似MySQL，可扩展PB级存储。推出企业版Lindorm for Cassandra云原生多模数据库，采用存储计算分离架构，支持海量数据的低成本存储和按需付费，具备更高性价比和更为丰富的企业级功能。
一分钟300 Spark节点弹性扩展，满足ETL、机器学习等需求；Presto满足在线交互式需求.Serverless分析引擎Spark&Presto.基于Spark RDD构建了统一的时空数据模型，方便建模.Ganos时空数据分析.综合治理，支持丰富的自研、开源引擎.Dataworks构建数据湖统一开发平台.云数据库Cassandra版支持节点升配及降配：从容应对可预知的...
来自：
云产品
云数据库OceanBase
云数据库 OceanBase 版是构建在阿里云基础设施上的公有云数据库服务，基于完全自主研发的原生分布式数据库。通过多租户、高压缩存储、多级弹性伸缩、HTAP等能力，在保障数据库高性能的同时，显著降低数据库成本。同时在云上集成了评估、迁移、监控、诊断、备份恢复、运维优化等工具，让数据库管理与运维更简单。
无需复杂的 ETL 和冗余数据，一套数据同时支持事务处理和实时分析的工作负载。不会干扰关键业务，也不会产生额外的成本，且具备可支持复杂 SQL 处理的企业级优化器.HTAP 实时分析能力.兼容 Oracle 和 MySQL 语法，支持过程语言、触发器等高级特性，应用层基本无需改动，即可实现应用与数据的快速搬迁.高兼容MySQL与Oracle....
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
Presto,支持 SQL 并提供了一个标准数据库的语法特性，但其不是一个通常意义上的 关系数据库，而是定位在数据仓库和数据分析业务的分布式 SQL引擎，为交互式查询 而设计，比较适合的应用场景有 ETL、Ad-Hoc查询、海量结构化数据与半结构化数据 分析以及海量多维数据聚合与报表。在如下的两个测试场景下，ClickHouse明显比 ...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
云消息队列 Kafka 版支持数据流转到 Flink，实现ETL处理、实时数据分析等业务.云消息队列 Kafka 版兼容标准规范，支持海量开源组件或者云产品连接.海量数据生态对接.VPC 网络隔离，对每次消息收、发请求进行安全访问控制，确保消息的安全性.全面支持 RAM 主子账号、黑白名单、STS 等功能，提供授权能力.SASL 用户身份认证与...
来自：
云产品
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
可按需增购赠送基础容量，可按需增购数据准备(轻量ETL)不支持不支持赠送基础容量，可按需增购组织管理群工作空间单工作空间多工作空间多工作空间组织管理不支持支持支持权限管理不支持支持支持统计分析不支持支持支持资源包管理不支持不支持支持开放集成对接钉钉/企微/飞书不支持不支持支持开放API不支持不支持支持数据服务...
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
文档版本：20210224 86 游戏数据运营融合分析 数据融合 步骤3 将 OSS的数据通过 DLA写入 ADB大容量库，执行 SQL语句对 json数据进行 ETL 操作，注意修改插入数据时的查询条件到对应日期，以免没有数据。文档版本：20210224 87 游戏数据运营融合分析 数据融合 注意：由于主键冲突会丢弃部分垃圾数据，所以实际插入 ADB的数据...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
通过实时计算 Flink实现实时 ETL和数据流。DataV数据可视化 3.通过实时计算 Flink实现实时数据分析。4.通过实时计算 Flink实现事件触发。最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Flink的资讯场景实时数仓 最佳实践 文档版本：20220223（发布日期）文档...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景，将 Kafka 中的消息流转到其 他下游服务是很常见的场景，除了常规的消息流 转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。该方案实现了通过 Kafka 中消息 Key 的内容来判 断应该对 MongoDB做增、删、改的哪种...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
1.创建数据开发节点，本示例节点名称为：data_etl1.输入相关sql语句，包括对log_push_raw、log_push添加分区:ALTERTABLElog_push_rawADDPARTITION(pure_date='20220224');ALTERTABLElog_pushADDPARTITION(pure_date=20220224);对数据进行清理等操作并写入log_push_raw（code7）和log_push（code9）:InsertOVERWRITETABLElog...
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
兼容PostgreSQL生态，提供JDBC/ODBC接口，轻松对接第三方ETL和BI工具，包括QuickBI、DataV、Tableau、帆软等。支持GIS空间数据分析.DataWorks开发集成.与DataWorks深度集成，提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具，支持数据资产、数据血缘、数据实时同步、数据服务等企业级能力.达摩院Proxima向量检索...
来自：
云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
提供简单高效的内置 ETL 能力，可通过 SQL 轻松进行数据处理转换。轻量级表结构变更支持轻量的表结构变更，可秒级在线完成表结构变更。提供丰富的半结构化类型（如Map、Array、Json等）、高性能的宽表处理能力（高达数千列），充分满足业务的灵活多样性。秒级交互式分析提供丰富的即席分析函数（如留存分析函数、画像分析...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
本方案向客户提供ADB+DLA的数据仓库组合，完美解决大数据量分析和运营效率问题，实现海量数据实时写入和复杂ETL计算，用户画像、交互报表、实时数据服务等查询加速需求.ADB MySQL版完全兼容MySQL的语法和使用习惯，上手成本低.将重分析类SQL从RDS切换到ADB高性能库，亿级数据实时秒级拉取，可支持单表记录数百亿级.ADB支持...
来自：
云产品
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
EMR 前言 前言 概述 客户在 IDC或者公有云环境自建 Hadoop集群，数据集中保存在 HDFS文件系统，同 时借助 Hive进行 ETL任务。客户在决策上云之后，会将自建 Hadoop集群的数据迁 移到阿里云 EMR集群。在迁移过程中，Hive迁移主要分为三部分：底层数据迁移 保存在 HDFS的数据可通过 Hadoop原生的 DistCp工具进行迁移，详细...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 前言 前言 概述 客户在 IDC或者公有云环境自建 Hadoop集群，数据集中保存在 HDFS文件系统，同 时借助 Hive进行 ETL任务。客户在决策上云之后，会将自建 Hadoop集群的数据迁 移到阿里云 Databricks数据洞察集群。应用范围 需要使用 Spark优化方案的用户 对 Spark大数据...
- 产品推荐
- 这些文档可能帮助您