基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
通过与 Grafana 联动，向客户提供开箱即用的应用概览大盘，实时展示监控应用的 会话数、PV/UV、访问速度、JS 错误率、崩溃率等关键指标.数据探索.支持快捷筛选和自定义维度搜索两种方式，对数据进行过滤筛选，支持维度丰富的指标聚合、展示能力.根据用户 ID 实现全链路追踪，复现用户访问的行为轨迹，包括页面加载、接口...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
同时，数 据中台的快速推进，使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。Hologres致力于低成本和高性能地大规模计算型存储和 强大的查询能力，为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，...
来自：
解决方案
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
阿里云 RDS for MySQL 兼容MySQL 5.5、MySQL 5.6、MySQL 5.7、MySQL 8.0版本，并没有 DATEADD 函数，但是同样支持开源社区 MySQL 支持的 DATE_ADD 函数云数据库 RDS MySQL 从入门到高阶MySQL 是当今最主流的开源数据库，它以稳定性、安全性、灵活性、低成本等优势获得了大量用户的认可，在国内也有广泛受众群体。...
来自：
云产品
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
25 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 这里数据库名 kafkaToMongoDB 查询 中的数据 2.4.MongoDB 步骤1 双击新建的库，可以看到默认的 test 集合，通过 db.test.find().limit(20);命令可以查询 该集合的数据，可以看到目前该集合中是没有任何数据的。26 文档版本...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库，致力于为客户提供极致性能、简单易用的数据分析服务。...
来自：
云产品
数据库自治服务DAS
阿里云数据库自治服务（Database Autonomy Service，简称DAS）是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、安全及高效。
产品具有多主多写、多活容灾、HTAP特性，交易性能最高可达开源数据库的6倍，分析性能最高可达开源数据库的400倍，TCO 低于自建数据库50%.云原生数据库 PolarDB MySQL 版.图片56*56(不可与icon共存）.图片logo.icon名称(不可与图片logo共存）.icon名称.不填写不展示.查看更多商品.更多产品与服务.一站式数据库自治服务，支持...
来自：
云产品
云原生数据库
PolarDB是阿里云自研的云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，支持分布式扩展，高度兼容Oracle语法。
产品具有多主多写、多活容灾、HTAP特性，交易性能最高可达开源数据库的6倍，分析性能最高可达开源数据库的400倍，TCO 低于自建数据库50%.PolarDB MySQL 版.100%兼容 PostgreSQL，高度兼容Oracle语法。为用户提供快速弹性、高性能、海量存储、安全可靠的数据库服务，同时支持阿里云自研Ganos多维多模时空信息引擎及开源...
来自：
云产品
云原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库，100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍，TCO低于自建数据库50%。
通过PolarDB多主集群、HTAP和透明...产品具有多主多写、多活容灾、HTAP特性，交易性能最高可达开源数据库的6倍，分析性能最高可达开源数据库的400倍，TCO 低于自建数据库50%.云原生数据库 PolarDB MySQL 版.查看全部日志.快速使用 PolarDB MySQL 产品.了解如何更好地使用产品.更多实践案例和操作指导.PolarDB MySQL 常见答疑.
来自：
云产品
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案，MySQL数据库成为近十年来数据库使用范围最广，数据库生态最好的开源数据库，本方案以MySQL数据库上云的各种场景为切入点，包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
分析型数据库MySQL版.MySQL是全球最受欢迎的开源数据库之一，作为开源软件组合LAMP中重要一环，广泛应用于各类数据库上云应用场景.云数据库RDS MySQL 版.应用场景及优势.方案指导流程.创建RDS实例.创建RDS实例.根据业务QPS/TPS/存储诉求采购对应规格的RDS MySQL实例，以保证能承载对应业务.创建RDS只读实例.创建RDS只读实例...
来自：
解决方案
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
云数据库RDS PostgreSQL相比其它开源数据库，事务处理能力更优，保障多表关联JOIN时的系统性能.单表上亿数据性能平稳，基于Hash JOIN支持高性能多表查询.提供TB级OLAP支持，适用于中等数据量（32TB及以下）数据分析业务.OLAP方案.基于对象存储OSS外部表将冷数据保存到云存储并可与分析型数据库PostgreSQL版交互.无限空间...
来自：
云产品
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
更多问题交流讨论FAQ.RDS MySQL 版是全球最受欢迎的开源数据库之一，广泛应用于各类应用场景.云数据库 RDS MySQL 版.RDS SQL Server 是阿里云基于微软正版授权的SQL Server提供的稳定可靠、可弹性伸缩的在线数据库服务，可以无缝适配企业自研或采购软件的数据库直接部署运行.云数据库 RDS SQL Server 版.高可靠双机热备架构...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
具有多主多写、多活容灾、HTAP特性，交易性能最高可达开源数据库的6倍，分析性能最高可达开源数据库的400倍，TCO 低于自建数据库50%.自研产品，100%兼容PostgreSQL，高度兼容Oracle语法。为用户提供快速弹性、高性能、海量存储、安全可靠的数据库服务，同时支持阿里云自研Ganos多维多模时空信息引擎及开源PostGIS地理信息...
来自：
云产品
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
步骤7 完成数据库恢复配置之后，预检查将会检查所有前面的配置选项、数据库连通性、数 据库权限等内容。预检查完成后，单击立即启动。步骤8 在恢复任务列表，可以看到该恢复任务状态从初始化中，运行中，变到完成，单击管 理，可查看恢复任务详情。文档版本：20220207 84 数据库异地灾备 容灾演练 步骤9 恢复完成后，点击 ...
云数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持，广泛应用于新零售、医疗、房地产等行业。
云数据库 RDS MySQL 版是全球最受欢迎的开源数据库之一，广泛应用于各类应用场景.云数据库 RDS MySQL 版.高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求.云数据库 Redis 版.云数据库 MongoDB 版支持副本集和分片集群两种部署架构，具备分钟级弹性扩缩容、快速备份恢复、安全审计...
来自：
云产品
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
比如聚合任务按小时、天维度计算的聚合值，清洗任务加工的按天分区表等，在数据对比时就可以根据对应的时间周期来进对比，比如小时周期的任务实际已完整处理多个小时数据 后，就可以对比处理过的小时数 据，而天维度的聚合值，一般就需要等待新任务处理完完整的一天数 据后才能对比。2、数据规模 中小数据规模:建议进行全量...
- 产品推荐
- 这些文档可能帮助您