基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
体验此教程会为您创建的资源架构图如下：相关产品云服务器 ECS云数据库 RDS MySQL 版方案咨询01准备资源通过一键部署脚本，快速创建一个模拟环境，包含一个运行网站应用和数据库的ECS实例，以及一个迁移目标RDS实例。02迁移数据库这一步骤将引导您使用数据传输服务DTS，将ECS上自建的数据迁移到RDS中。03验证及切换通过这一...
来自：
解决方案
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC，实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑，对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中，以图片，视频，音频...
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 RDS MySQL 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区云数据库 RDS MySQL 版稳定可靠、可弹性伸缩的在线 MySQL 数据库服务，帮助您免除 MySQL 运维的烦恼。立即购买免费试用...
来自：
云产品
EBS部署高性能的MySQL服务
使用基于ESSD云盘的MySQL服务，可以确保数据一致性和可靠性，又能减少写入操作的次数和延迟，改善MySQL DoubleWrite机制带来的性能问题，提供更高性能的MySQL数据存储服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台EBS部署高性能的MySQL服务方案介绍方案优势应用场景方案部署方案权益EBS部署高性能的MySQL服务通常情况下，MySQL数据库是通过MySQL DoubleWrite机制来确保数据一致性和可靠性。该机制会先将数据写入到临时文件，再写入到真正的数据文件中，...
来自：
解决方案
数据库文件存储DBFS
阿里云数据库文件存储DBFS基于共享存储架构，支持数据库定制和共享读写的线性扩展能力，提供低成本、高性能、高可用的存储服务，助力客户数据库业务无缝迁移上云。
数据库文件存储DBFS企业版公测上线.新增支持Oracle RAC使用场景.存储容量.性能.功能.生态.业务场景.min{1800+50*容量,1000000}.min{100+0.5*容量,4000}MBps.OLTP、OLAP、NoSQL等.min{1800+50*容量,8000000}.min{100+0.5*容量,32000}MBps.中大型OLTP、高性能OLAP、NoSQL等.通过原子写，用户态IO、分离存储、共享读写等特性，...
来自：
云产品
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案，MySQL数据库成为近十年来数据库使用范围最广，数据库生态最好的开源数据库，本方案以MySQL数据库上云的各种场景为切入点，包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
分析型数据库MySQL版应用场景.分析型数据库MySQL版TPC-H测试.分析型数据库MySQL版产品优势.分析型数据库MySQL版数据同步.分析型数据库MySQL版创建集群.ADB快速入门.创建RDS实例.创建RDS实例.根据业务QPS/TPS/存储诉求采购对应规格的RDS MySQL实例，以保证能承载对应业务.创建RDS只读实例.创建RDS只读实例.针对上一步骤创建...
来自：
解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 阿里云安全组 解决问题•实现根据 Kafka 消息的具体内容判断，该对 l 阿里云函数计算(FC)MongoDB 做哪种 DML 操作，并且用户可以自行 扩展函数计算中函数的逻辑，实现自己的业务场 l 阿里云云数据库 MongoDB 版 景。函数计算具有完善的日志系统、容错机制。可 l 阿里云云消息队列 Kafka 版 以清晰的看到对每条消息的处理...
云数据库RDS MySQL版备份恢复
场景描述 用户数据库数据， 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求， 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复， 快速应对误操作误删除等逻辑错误， 降低业务损失。 2. 可以方便实现异地备份， 实现数据级容灾， 满足合规要求。 3. 可以方便将数据进行归档， 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率， 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
云数据库 RDS MySQL版备份恢复 最佳实践 业务架构 场景描述 用户数据库数据，部分需要快速、小颗粒 度恢复、部分需要异地备份、部分需求长 期归档。当前自建 MySQL上建立完善的 备份/恢复系统无法完美满足用户需求，且建设/维护成本很高。RDS的完善的备 份/恢复方案可以有效帮助到用户。方案优势 1.可以方便实现本地备份及...
云原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库，100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍，TCO低于自建数据库50%。
加索引，速度较开源MySQL版相同配置提升10倍.列存索引功能结合面向列式数据的并行向量化执行引擎大幅度提升复杂查询的执行效率。从而使得PolarDB MySQL实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套数据库系统，即可满足业务的OLTP及OLAP需求.集群分钟级扩展读写能力；自动...
来自：
云产品
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
产品列表 最佳实践频道 阿里云最佳实践分享群 弹性高性能计算 E-HPC Serverless版 文件存储 NAS 云速搭 CADT 容器镜像服务 ACR NAT网关 云服务器 ECS 钉钉扫描二维码或搜索钉群号 31852400入群 基于云速搭 CADT快速部署 药物筛选批量计算环境 Serverless版 文档版本：20240204（发布日期）基于云速搭 CADT部署药物筛选批量...
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版，并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
02 部署资源创建VPC网络、云服务器ECS、云数据库RDS MySQL版，并写入库表信息。03 数据库迁移将RDS升级至PolarDB，升级后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要参数。04 完成及清理如完成本方案部署后无需使用相关资源，请释放相关云资源。一键部署手动部署方案权益优惠购买免费试用询价中.加入...
来自：
解决方案
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
相关产品云数据库 SelectDB 版本产品云数据库 RDS MySQL 版云消息队列 Kafka 版数据传输服务DTS实时计算Flink版在线咨询即席多维分析传统解决方案面临的挑战包括：计算分析过程复杂，难以快速响应查询；表结构不灵活，不适应灵活的业务变化；数据发生变化时，原有数据无法实时更新。基于 SelectDB 建设多维数据分析平台，可...
来自：
云产品
数据库自动扩缩容和自动SQL优化
方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化，将基于人工的手动式运维转变为基于智能的主动式持续优化，具有数据库运维成本低，服务稳定性高的优势。
相关产品云服务器 ECS云数据库 RDS MySQL 版数据库自治服务 DAS专有网络 VPC在线咨询方案优势节省管理成本使用一个平台管理数据库，降低管理复杂性，同时提供数据库自感知、自修复、自优化、自安全的服务，减少数据库的管理成本。提升稳定性根据业务负载实时调整数据库配置，保证高负载期的性能，减少业务负载波动引起的宕...
来自：
解决方案
云数据库Redis
云数据库 Redis 版是一种全托管、兼容Redis协议的内存数据库服务，包含社区版Redis和企业版Tair，支持主从、集群和读写分离架构，具备低延迟、大吞吐、弹性扩缩容的特点。Tair提供多种系列满足不同场景的性价比要求，更有全球多活、数据闪回、大热Key探测与优化、丰富的数据结构，赋能大规模高性能要求的在线数据业务。
云数据库RDS MySQL版.云数据库Redis.负载均衡SLB.推荐搭配使用.视频直播类应用.数据库性能高扩展.游戏公司为了快速抢占市场，需要快速的开发出新产品吸引玩家，云数据库Redis版能减少系统开发复杂度，业务爆发时可轻松弹性扩容，满足高性能业务要求.满足游戏分服类应用的分服、滚服弹性扩展需求；数据持久化能力可减轻业务...
来自：
云产品
云原生数据库
PolarDB是阿里云自研的云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，支持分布式扩展，高度兼容Oracle语法。
购买 MySQL 版.购买分布式版.云原生数据库 PolarDB 是阿里云自研产品，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，支持分布式扩展，高度兼容Oracle语法.购买 PostgreSQL 版.云原生数据库 PolarDB.云原生数据库 PolarDB，...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
云数据库 RDS MySQL 版.云数据库 RDS PostgreSQL 版.云数据库 RDS SQL Server 版.云数据库 RDS MariaDB 版.云数据库 Redis 版.云原生内存数据库 Tair 版.云原生多模数据库 Lindorm.云数据库 MongoDB 版.云原生数据仓库 AnalyticDB MySQL 版.云原生数据仓库 AnalyticDB PostgreSQL 版.云数据库 ClickHouse.云数据库 SelectDB...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您