基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
支持在IM工具或者控制台内提供完整的告警全生命周期管理，如认领、关闭、屏蔽、关注、解决等.应用监控-每月50GB免费额度，满足分布式应用监控与链路追踪需求.前端监控-每月50GB免费额度，满足网站、小程序、APP监控需求.可观测链路OTel版-每月50GB免费额度，满足多语言应用监控需求.可观测监控Prometheus版-每月50GB免费...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
实时分析架构图 加速查询MaxCompute离线数据 写入业务数据至离线数据仓库MaxCompute，通过Hologres直接加速查询或导入数 据至Hologres查询，并对接BI分析工具，实现实时分析离线数据。典型应用场景如 下：实时查询MaxCompute离线数据。分析MaxCompute离线数据报表。输出MaxCompute离线数据的在线应用，例如RESTfulAPI...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
VPN网关 VPN网关是一款基于 Internet的网络连接服务，通过加密通道的方式实现企业数 据中心、企业办公网络或 Internet终端与阿里云专有网络（VPC）安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN，不仅可以更方便的配置和...
资源管理
阿里云资源管理，企业级资源管理服务，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。资源管理（Resource Management）包括资源组（Resource Group）和资源目录（Resource Directory）。资源组是在阿里云账号下进行资源分组管理的一种机制，资源组能够帮助您解决单个云账号内的资源分组和授权管理的复杂性问题。资源目录（Resource Directory）是阿里云面向企业客户提供的一套多级资源(账号)关系管理服务。
阿里云资源管理服务包含一系列支持企业IT治理的资源管理产品集合。其中主要产品为资源组和资源目录。资源管理服务支持您按照业务需要搭建适合的资源组织关系，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。
灵活调度，高效编排，容器化管理云上应用
本方案介绍如何快速地使用容器镜像服务ACR构建镜像，使用镜像在ACK中部署应用，使用ALB作为Ingress对外提供服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台容器化管理云上应用为什么选择ACK方案介绍应用场景方案部署方案权益灵活调度，高效编排，容器化管理云上应用在企业上云的过程中，容器化应用托管已经逐渐成为主流，其中以能够自动部署、扩展、管理容器化应用以及能实现应用的快速上线与...
来自：
解决方案
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，...
来自：
解决方案
系统运维管理 OOS
阿里云系统运维管理（简称OOS）提供的云上自动化运维服务，通过执行模板来完成任务的自动化运行，可以使用OOS管理ECS、RDS、SLB、VPC等云产品，提升日常运维管理效率
简称：OOS）是一组系统管理工具的集合，它包含多种系统管理的自动化工具，包括自动化任务（支持批量操作、定时任务、任务模板、跨地域运维等，也可提供重要运维场景的审批、通知等功能）、补丁管理、参数管理、配置清单等，提升对ECS、RDS、SLB等多种云产品的编排效率。OOS支持开源工具Terraform进行管理和操作。您可以免费...
来自：
云产品
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容...40 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 如果通过 CADT 只是部分释放成功，需要去对应的产品控制台进行清理避免产生非预 期费用，如果通过控制台清理仍然失败，请提交工单给对应的产品进行处理。41 文档版本：20240304
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
其中杭州部署 MySQL数据库和数据库网关，上海部署 PgSQL数 据库。注意：上述模板中“自建 MySQL”和“自建 PgSQL”已经和公网 IP绑定，在部署完 数据库软件后，可以解绑公网 IP。模拟仅有内网 IP的数据库服务器。步骤3 部署所有资源。单击部署资源，单击下一步，直到完成资源部署。文档版本：20201224（发布日期）8 混合云...
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
RDS MySQL 支持实例管理、账号管理、数据库管理、备份恢复、白名单、透明数据加密以及数据迁移等基本功能，还支持读写分离、SQL 审计、多可用区集群等高级功能。云数据库 RDS MySQL 版原理架构基础版、高可用版、集群版适用于各类开发生态和应用场景。快速开启您的数据库上云之旅，仅需每月18元起 产品优势稳定可靠解决可用...
来自：
云产品
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
基于云速搭 CADT快速部署药物筛选批量计算环境-Serverless版 场景描述 部署架构 本方案基于云速搭 CADT 提供一个快速构建云上 Serverless版 HPC批量计算环境的模板，针对生物 制药领域的药物筛选场景，提供开箱即用的整套解 决方案工具包，整个云上环境仅需 1个小时即可完 成自动化部署搭建。解决问题 快速构建适用于药物...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
立即购买管理控制台快捷入口控制台文档APISDK价格计算器产品定价热门商品产品动态内容甄选最新动态阿里云数据库 SelectDB 版支持云原生存算分离架构2024.05.21最新动态阿里云 SelectDB 携手 DTS，一键实现 TP 数据实时入仓2024.03.18最新功能基于Apache Doris 2.0开发的阿里云数据库 SelectDB 3.0版发布2023.10.12开发参考...
来自：
云产品
数据库自动扩缩容和自动SQL优化
方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化，将基于人工的手动式运维转变为基于智能的主动式持续优化，具有数据库运维成本低，服务稳定性高的优势。
相关产品云服务器 ECS云数据库 RDS MySQL 版数据库自治服务 DAS专有网络 VPC在线咨询方案优势节省管理成本使用一个平台管理数据库，降低管理复杂性，同时提供数据库自感知、自修复、自优化、自安全的服务，减少数据库的管理成本。提升稳定性根据业务负载实时调整数据库配置，保证高负载期的性能，减少业务负载波动引起的宕...
来自：
解决方案
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
数据库管理工具.云原生数据库 PolarDB MySQL 版.云原生数据库 PolarDB PostgreSQL 版.云原生数据库 PolarDB 分布式.云数据库 RDS MySQL 版.云数据库 RDS PostgreSQL 版.云数据库 RDS SQL Server 版.云数据库 RDS MariaDB 版.云数据库 Redis 版.云原生内存数据库 Tair 版.云原生多模数据库 Lindorm.云数据库 MongoDB 版.云...
来自：
云产品
云数据库OceanBase
云数据库 OceanBase 版是构建在阿里云基础设施上的公有云数据库服务，基于完全自主研发的原生分布式数据库。通过多租户、高压缩存储、多级弹性伸缩、HTAP等能力，在保障数据库高性能的同时，显著降低数据库成本。同时在云上集成了评估、迁移、监控、诊断、备份恢复、运维优化等工具，让数据库管理与运维更简单。
同时在云上集成了评估、迁移、监控、诊断、备份恢复、运维优化等工具，让数据库管理与运维更简单.免费体验开源版.云数据库 OceanBase 版.查看全部日志.立即购买&购物车.查看更多商品.推荐产品规格.单区域 3 可用区部署，RPO=0，RTO 不超过30秒，故障自动切换。可抵御个别硬件故障和可用区灾难.三区域 5 可用区部署，RPO=0，...
来自：
云产品
企业级云灾备与数据管理
本方案以备份 ECS 文件为例，介绍如何部署一个简单的云灾备环境，以满足常见的数据保护需求。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台企业级云灾备与数据管理方案介绍方案优势应用场景方案部署方案权益企业级云灾备与数据管理云备份 Cloud Backup 为企业数据安全提供了全方位的云灾备、冷热数据统一管理能力，全面覆盖公共云、混合云以及本地 IDC 生产环境，帮助用户减少因...
来自：
解决方案
高性能数据库ECS测试及选型
概述 客户自建高性能数据库（如电商大促）在做ECS选型时，对磁盘的IO、网络的吞吐都有很大要求，为了跟接近真实业务场景，使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景 自建数据库性能测试 磁盘性能测试 ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 基于标准的TPC-C测试，接近真实业务场景。 提供多规格实例测试，快速选择最优性价比实例。
文档版本：20201104 16 高性能数据库 ECS测试及选型 基础环境搭建 文档版本：20201104 17 高性能数据库 ECS测试及选型 基础环境搭建 步骤11 安装 SQL Server管理工具。文档版本：20201104 18 高性能数据库 ECS测试及选型 基础环境搭建 1.4.配置 SQL Server 步骤1 进入 SQL Server 配置管理，启用 Named pipes和 TPC/IP。...
数据库专家服务
阿里云数据库专家服务以工具与数据库专业技能结合的方式，给客户提供云数据库产品本身能力范围之外的专业服务。主要包括：紧急救援，健康诊断、性能调优、护航保障、Oracle迁移、技术培训、顾问咨询等服务，同时给出专业的报告与建议。
专家服务成员在各自数据库领域平均有10年以上数据库管理、架构、运维及优化经验.10年以上DBA经验.数据库专家服务常见问题.SQL Server是发行最早的商用数据库产品之一，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持.云数据库RDS SQL Server 版.高可靠双机热备架构及可无缝扩展的集群...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您