基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
更多信息，请参见：https://www.aliyun.com/product/vpc EIP：独立的公网 IP资源，可以与阿里云专有网络 VPC类型的 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定，并可以动态解绑，实现公网 IP与 ECS、NAT 网关、ENI 网卡、SLB 的解耦，满足灵活管理的要求。更多信息，请参见：https://www.aliyun.com/product/eip ECS：云...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
页游 页游计算复杂度相对端游、手游较轻，单个游戏区对服务器的计算能力和网络吞吐能 力没有特殊要求，一般的六代实例即可，通常会采用一机多开的方式，会依据计算负 载来决定每台服务器开服的数量。页游通常采用快速开服、合服的运营策略，短时间内可能开通上千个游戏区，并随着 每个区的活跃玩家降低而陆续的合服，通过...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
使用云控制台管理云 ClickHouse 业务上使用云 ClickHouse集群，如果集群当前的配置无法满足需求，您可以对集群配 置进行变更，ClickHouse集群配置变更包括垂直升配、垂直降配、水平扩容和水平缩 容。2.1.利用云控制台垂直升配云 ClickHouse集群 本章节介绍如何通过云控制台垂直升配云 ClickHouse集群，提升集群单节点的计算...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc SLB：Server Load Balancer，简称 SLB。多台云服务器进行流量...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
阿里云最佳实践分享群 最佳实践频道 产品列表 云服务器 ECS、负载均衡 SLB、云企业网 CEN 云数据库 RDS、性能测试 PTS 如二维码过期，请搜索群号：数据传输服务 DTS 31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 跨云迁移单写双读过渡架构 最佳实践 文档版本：20201209 文档版本：20150122...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ECS：云服务器 ECS（Elastic Compute Service）是阿里云提供...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
专有网络 VPC（Virtual Private Cloud）是用户基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创 建和管理云产品实例，比如 ECS、负载均衡、RDS 等。更多信息，请参见：www.aliyun.com/product/vpc ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处理...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
您可以在自己创建的专有网络内创 建和管理云产品实例，比如ECS、负载均衡、RDS等。在部署云资源前，您需要 结合具体业务，规划VPC和交换机的数量及网段等。更多信息，请参见：www.aliyun.com/product/vpc 访问控制RAM：RAM使您能够安全地集中管理对阿里云服务和资源的访问。您 可以使用 RAM 创建和管理用户和组，并使用...
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新。
阿里云消息系列公开课 vol.4 ——《RocketMQ 全新负载均衡机制解析》.EventBridge 系列课程直播回放.介绍EDA（事件驱动）架构的应用价值与适用场景，为大家带来全方位的 EDA（事件驱动）解读.通过 API 端点，用户可以轻松实现EventBridge与微服务、或SaaS服务进行集成.为什么函数计算是最好的事件驱动服务，为什么我们如此...
来自：
云产品
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
更新 CADT模板，文档优化 文档版本：20220402 I MaxCompute湖仓一体方案 产品介绍 产品介绍 VPC：专有网络 VPC（Virtual Private Cloud）是用户基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创 建和管理云产品实例，比如 ECS、负载均衡、RDS 等。更多信息，请参见：...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
负载均衡SLB.实时计算 Flink版.推荐搭配使用.网站活动跟踪.网站活动跟踪.股市走向分析、气象数据测控、网站用户行为分析等领域，由于数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。而云消息队列 Kafka 版以及 Storm/Samza/Spark 等流计算引擎的出现，...
来自：
云产品
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。ECS：Elastic Compute Service,简称 ECS。是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备，...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
您可以在自己创建的专有网络内 创建和管理云产品实例，比如 ECS、负载均衡、RDS等。在部署云资源前，您 文档版本：20211203 III SLS多云日志采集、处理及分析 前言 需要结合具体业务，规划 VPC和交换机的数量及网段等。更多信息，请参见专有 网络VPC简介（https://www.aliyun.com/product/vpc）。云服务器 ECS（Elastic ...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC 和交换机的数量及网段等。更 多 信 息，请 参 考：https://www.aliyun.com/product/vpc ECS：Elastic Compute Service，简称 ECS...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
您可以在自己创建的专有网络内创 建和管理云产品实例，比如ECS、负载均衡、RDS等。在部署云资源前，您需要 结合具体业务，规划 VPC 和交换机的数量及网段等。详见：https://help.aliyun.com/product/27706.html 对象存储OSS：对象存储服务（ObjectStorageService，OSS）是一种海量、安 全、低成本、高可靠的云存储服务，...
ALB实现跨地域负载均衡
当客户在阿里云多地域均部署了服务，使用负载均衡结合云企业网及转发路由器可实现应用跨地域负载均衡，通过将跨地域流量分发到不同的后端服务器来扩展系统的吞吐能力，消除单点故障，提升应用系统的可用性与安全性。
当客户在阿里云多地域均部署了服务，使用负载均衡结合云企业网及转发路由器可实现应用跨地域负载均衡，通过将跨地域流量分发到不同的后端服务器来扩展系统的吞吐能力，消除单点故障，提升应用系统的可用性与安全性。ALB实现跨地域负载均衡 当客户在阿里云多地域均部署了服务，使用负载均衡结合云企业网及转发路由器可实现...
来自：
技术解决方案
企业多账号配置统一合规审计
面向企业的各中心管理团队提供一种面向多账号的合规管理方案。从上而下的实施统一的合规基线并强制管理，可中心化的持续监测所有业务的合规状态。提升中心管理团队工作的可见性可控性，切实起到监管效力，规避潜在风险。
立即部署 55分钟 免费（资源目录、配置审计均为免费产品）资源管理 配置审计 云服务器 ECS 云企业网 Web应用防火墙 对象存储 应用场景 技术方案的广泛应用场景 高效实施企业内控基线 企业为保证经营活动的有序运行，保障IT服务的稳定性和合规性，通常会对IT服务制定相关管控措施，来进行监督和审计。法规及行业标准预检 ...
来自：
技术解决方案
灵活配置，高效执行，快速集成分布式任务调度
企业级应用中经常会遇到数据定时处理、文件处理、报表生成等定时处理的任务，对于任务配置和执行率有较高要求，本文介绍如何利用SchedulerX来实施企业级定时任务的调度与管理，为定时任务提供高效、稳定和灵活的解决方案。
企业级应用中经常会遇到数据定时处理、文件处理、报表生成等定时处理的任务，对于任务配置和执行率有较高要求，本文介绍如何利用SchedulerX来实施企业级定时任务的调度与管理，为定时任务提供高效、稳定和灵活的解决方案。灵活配置，高效执行，快速集成分布式任务调度 企业级应用中经常会遇到数据定时处理、文件处理、报表...
来自：
技术解决方案
负载均衡
阿里云负载均衡（Server Load Balancer，简称SLB）是云原生时代应用高可用的基本要素。通过对多台云服务器进行均衡的流量分发调度，消除单点故障提升应用系统的可靠性与吞吐力。阿里云SLB包含面向4层（TCP/UDP）的传统型负载均衡CLB和面向7层（HTTP/HTTPS/QUIC）的应用型负载均衡ALB，是阿里云官方云原生网关。
无论是使用阿里云ACK/ASK/SAE还是开源K8S，云原生网络均可用到负载均衡服务来实现流量调度.与ACK/SAE/K8S深度集成，是阿里云官方云原生Ingress网关.负载均衡提供完善的API能力，支持GRPC协议，实现海量微服务间的高效API通信.完善的API能力.我们的功能优势.容器服务ACK.弹性公网IP.云数据库RDS.推荐搭配使用.云原生网络应用...
来自：
云产品
云速搭部署和导入公网型负载均衡CLB
本实践讲解如何通过云速搭导入一个已保有的公网型负载均衡 CLB，并部署一个新的公网型 CLB。
云速搭部署和导入公网型负载均衡CLB 文档版本信息 云速搭 部署和导入公网型负载均衡 CLB 最佳实践 文档版本：20211104（发布日期）云速搭部署和导入公网型负载均衡CLB 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署和导入公网型负载均衡 CLB 文档编号 256 文档版本 V1.0 版本日期 2021-11-04 文档状态...
- 产品推荐
- 这些文档可能帮助您