基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤6 当集群状态处于运行中后，单击集群 ID，复制 VPC地址和端口号（后续通过 Blink任 务将数据 ETL清洗后，导入到 ClickHouse）。步骤7 创建账号。文档版本：20201224 27 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤8 添加白名单，填写集群所在 VPC的 IP段。文档版本：20201224 28 基于 Flink+...
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云，但想使用阿里云公共云的安全服务；或 者业务系统部署在多个云平台上，想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务，统一管理阿 里云、IDC和它云的资产； 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
2.2.VPN 如果是 IDC环境，可以使用硬件 VPN设备或者防火墙设备的 VPN模块；如果是其他 云平台，可以直接使用云平台的 VPN产品。本最佳实践以某云平台为例，IP地址为 123.206.22.236；记住该地址，后续建立 VPN 连接时使用。文档版本：20200630 4 混合云多云统一安全 建立网络连接 3.建立网络连接 阿里云 VPC与线下 IDC或它...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时 释放资源，节省费用。更多信息，请参见：https://www.aliyun.com/product/ecs MSE：微服务引擎(MSE)是开源注册、配置中心的全托管平台，提供高可用、免运维的 ZooKeeper、...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
只要支持这 两种协议的设备都可以和阿里云 VPN网关互连，比如华为、华三、山石、深信 服、Cisco ASA、Juniper、SonicWall、Nokia、IBM 和 Ixia等。Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中 的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网 络上的许多社会...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时释放资源，节省费用。更多信息，请参见：https://www.aliyun.com/product/ecs RDS：Relational Database Service，简称 RDS，是一种稳定可靠、可弹性伸 缩的在线数据库服务。...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时 释放资源，节省费用。更多信息，请参见：https://www.aliyun.com/product/ecs SLB: 对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用 系统对外的服务...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
只要支持这 两种协议的设备都可以和阿里云 VPN网关互连，比如华为、华三、山石、深信 服、Cisco ASA、Juniper、SonicWall、Nokia、IBM 和 Ixia等。Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中 的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网 络上的许多社会...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
4.分别在控制台上启用虚拟MFA设备页面，第一组安全码和第二组安全码中输入手 机上连续刷新出来的两组验证码。文档版本：20220210 79传统企业业务上云基础安全防护 堡垒机 5.单击确定启用。步骤3 成功为子账号启用虚拟MFA设备。6.3.5.验证子账号登录 步骤1 子账号的登录地址显示在访问控制RAM控制台的概览页面:...
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时 释放资源，节省费用。RDS：Relational Database Service，简称 RDS，是一种稳定可靠、可弹性伸缩 的在线数据库服务。基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 ...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
是阿里云提供的一种基础云计算服 务无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS实 例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时释 放资源，节省费用。文档日期：20210726 IV 云上持续审计合规最佳实践 场景描述 详见：...
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展，更多的企业会使用云计算，且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构（RI）和存储容量单位包（SCU）可以帮助客户灵活的节省成本。 本文提供全链路使用实践，帮助客户快速验证云上服务，更合理 的使用RI/SCU。借助覆盖率指标和智能推荐，有效管理云上资 源成本。 用户价值 使用RI 和SCU，可以灵活抵扣相关资源。随时创建释放， 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务，跨服务高 度灵活，无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘，简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
是阿里云提供的一种基础云计算服 务无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS实 例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时释 放资源，节省费用。详见：www.aliyun.com/product/ecs RI：预留实例券（Reserved Instance），是一种计算资源的抵扣券，可以抵扣按量 ...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
配置项 说明 数据源名称 magento_rds 地区 华南1（深圳）实例ID 选择RDS实例ID。默认数据库名 输入数据库实例名称。本实践为magento 用户名 输入数据库账号。互联网电商行业离线大数据分析 本实践为db_user 密码 输入数据库账号登录密码。本实践为Test1234!测试连通性 单击测试连通性。首先使用时，需要先进行授权DataWorks...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
vpc_cloud 外网访问内网：域名需已通过-备案域名：qinying.site 备案 网络-EIP（绑定负载均衡设备）：50M，eip_slb 负载均衡设备：地域：杭州（可用区 K+J）-实例名：SLB集群负载-实例规格：标准型 II-网络：内网（IPV4，按流量计 费）-监听：80端口-后端服务器权重/端口：等权重/30080端口 防火墙配置（安全组模拟）：模板...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
业务流量切到灾备中心 注意：如果之前设为预先申请并备案的域名，需要在 DNS服务器修改映射的 IP地址，指向张家口冷备环境的公网 IP。若没有设置域名，则直接访问张家口冷备环境的公网 IP即可。可以看到，业务应用服务可以正常读写访问了。5.2.5.部署新的异地冷备中心 将冷备中心切换为新的生产中心后，需要重新搭建异地冷...
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造：由于历史原因，客户业务系统只支持 ORACLE数据库，客户没有技术/时间去做技术栈 改造。 2.高性能：希望拥有比虚拟机更高的性能和稳定 性，以保障数据库高性能，支撑高并发的业务系 统。 3.高可用：追求数据库服务的高可用，在某一台数 据库服务器宕机时快速切换备机，实现对业务应 用的最小影响。 4.数据安全性：极端情况下能找回数据，数据备份 和恢复更方便。
mkdir/orcl 文档版本：20220207 12 弹性裸金属自建 ORACLE数据库双机 部署数据库服务器 步骤5 挂载磁盘设备。mount/dev/vdb/orcl 步骤6 查看磁盘信息（挂载结果）。df-lh 步骤7 开机自动挂载磁盘。echo/dev/vdb/orcl ext4 defaults 0 0>>/etc/fstab cat/etc/fstab 文档版本：20220207 13 弹性裸金属自建 ORACLE数据库双机 ...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
VSW：虚拟交换机（VirtualSwitch），阿里云专有网络的基础网络设备，通过创建交换机 为专有网络划分一个或者多个子网。文档版本：20200703（发布日期）III 金融行业从经典网络向VPC容器化改造最佳实践【公开|阿里巴巴集团保密信息|普通商秘|核心商秘】目录.文档版本信息 I 法律声明.II 前言.III.目录 IV 最佳实践概述.1....
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
交换机是组成专有网络的基础网络设备。它可以连 Vswitch Virtual Switch 接不同的云产品实例。在专有网络内创建云产品实 例时，必须指定云产品实例所连接的交换机。Cloud 云企业网，将提供一种能够快速构建混合云和分布 CEN Enterprise 式业务系统的全球网络，帮助用户打造一张具有企 Network 业级规模和通信能力的云上网络...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
数据采集 原始日志字段设计见下表：字段名 字段说明 event_time 事件产生时间 imei 移动设备国际身份码的缩写 device_model 移动设备机型 client_ip 设备 IP category_id 文章所属类目信息，app分为两级类目。一级类目（新闻/小说 等）user_id 用户 id，对注册用户，是系统生成的用户 id，对非注册用户，是系统生成的非注册...
- 产品推荐
- 这些文档可能帮助您