基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
Presto,支持 SQL 并提供了一个标准数据库的语法特性，但其不是一个通常意义上的 关系数据库，而是定位在数据仓库和数据分析业务的分布式 SQL引擎，为交互式查询 而设计，比较适合的应用场景有 ETL、Ad-Hoc查询、海量结构化数据与半结构化数据 分析以及海量多维数据聚合与报表。在如下的两个测试场景下，ClickHouse明显比 ...
智能媒体服务 IMS
智能媒体服务IMS（Intelligent Media Services），是围绕直播和点播场景下的媒体采集、媒资管理、内容生产、制作和分发能力的一站式服务集，提供广播级、全智能、灵活多样、可多云接入的专业能力，并面向多云复杂业务流场景提供成熟的低代码终端SDK集成方案。
作业后质量检测，高效发现内容瑕疵，针对性修复.全品类高品质.【窄带高清转码】输出同等画质，文件体积更小，可节省30%存储和带宽成本.节省运营成本.对象存储OSS.视频点播VOD.面向广电新媒体的内容管理场景，为媒体客户的海量广播级高码率的素材（数百Mbps）提供倍速、专业协议、稳定可靠的云端转码和剪辑服务。并基于智能...
来自：
云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
云原生多模数据库Lindorm面向海量泛时序、半结构化和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI推理等一站式数据服务，支持MySQL协议，兼容HBase、ES、Hive、Spark、HDFS等开源标准。提供宽表、时序、对象、流、向量等数据模型，是互联网、车联网、IoT、广告、金融交易、监控、游戏等场景的首选.HBase购买...
来自：
云产品
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
AnalyticDB MySQL秒级漏斗分析函数.AnalyticDB MySQL湖仓版Multi-Cluster自动弹性功能邀测进行中.边锋&AnalyticDB MySQL：打造一站式大数据分析平台.AnalyticDB MySQL带你学：基于Flink的高吞吐&精确一致性数据入湖.兰姆达 x AnayticDB 降本30%的数据湖最佳实践.一键实现穿衣自由｜揭秘淘宝AI试衣间硬核技术：AnalyticDB...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
用户可根据自身业务特点，选择包年包月或者按量付费.Nexmark\\u00A0流计算标准测试性能是开源\\u00A0Flink\\u00A0的\\u00A02-3\\u00A0倍.支持整库同步、分库分表同步.支持表结构改变同步、全量读从库增量读主一体化.不间断生产级能力：企业级\\u00A0CEP\\u00A0支持作业不停的动态可配置规则.可与阿里云主流数据产品无缝集成...
来自：
云产品
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
如果条件允许，建议以生产规模 为标准进行测试。此外，请密切监控和调整升级后的资源使用情况。部分属性无法转换 例如：FairScheduler可以使用 minResource和 maxResource选项。但是，由于 集成管理器 UI 不支持绝对资源，fs2cs 工具在转换过程中会忽略原有的 maxResources配置。这意味着，在自动转换之后，Capacity ...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
DBS 会根据备份集元信息自动确定相应规格、磁盘空 间的 RDS实例，自动开通按量付费实例，并实时检测实例创建状况，当实例 创建成功后，会自动触发数据恢复操作，整个过程无需人为干预，大大降低恢 复时间。ￚ 使用已有实例：使用已创建好的实例进行覆盖恢复。实例规格：DBS会按照备份集元信息显示默认规格，也可以调整升配...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
如果您使用的是DataWorks创建的标准模式下的MaxCompute项目，在填写 project_name时，请注意区分生产环境与开发环境（_dev）项目名称，详情请 参见简单模式和标准模式的区别。odps_config.ini文件中使用#作为注释。MaxCompute客户端内的命令行使用两个 减号-作为注释。MaxCompute提供了外网、经典网络和VPC网络三种...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
版本类型 Redis 4.0 架构类型 标准版 说明：测试选择标准版，根据业务可以平滑升级到集群版或读 写分离版。性能类型 标准性能 存储类型 高性能内存型 节点类型 双副本 套餐类型 标准套餐 实例规格 2G主从版 说明：支持变配规格，变配过程会有 30秒内连接闪断及 1分 钟内的实例只读。密码设置 立即设置 输入密码 设置符合...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
ThinkPHP V5远程代码执行漏洞是由于 ThinkPHP框架对控制器名没有进行足够的检 测，攻击者利用漏洞构造特殊的 URL可以调用框架内敏感函数，进而导致 getshell漏 洞，进行远程代码执行。云防火墙针对该漏洞推出虚拟补丁功能，能够对该类攻击进 行有效的拦截。操作步骤 说明：为了饶过 WAF、SLB等的访问控制，先创建一个 EIP...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
文档版本：20220402 9 MaxCompute湖仓一体方案 云数仓 MaxCompute 项目模式有标准模式和简单模式，测试目的建议选择使用简单模式。步骤4 在引擎虚选择页面，勾选 MaxCompute并选择按量付费。步骤5 在引擎详情页，填写实例显示名称和 MaxCompute项目名称，然后点击创建工作空 间。说明：MaxCompute项目名称默认与 DataWorks...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
有别于传统工具的繁复，PTS以互联网化的交互，提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景，任务随时发起，免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力，高效检验和管理业务性能。详见：...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
实时数仓 Hologres(原交互式分析)：Hologres是一站式实时数据仓库引擎，支持 海量数据实时写入、实时更新、实时分析，支持标准 SQL（兼容 PostgreSQL协 议），支持 PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延 迟的在线数据服务（Serving），与 MaxCompute、Flink、DataWorks深度融合，提供离在线一体化...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
文档版本：20210723 3 自建Hadoop迁移MaxCompute 资源规划说明 资源规划说明 本方案实践的资源规划仅作为实践演示，实际业务场景资源以用户实际需求为准。本实践方案中，涉及到阿里云资源开通和购买，本文后续实例中不单独展示服务 开通相关操作，请使用者自行完成。文档版本：20210723 4 自建Hadoop迁移MaxCompute 自建 ...
- 产品推荐
- 这些文档可能帮助您