基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
本实践介绍如何快速收集海量用户行为数 据，实现秒级响应的实时用户行为分析，并 通过实时流计算、云数据库 ClickHouse等 技术进行深入挖掘和分析，得到用户特征和 画像，实现个性化系统推荐服务。产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ...
RDS+ClickHouse构建一站式HTAP
通过融合MySQL和ClickHouse的数据同步能力，用户可以在一个可视化窗口中简单灵活地配置和管理实时数据同步，这为业务报表统计、交互式运营分析和实时数仓构建提供了便利。
解决问题：同步配置复杂默认情况下，需要在ClickHouse中，通过SQL的方式创建数据库时配置数据库引擎类型为MaterializeMySQL，并配置一系列复杂繁琐的相关参数来实现数据同步。解决问题：链路维护复杂默认情况下，难以支持同步对象对象、跳过同步错误、重启同步链路等维护性操作，同时无法针对同步链路进行流量控制，如控制...
来自：
解决方案
数据安全中心
敏感数据保护（Sensitive Data Discovery and Protection），在满足等保v2.0“安全审计”、等保v3.0及“个人信息保护”的合规要求的基础上，为客户提供敏感数据识别、分级分类、数据安全审计、数据脱敏、智能异常检测等数据安全能力，形成一体化的数据安全解决方案。
细粒度行为审计追溯的能力，可审计用户终端信息、使用工具、数据信息、返回结果等详细信息，全场景还原用户行为轨迹，有效追踪溯源数据的访问行为.细粒度数据审计.支持通过灵活多样的内置或自定义脱敏算法，实现生产类敏感数据脱敏到开发测试等非生产环境使用的场景，并确保脱敏后的数据保真可用.通过智能化检测模型分析...
来自：
云产品
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
本书由阿里云及网易数帆、美创科技、CUUG、恒辉信达等开源生态合作伙伴共同出品，从安装部署到运维实践、开发工具，八大章节轻松入门 PolarDB for PostgreSQL 开源数据库.PolarDB for PostgreSQL 从入门到实战.由阿里巴巴多位技术专家精心打磨内容，通过详细的图文介绍，深度剖析实时数仓面临挑战与发展趋势，详细介绍...
来自：
云产品
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
支持数百上千维度任意组合查询，支持数十个表数千行SQL复杂关联查询.支持复杂SQL.支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行.在离线一体化.采用计算和存储分离架构，支持分时弹性，实现按小时设置计算资源弹性扩容，解决...
来自：
云产品
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
更多信息，请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版：云数据库 RDS MySQL 版是全球最受欢迎的开源数 据库之一，作为开源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛应用于各类应用场景。更多信息，请参见 www.aliyun.com/product/rds/mysql 文档版本：20210416 IV 云 ...
办公安全平台SASE
阿里云办公安全平台（Security Access Service Edge）依托阿里云海量的边缘节点，将安全能力延伸至用户边缘，为企业分支机构/门店、远程移动办公场景的访问互联网及云上服务流量提供就近接入的安全防护能力。
依托阿里云的威胁情报数据，可为用户提供30+个大类，上千万量级的URL特征库，可以识别并拦截员工访问恶意网站的行为，防止办公终端中招的同时，也保障企业内部网络的安全水位.URL访问管控.自研HTTPS加密传输协议，基于动态身份认证，支持端到端（tcp）、端到应用（HTTP/HTTPS）的最小权限访问控制，相较于传统VPN访问，具备...
来自：
云产品
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
兼容Presto、Spark.Serverless形态，无需购买任何资源，互联网直接访问，降低运维成本，免去大数据库系统构建烦扰.OSS数据直接分析，构建大规模分析数据集，延迟大约为10分钟.多源数据实时入湖.集群按需快速扩展，1分钟最快弹出300个节点，灵活应对业务变化.海量算力即时扩容.查看全部日志.加和科技通过数据湖分析+OSS的...
来自：
云产品
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
步骤2 为 bp-magento日志库开启索引。1.在 magento-sls日志库页面，单击开启索引。文档版本：20220127 X 电商网站数据埋点及分析 电商网站数据埋点 2.在查询分析侧边页，单击确定。3.在查询分析设置对话框中，单击确定。成功开启 bp-magento日志库的索引。4.2.电商网站埋点 本方案采用WebTracking在Web前端页面进行埋点，...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
文档版本：20210224 54 游戏数据运营融合分析 部署 RDS-ADB高性能库数据采集 说明：在游戏业务中，所有的分析维度往往均以玩家为维度，故为了保证在分析型 数据库里面分析查询的高效性，一般可以选择玩家 ID为分布键。步骤6 预检查通过，关闭对话框。测试等待表结构和数据同步完成 步骤1 数据同步实例显示同步中，单击实例 ...
多行业遥感智能解译解决方案
多行业遥感智能解译解决方案综合运用遥感AI、视频AI和气象AI技术，通过多源对地观测数据的智能解译分析，解决传统数据处理效率低、精度差等问题，助力自然资源、新能源、农（林）业、气象、环保、水利、住建、应急、交通、物流、无人机、海洋、航空航天、通信制造、金融保险等多个领域实现全面、精准、高效的遥感影像智能分析利用。
有效融合天、空、地多维数据，实现...基于同一地区不同时间的影像，自动提取出地表变化信息，对城镇开发边界、永久基本农田、生态保护红线的用地行为实时监测预警.土地执法督察.利用遥感 AI 技术，快速、及时发现河道四乱问题（乱采、乱挖、乱占、乱建），便于及时掌握并处置水利河道安全的人类建设或活动因素.河湖四乱监测.
来自：
解决方案
加密服务HSM
阿里云加密服务（HSM）即云密码机，提供云上加密服务。加密服务使用经国家密码管理局检测认证的硬件密码机作为服务底层，帮助您满足数据安全方面的监管合规要求，保护云上业务数据隐私。为2022年北京冬奥会全面提供数据加密服务，保障冬奥会线上系统数据安全。
密钥管理服务.MySQL 是全球最受欢迎的开源数据库之一，作为开源软件组合 LAMP中的重要一环，广泛应用于各类应用场景.云数据库RDS MySQL版.设备管理和密钥管理权限分离，密钥完全由客户管理，运维人员无法接触到用户个人密钥.加密服务使用符合国家密码管理局、中国人民银行等规范要求的密码机，满足合规应用需求.灵活地调整...
来自：
云产品
美家全域潜客运营解决方案
阿里云美家全域潜客运营解决方案赋能品牌对线上和线下的潜在客群（根据近30天活跃消费者的特征进行放大后的人群，并剔除活跃消费者）进行远场、近场、现场、离场的全链路营销，从潜客到投放、留资、转化到留存形成消费者资产运营闭环，解决人群不精、触达方式有限、到店率低、流资成本高、到店转化率低、离店无法运营的问题。
数据银行覆盖超过十亿的人群，拥有全面的线上交易行为数据，通过数据服务的方式赋能商家精准营销.消费者资产运营方法论不仅关注营销结果，更关注营销过程，通过AIPL分析找出每个链路的改进机会，提升营销和运营的精准度.通过数据中台沉淀品牌一方数据，沉淀品牌的大数据池，为业务持续增长提供可运营的消费者基础.根据您...
来自：
解决方案
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，拥有高吞吐量、高稳定性、低成本等特点，与阿里云大数据生态系统完美打通，让您可以轻松构建基于流式数据的分析和应用。
利用DataHub收集不同终端的用户信息，后配合实时计算引擎Flink进行广告实时侦测，反馈失效链接、流量作弊行为等.实时汇聚多种数据源.不同平台数据统一计算，避免数据孤岛，实时场景下引导客户快速做出业务反应，避免流量损失，提高广告曝光度.实时分析决策.实时计算Flink.互联网实时数据分析.互联网广告业务实时分析.随着...
来自：
云产品
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
- 产品推荐
- 这些文档可能帮助您