基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
实时流处理 步骤4 代码讲解（可选）,由于 Blink专属集群或者 Flink全托管集群，本身自带运行环境，所以为了更好地压缩包的大小，常常会将对应包的作用域设置为 provided，在打包的 时候，不会作为依赖打入 Jar 包（在进行本地调试的时候，默认会报 ClassNotFoundException异常，解决方案：可手动将 blink的包加入到项目）。...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
文档版本：20220121 2 游戏业务分区合服最佳实践 游戏业务概述 对多台云服务器进行流量分发的负载均衡服务，可 Server Load SLB 以通过流量分发扩展应用系统对外的服务能力，通 Balancer 过消除单点故障提升应用系统的可用性。Elastic 是一种弹性可伸缩的计算服务，助您降低 IT 成 ECS Compute 本，提升运维效率，使您更...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
运维和数据应用部门执行实时监控、实时异常检测预警与实时调试。业务部门进行实时风控、实时推荐、实时效果分析和实时训练。6 文档版本：20240425利用交互式分析工具进行数据查询 产品简介 图2.实时分析架构图 加速查询MaxCompute离线数据 写入业务数据至离线数据仓库MaxCompute，通过Hologres直接加速查询或导入数 据...
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级AI搜索服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
查看详情 2020-06-11 新功能/规格 Ali Elasticsearch内核最新小版本1.2.0发布 查看详情 2020-06-11 新功能/规格 Logstash管道配置调试功能上线 查看详情 2020-07-15 新功能/规格 高级监控报警服务，基于Elasticsearch为云上用户提供开箱即用的一站式监控报警解决方案 查看详情 2020-07-15 新功能/规格 集群弹性扩缩容，灵活...
来自：
云产品
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
再重试如上配置。互联网电商行业离线大数据分析 步骤5（可选）如果上述步骤测试连通性结果为无法连通，可基于连通性诊断工具进行自 助排查。互联网电商行业离线大数据分析 步骤6 测试连通性通过后，查看已将RDS加入到数据源中。互联网电商行业离线大数据分析 2.3.进行数据开发 步骤1 在工作空间列表页，选择本实践新创建的...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
战斗结算是强 CPU 密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量 玩家，导致需要的计算量瞬间几倍增长，同 时需要结算系统保持稳定的延时来保证玩 家的用户体验。产品列表 阿里云最佳实践分享群 最佳实践频道 容器 Kubernetes ACK 容器实例 ECI 容器镜像仓库 ACR 函数计算 FC 访问控制 RAM ...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
本 例着重演示利用阿里云资源，创建低成本、高 弹性和高效文件传输系统的最佳实践。应用场景 跨境对象存储数据传输需求 对跨境传输成本控制严苛 能接受一定程度网络抖动带来的文件同 步延迟 系统需要有足够的弹性和扩展性应对大 产品列表 规模文件的写入 云服务器 ECS 对象存储 OSS 专有网络 VPC 函数工作流 Serverless ...
部署Nginx并通过Ingress暴露和监控服务
在阿里云容器服务（后简称ACK）集群中通过YAML文件快速部署一个Nginx应用并通过Nginx Ingress暴露和监控服务，结合使用ACK、日志服务、专有网络搭建业务部署运维方案，具有集群快速创建、应用高效部署和业务运维简单的优势，适用于新兴互联网行业，转型的传统金融、物流等多行业。
在阿里云容器服务（后简称ACK）集群中通过YAML文件快速部署一个Nginx应用并通过Nginx Ingress暴露和监控服务，结合使用ACK、日志服务、专有网络搭建业务部署运维方案，具有集群快速创建、应用高效部署和业务运维简单的优势，适用于新兴互联网行业，转型的传统金融、物流等多行业。部署Nginx并通过Ingress暴露和监控服务 在...
来自：
技术解决方案
CentOS到Alinux操作系统迁移
操作系统迁移解决方案为企业提供ECS实例运行的操作系统EOL（生命周期结束）后的替换或升级服务。满足在控制台一键备份和迁移的能力，具有界面易用、过程可靠、数据安全的优势。
ECS 专有网络VPC 服务器迁移中心 Alibaba Cloud Linux 立即部署 应用场景 技术方案的广泛应用场景 CentOS 7/CentOS 8 停止维护 CentOS官方宣布了停止维护CentOS Linux的计划，操作系统迁移可将阿里云ECS云服务器操作系统从CentOS 7/8平滑迁移到Alibaba Cloud Linux和Anolis操作系统，提高您更换CentOS操作系统的效率。...
来自：
技术解决方案
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
容器场景下的应用性能监控、调用链拓扑、内存剖析 最佳实践 场景描述 业务架构 随着云原生及微服务技术的普及，越来越多的系 统已经通过云原生和微服务技术实现企业的降 本增效，同时因微服务及云原生的复杂性给系统 运维带来非常大的挑战，云原生应用监控arms 通过全链路应用监控，从端到端及代码级别的链 路下钻能力、CPU...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
云虚拟机ECS 微服务引擎MSE（云原生网关）解决问题 日志服务SLS•构建容器多云统一监控和日志系统，在一个平 容器服务ACK 分布式云容器平台ACKOne 台可以看到不同环境系统的运行情况。 应用实时监控ARMS 可观测监控Prometheus版 可观测可视化Grafana版 最佳实践频道 云速搭CADT ...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
步骤5 点击查看 Web应用 文档版本：20240131 18 大模型 RAG对话系统部署最佳实践 RAG对话系统部署 步骤6 在 RAG服务 WebUI界面的 Settings选项卡中，配置本系统的参数，并测试连接是否 正常，具体参数配置详情如下：Emebdding Model：支持选择 5种 embedding model和对应的维度（Emebdding Dimension）。推荐使用 SGPT-125M...
系统运维管理 OOS
阿里云系统运维管理（简称OOS）提供的云上自动化运维服务，通过执行模板来完成任务的自动化运行，可以使用OOS管理ECS、RDS、SLB、VPC等云产品，提升日常运维管理效率
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台系统运维管理产品简介产品优势产品功能入门与试用技术解决方案安全合规常见问题系统运维管理 OOS云上统一的自动化管理与运维平台，支持对ECS、RDS、SLB等多种云产品进行编排，提升日常运维管理效率。立即购买免费试用快捷入口控制台...
来自：
云产品
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
基于日志服务构建业务可观察性系统 部署架构 场景描述 现在已知的各种监控数据的工具，以及对应的监 控系统有非常多的选择，比如 ZABBIX，Prometheus，Skywalking等。但是这些系统都存 在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用 到很多的辅助设备，仪表盘，行车记录仪，...
云监控
云监控（CloudMonitor）是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，第一时间发现和定位问题构建完善的监控运维体系。
这有助于您在服务上线初期快速构建面向基础设施的监控报警能力，既可以避免在人力资源紧张的情况下消耗时间成本专门自建和维护监控系统，又可以确保基础设施出现异常时被迅速知晓.开箱即用的监控视图.各云产品核心指标的监控图表且无需任何配置.丰富的报警通知方式.除了语音、短信、邮件、钉钉群外还可以推送到指定的...
来自：
云产品
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
丰富的预置集成组件，覆盖阿里云、开源主流监控系统.支持短信、电话、钉钉、邮件、飞信等多种通知方式，同时也支持对接aone/jira/pagerduty等多种协同系统.支持多种告警策略，如通知策略、升级策略、静默策略、抑制策略等，其中通知策略支持通过定义事件匹配规则，对告警事件进行精准识别，满足一类告警通知策略的统一配置....
来自：
云产品
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
2017.10.1执行的《民用运输机场安全保卫设施》(MH/T7003-2017）做了如下要求：要求新、改、扩建视频监控系统应采用高清摄像机；通常至少，码流。1.1080P 4Mb/s 2.要求视频监控系统要符合GB/T28181《安全防范视频监控联网系统信息传输、交换、控制技术要求》，包 括停车场区域也要实现联网整合；摄像头要支持ONVIF协议。3....
游戏系统和业务运维及分析解决方案
游戏系统和业务运维及分析解决方案，通过阿里云日志服务 SLS、对象存储 OSS 等产品，帮助客户构建简单、易用、性能高、成本低的运维及分析平台，满足基础系统运维和业务运维等游戏运维场景需求，同时提供日志数据分析能力，实现故障预警、提高问题排查速度、提高风险识别安全等级等能力，保障游戏业务安全稳定运行。
提供线上监控、运维、日志查看、问题诊断等基础系统运维功能，也提供智能分析、链路跟踪、智能诊断等数据分析和诊断功能，形成可观测数据与统一运维智能分析告警平台，实现指标、日志、调用链数据的完美结合，帮助平台运维团队智能化地进行游戏系统故障监控和根因分析，快速排查异常监控和定位，大幅度提高工作效率....
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您