基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
java-jar game-server-0.0.2-SNAPSHOT.jar-spring.profiles.active=prod&文档版本：20201224 40 基于 Flink+ClickHouse构建实时游戏数据分析 游戏服构建 步骤14 验证，进行可用性、连通性测试,访问游戏服对外暴露的接口/api/v1/game-server 文档版本：20201224 41 基于 Flink+ClickHouse构建实时游戏数据分析 日志采集 5....
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
文档版本：20201210 107 远程办公-AD管控下的弹性云桌面最佳实践 附录 4：云桌面相关 API 附录 4：云桌面相关 API 如果您熟悉网络服务协议和一种以上编程语言，推荐您调用 API管理您的云上资源 和开发自己的应用程序。尤其是当需要维护大量桌面实例的场景中，合理使用 API 将大大提升维护的效率和质量。云桌面 API概览：...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
阿里云 微服务引擎的线上流量治理 最佳实践 文档版本：20240226 文档版本：20150122（发布日期）II 微服务引擎的线上流量治理 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 微服务引擎的线上流量治理 文档编号 190 文档版本 V1.1 版本日期 2024-02-26 文档状态 对外发布 制作人 七凌、子墚、望陶、宁海、十眠、...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
ssh slave1 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave1:/usr/java/jdk1.8.0_301 ssh slave2 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave2:/usr/java/jdk1.8.0_301 ssh slave3 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave3:/usr/java/jdk1.8.0_301 给与/...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
文档版本：20210325 15 通过私网访问云服务最佳实践 通过 VPC接入地址调用API 通过修改子类 DescribeInstancesRequest的对象对应字段值 request_network=”vpc”，就可以在私网环境下调用 API。Python示例代码如下：from aliyunsdkcore.client import AcsClient from aliyunsdkcore.acs_exception.exceptions import ...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
广泛应用于容器存储、大数据分析、Web 服务和内容管 理、应用程序开发和测试、媒体和娱乐工作流程、数据库备份。支持冷热数据分级 存储。详见：https://www.aliyun.com/product/nas 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的 计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
理想情况下，授权机制可以利用身份认证机制，以便当用户登录系统（例如集 文档版本：20200330 3 EMR集群安全认证和授权管理 阿里云 EMR集群的用户认证和访问授权 群）时，将根据其在整个系统中对应用程序，数据和其他资源的授权，对他们进行透 明授权。授权有多种方式，从访问控制列表（ACL）到 HDFS 扩展 ACL，再到使用 ...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
文档版本：20211222 22 开源 Flink迁移实时计算Flink全托管版 作业迁移 步骤4 由于使用了 JDBC connector，需要通过“高级配置”-“附加依赖文件”增加“mysql-connector-java-8.0.27.jar”和“flink-connector-jdbc_2.11-1.13.0.jar”(可通过 https://search.maven.org/ 页面下载)，注意请将依赖文件的版本与 Flink 集群的...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
云服务器 ECS 6.RDS MySQL版 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 基于MaxCompute的大数据 BI分析 最佳实践 文档版本：20211213 文档版本：20150122（发布日期）II 基于 MaxCompute的大数据 BI分析 文档版本信息 文档版本信息 文本信息 ...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
阿里云 最佳实践 金融大数据WorkShop 文档版本：20210708（发布日期）阿里云最佳实践金融大数据WorkShop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 阿里云最佳实践金融大数据WorkShop 文档编号 文档版本 V1.7 版本日期 2021-08-03 文档状态 对外发布 制作人 衾影 审阅人 明誉 文档变更记录 版本编号 日期 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
20201127 15 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 第一次配置，需要进行相应角色创建，并为其进行授权，配置详情，可以参考官网文 档：https://help.aliyun.com/document_detail/72959.html 文档版本：20201127 16 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 步骤13（可选）从左侧导航栏选择应用中心，单击...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK...kubectl version-o yaml 文档版本：20220331 29 微服务应用问题定位及故障演练 问题定位及故障模拟 步骤4 如果在新建集群的时候没有安装日志组件（可以在组件管理里面查看和安装），详细可 以 参 考 以 下 文 档 进 行 安 装：...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
20150122（发布日期）II Dubbo应用上云 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 Dubbo应用上云最佳实践 文档编号 132 文档版本 V1.2 版本日期 2022-02-08 文档状态-制作人 久诚 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-01-15 久诚 弦望、宋宇 创建 V1.1 2020-01-16 筱晖-文档优化 V...
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
支持 Java8、Java11，设置 HTTP 触发器的 Java 运行时基于 Servlet 协议.支持 PHP 7.2，设置 HTTP 触发器的 PHP 运行时遵循 PSR（HTTP message interfaces）标准.可以定制个性化语言执行环境（如 Go,Ruby,Lua 等），可以将现有应用不做任何改造一键迁移至函数计算平台.更多支持语言.了解所有开发语言支持列表.无服务器计算...
来自：
云产品
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 MaxCompute湖仓一体方案 最佳实践 文档版本：20220402 文档版本：20150122（发布日期）II MaxCompute湖仓一体方案 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 MaxCompute湖仓一体方案 文档编号 169 文档...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
user_id={user 8 课程_id} 代表id为8的用户查看了3号 题目 步骤2 源代码位于附件中，下载后目录如下图：app153-server目录下为后端程序，整个目录拷贝到APP服务器（即2.1章节中创建 的ECS服务器）的/home下，如下图：文档版本：20200331 33数据湖-在线学习场景数据分析 应用场景 app153-web目录下为前端程序，将目录及目录...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
文档版本：20210721 15 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 cd/usr/local/apache-hive-1.2.2-bin/lib 通过下面命令下载 MySQL Connector库文件 wget https://maven.aliyun.com/repository/central/mysql/\ mysql-connector-java/8.0.18/mysql-connector-java-8.0.18.jar步骤6 初始化源数据库。cd/usr/...
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
借助云主机、PC端、移动端拨测点，模拟多地域、多运营商用户，对Web应用、网站、API接口进行拨测，及时发现网络质量波动与网站、API服务可用性问题.分析端侧应用在网络请求、页面加载、资源加载过程中的关键性能指标，对应用崩溃、ANR、卡顿等影响用户体验的异常问题追踪详细堆栈信息，定位问题影响范围，促进用户体验性能...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您