基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
更多信息,请参见:https://www.aliyun.com/product/vpc EIP:独立的公网 IP资源,可以与阿里云专有网络 VPC类型的 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定,并可以动态解绑,实现公网 IP与 ECS、NAT 网关、ENI 网卡、SLB 的解耦,满足灵活管理的要求。更多信息,请参见:https://www.aliyun.com/product/eip ECS:云...
来自: 最佳实践 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
云速搭-ECS结合网络相关优化方案
云速搭-ECS结合网络相关优化方案
本实践设计了不同的ECS结合网络部署方案,并使用云速搭CADT做预算,可以快速对比出不同方案根据当前账户的折扣的价格差,根据需要部署系统的需求和享有的折扣,可以灵活配置ECS和网络产品,节约成本。
详见 https://www.aliyun.com/product/ecs 弹性公网 IP:弹性公网 IP是独立的公网 IP资源,可与阿里云专有网络 VPC类型 的云服务器 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定,并可以动态解 满足灵活管理的要求。弹性公网 IP可为您在云上部署的网站提供 Internet访问 服务。详见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭CADT
云速搭部署 EIP 实现共享带宽/流量包管理
云速搭部署 EIP 实现共享带宽/流量包管理
本实践通过云速搭设计、部署一个“ECS+EIP+共享带宽”架构,多个 EIP 可以使用共享带宽的资源。
详见:https://www.aliyun.com/product/vpc 弹性公网 IP:弹性公网 IP是独立的公网 IP资源,可与阿里云专有网络 VPC类型 的云服务器 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定,并可以动态解 满足灵活管理的要求。弹性公网 IP可为您在云上部署的网站提供 Internet访问 服务。详见 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭CADT
云速搭CADT部署VMware服务
云速搭CADT部署VMware服务
本方案适用客户云下使用VMware环境,在云上希望继续使用VMware环境,包括业务维护和扩容等,不希望改变云上使用环境。
弹性公网 IP VMware服务 ACVS 云企业网 CEN 最佳实践频道 阿里云最佳实践技术分享群 阿里云 云速搭CADT部署VMware服务 最佳实践 文档版本:20220520(发布日期)云速搭CADT部署VMware服务 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭 CADT部署 VMware服务 文档编号 302 文档版本 V1.0 版本日期 2022-05-...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云企业网,云速搭
基于云速搭CADT批量维护云资源标签
基于云速搭CADT批量维护云资源标签
通过云速搭快速部署一套企业IT管理系统,所有资源部署在区域为成都的 region。模拟一套企业财务管理系统,以及两个子系统(资金对账系统和合同管理系统),实现通过CADT的探查一键还原系统架构,并进行批量维护标签的功能,解决运维同学管理标签难的问题。
弹性公网 IP:弹性公网 IP是独立的公网 IP资源,可与阿里云专有网络 VPC类型 的云服务器 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定,并可以动态解 满足灵活管理的要求。弹性公网 IP可为您在云上部署的网站提供 Internet访问 服务。详见:https://www.aliyun.com/product/eip。文档版本:20220125 3 基于云速搭CADT...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,云速搭CADT
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
详见:https://www.aliyun.com/product/ehpc 弹性公网 IP:弹性公网 IP是独立的公网 IP资源,可与阿里云专有网络 VPC类型 的云服务器 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定,并可以动态解 满足灵活管理的要求。弹性公网 IP可为您在云上部署的网站提供 Internet访问 服务。详见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
其底层基础 设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳 运行6年之久。详见:https://www.aliyun.com/product/dts  OSS:海量、安全、低成本、高可靠的云存储服务,提供99.9999999999%(12 个9)的数据持久性。使用RESTfulAPI可以在互联网任何位置存储和访问,容量 和处理能力弹性扩展,...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
RAM用户集成企业AD FS身份认证
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS,使用企 业AD对员工的身份认证及管理功能,配置RAM 用户与AD用户的映射关系,实现企业员工使用企 业AD域账号以单点登录(SSO)的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
文档版本:20220617 37RAM用户集成企业ADFS身份认证 部署AD证书服务和Web服务 文档版本:20220617 38RAM用户集成企业ADFS身份认证 部署AD证书服务和Web服务 文档版本:20220617 39RAM用户集成企业ADFS身份认证 部署AD证书服务和Web服务 文档版本:20220617 40RAM用户集成企业ADFS身份认证 部署AD证书服务和Web服务 文档版本...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,访问控制,云速搭CADT
S级游戏多地域批量开服
S级游戏多地域批量开服
本实践将利用多地域模板创建应用,基于模板传参的方式,实现游戏全球多地域开服,并在这个过程中,详细介绍云管平台对接过程中所使用到CADT API以及使用方式。
文档版本:20220628 10 S级游戏多地域批量开服 构建 CADT模板 EIP购买数量 变量${eip_count}:EIP数量 步骤9 双击 ECS实例,对购买数量参数进行定义(请注意,这里的数量在传参时,请和 EIP 的数量保持一致,这样才能一一绑定上),点击属性边上的”fx”图标。ECS数量 变量${ecs_count}:ECS数量 文档版本:20220628 11 S级...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭CADT
云速搭部署弹性裸金属服务器
云速搭部署弹性裸金属服务器
通过云速搭实现弹性裸金属服务器的部署
云速搭部署弹性裸金属服务器 文档版本信息 云速搭 部署...1.检查 eip绑定 2.远程登陆 文档版本:20211213 18 云速搭部署弹性裸金属服务器 产品支持 3.产品支持 产品详情:https://www.aliyun.com/product/developerservices/cadt 产品帮助:https://help.aliyun.com/product/182827.html 产品支持钉群:文档版本:20211213 19
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙)
SAP S/4HANA上云最佳实践
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型,阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
办公网络 IP段 sap router IP地址 出方向 全部-1/-1 测试应用 IP段 生产应用 IP段 办公网络 IP段 3601/3601 sap router IP地址 入方向 TCP 3200/3200 开发应用 IP段 生产应用 IP段 测试应用安全组 sap router IP地址 入方向 TCP 3300/3300 开发应用 IP段 生产应用 IP段 8000/8000 办公网络 IP段 入方向 TCP 44300/44300 sap...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,VPN网关
云速搭部署 ALB 实现负载分发
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构,实现终端浏览器发起http(s)请求后,经过 ALB 监听配置的转发规则,分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
3.此处 IP填写 ACK中刚才创建的服务所挂载 LB的 IP 文档版本:20211028 44 云速搭部署 ALB实现负载分发 验证通过 ALB转发到ACK集群实现负载分发 步骤12 配置 ALB转发规则,参考章节 4 步骤 11。根据域名转发到 ACK集群的应用上。步骤13 验证转发效果。浏览器输入 http://product-lab.xxx.xxx 文档版本:20211028 45 云速搭...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,云速搭CADT
云速搭构建大规模云手机压测集群
云速搭构建大规模云手机压测集群
在互联网游戏行业新游发行前、金融行业的基金或券商APP在大版本更新前,均需要将APP部署到大规模测试环境中进行压测,确保大规模并发场景下对APP本身可靠性和后台业务系统的稳定性及资源准备情况做好验证。 本实践设计一个游戏压测场景,在阿里云的多地域快速部署共一万台云手机,每台云手机之间网络可互通,每台云手机通过阿里云提供的NAT网关可访问互联网。
步骤3 测试连接上海、北京地域部署的云手机(云手机 IP地址可从云手机控制台查看)1.打开上海云手机链接:https://cloudphone.console.aliyun.com/#/instances/cn- shanghai 文档版本:20220901 13 云速搭构建大规模云手机压测集群 云速搭架构模板准备 2.打开杭州云手机链接:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,云速搭CADT,弹性云手机
轻量级GPU部署云游戏最佳实践
轻量级GPU部署云游戏最佳实践
随着AI深度学习,视频处理,科学计算以及图形可视化等应用场景的普及,GPU的市场需求越来越大,但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。
ServerAddress=License服务器的 IP ServerPort=License服务器的端口(默认为 7070)FeatureType=1 EnableUI=TRUE 4.重启实例。reboot 3.2.安装 KDE桌面 步骤1 ssh登录 GPU服务器。ssh 服务器公网 IP 步骤2 安装 KDE桌面。apt-get update apt-get install kubuntu-desktop 步骤3 重启实例 reboot 3.3.安装 X Server 步骤1 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
基于云拨测的网站用户体验监测最佳实践
基于云拨测的网站用户体验监测最佳实践
网站作为电商行业开展业务的核心场景,不同区域、不同运营商、不同的终端用户,给网站体验带来了巨大的一致性挑战。打开卡顿、缓慢,甚至无响应,都会影响到运营效果、甚至出现负面影响。阿里云基于多年业务经验,为云上客户提供完整的电商网站运营期间的用户体验监测方案。
2.保障不同地域、客户端用户参与活动过程中 的体验一致性 产品列表 云速搭 CADT 专有网络 VPC 云数据库 RDS 弹性公网 IP 云拨测 阿里云最佳实践分享群 最佳实践频道 产品列表 云速搭 CADT 云服务 ECS 负载均衡 SLB 云数据库 RDS 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 基于云拨测的 网站用户...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,弹性公网IP,云速搭,云拨测
基于SLS实现统一告警最佳实践
基于SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
行动策略:主要是通知渠道的设定、分派,除了支持非常丰富的通知渠道如:短信、语音、邮件、Webhook、企业微信、钉钉、Slack、飞等,还支持强大的用户组、值班组、轮岗代班等功能。2.2.添加用户 步骤1 登录 SLS控制台(https://sls.console.aliyun.com/lognext/profile),单击用 CADT创建 好的 SLS实例:sls-bp235。步骤...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
大数据workshop
大数据workshop
大数据workshop
IP和端口,格式为 ip:port 表 log_info:文档版本:20210628(发布日期)50 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 ᅳ project:datahub的项目名称 ᅳ topic:默认值是 log_info ᅳ subId:填入 3.3.2.创建数据订阅中创建并记录的{ log_info_subID }的订阅 值 ᅳ accessid、accesskey:有 DataHub读权限的 AK信息...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
支持停机不收费的 ECS资源包括:ᅳ 计算资源(vCPU和内存)ᅳ 固定公网 IP地址和带宽 不支持停机不收费的 ECS资源包括但不限于:ᅳ 系统盘 ᅳ 实例上挂载的数据盘 ᅳ 弹性公网 IP(EIP)和带宽 ᅳ 镜像 ᅳ 快照 步骤1 以大数据 EMR集群为例,我们进入 ECS控制台,通过停机不收费的方式,关掉 Task 实例组的按量付费实例...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
高性能数据库ECS测试及选型
高性能数据库ECS测试及选型
概述 客户自建高性能数据库(如电商大促)在做ECS选型时,对磁盘的IO、网络的吞吐都有很大要求,为了跟接近真实业务场景,使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景  自建数据库性能测试  磁盘性能测试  ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势  基于标准的TPC-C测试,接近真实业务场景。  提供多规格实例测试,快速选择最优性价比实例。
配置 SQL Server 步骤1 进入 SQL Server 配置管理,启用 Named pipes和 TPC/IP。文档版本:20201104 19 高性能数据库 ECS测试及选型 基础环境搭建 步骤2 进入 SQL Server管理工具。步骤3 进入数据库。文档版本:20201104 20 高性能数据库 ECS测试及选型 基础环境搭建 步骤4 查案数据库属性页。步骤5 启用 SQL Server和 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
弹性裸金属自建ORACLE数据库双机
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造:由于历史原因,客户业务系统只支持 ORACLE数据库,客户没有技术/时间去做技术栈 改造。 2.高性能:希望拥有比虚拟机更高的性能和稳定 性,以保障数据库高性能,支撑高并发的业务系 统。 3.高可用:追求数据库服务的高可用,在某一台数 据库服务器宕机时快速切换备机,实现对业务应 用的最小影响。 4.数据安全性:极端情况下能找回数据,数据备份 和恢复更方便。
CADT提供大量预制的应用架构模板,同时也支持自助拖拽方式 义应用云上架构,支持大量阿里云服务的配置和管理,可以方便地对云上架构方案的 成本、部署、运维、回收进行全生命周期的管理。(介绍及操作手册详见云速搭帮助文 档(https://help.aliyun.com/document_detail/183861.htm))本最佳实践设计的资源部署,也可以...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,弹性公网IP,弹性裸金属服务器(神龙),云速搭
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用