基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
ClickHouse对数据采用有序存储的方式,其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征,并且结合 LSM tree的设计进一步进行优化,使得 写性能达到最优(可达到 200MB/S)。Presto,支持 SQL 并提供了一个标准数据库的语法特性,但其不是一个通常意义上的 关系数据库,而是定位在数据仓库和数据分析...
来自: 最佳实践 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
文档版本:20220321 18 E-HPC低成本实现量化策略回测 操作步骤 步骤3 进入 ECS 台镜像 页 面,确 认 镜 像 创 建 完 成。(https://ecs.console.aliyun.com/image/region/cn-zhangjiakou/imageList)说明:创建镜像耗时受镜像大小影响,本例的自定义镜像耗时约 10分钟左右,请耐心 等待。文档版本:20220321 19 E-HPC...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
RAM用户集成企业AD FS身份认证
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS,使用企 业AD对员工的身份认证及管理功能,配置RAM 用户与AD用户的映射关系,实现企业员工使用企 业AD域账号以单点登录(SSO)的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
文档版本:20220617 IIIRAM用户集成企业ADFS身份认证 前言  ActiveDirectory域服务(ADDS):提供对域用户和域设备等对象的创建、查询和 修改等功能。(ADFS):提供配置SSO信赖方的功能,并 对配置好的信赖方提供SSO认证。文档版本:20220617 IVRAM用户集成企业ADFS身份认证 目录 目录 文档版本信息.I 法律声明.II ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,访问控制,云速搭CADT
云速搭部署安全组最佳实践
云速搭部署安全组最佳实践
本实践通过云速搭实现安全组和企业安全组的部署。
文档版本:20211117 9 云速搭部署安全组 CADT部署安全组应用架构 步骤6 双击 ECS,选择参数 配置项 配置明细 购买方式 新购 可用区 实例名称 ecs001 支付方式 按量付费 实例规格 ecs.c6a.large(2c 4g)镜像 Alibaba Cloud Linux 镜像版本 Alibaba Cloud Linux 3.2104 64位 系统盘类型 ESSD云盘 系统盘容量 40 性能级别 PL0 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭CADT
混合云HBR云上备份VMware虚拟机
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
步骤4 在左侧导航栏选择实例,并在实例列表页面,单击服务器实例vCenter操作列下的 连接,登录vSphereWebClient。步骤5 在输入远程连接密码对话框中,输入密码,并单击确定。文档版本:20190716 17 混合云HBR云上备份VMware虚拟机 部署阿里云混合云存储客户端 步骤6 登录部署了vSphereClient的服务器后,打开浏览器...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙),混合云备份
应用IPv6改造
应用IPv6改造
方案一:增加支持IPv6的公网CLB 新创建一个IPv6协议的公网型CLB实例,后端挂载源IPv4的应用实例,并新增域名 ipv6-clb 解析到此实例。此方案对源IPv4业务系统无任何改造,但整体业务需要两个域名,分别对应IPv4和IPv6的客户端访问请求。 方案二:存量CLB迁移至NLB 采用支持双栈的NLB实例,可以同时接受IPv4/IPv6客户端请求,后端挂载源IPv4的应用实例。新增域名nlb-dualstack 到NLB实例,亦可保留源ipv4-clb域名。本实践以新增域名的方式进行演示。此方案需要源业务系统做一个业务流量的割接,其余没有改造,对外整体提供一个域名,同时满足IPv4和IPv6的客户端访问请求。 方案三:通过企业版WAF转发IPv6请求 新增一个企业版WAF实例,可以同时接受IPv4/IPv6客户端请求,后端挂载源IPv4的应用实例。源ipv4-clb域名保持不变。此方案对源业务系统的流量入口做了七层防护,对外整体提供一个域名,同时满足IPv4和IPv6的客户端访问请求。 方案四:通过标准版全球加速GA转发IPv6请求 新增一个标准版GA实例,可以指定接受IPv6客户端请求,后端挂载源IPv4的应用实例。源ipv4-clb域名保持不变,并新增域名 ipv6-ga 解析到GA实例。此方案对源IPv4业务系统无任何改造,整体业务需要两个域名,分别对应IPv4和IPv6的客户端访问请求。
负载均衡可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用 的可用性。云解析 DNS:云解析 DNS(Alibaba Cloud DNS)是一种安全、快速、稳定、可扩展的权 威 DNS服务,云解析 DNS为企业和开发者将易于管理识别的域名转换为计算机用于互连 通信的数字 IP地址,从而将用户的访问路由到相应的网站或...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,Web应用防火墙,全球加速,云速搭CADT
KVM on弹性裸金属
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品,为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware,本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时,可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
如ECS、SLB等  本方案为了演示方便,ECS安全组配置以及SLB的访问控制配置从简,请按照实 际业务需求配置正确的安全规则。 本方案重在演示迁移思路和做法,demo程序以及应用配置从简,请按照实际业务 需求配置。 有问题请扫钉钉二维码联系我们。文档版本:20191213 4 KVMon弹性裸金属 演示环境说明 文档版本:20191213...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,弹性裸金属服务器(神龙)
电商网站业务安全
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
电商网站业务安全 最佳实践 业务架构图 场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。解决问题 1.保障...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,DDoS防护,风险识别,爬虫风险管理,云速搭CADT
弹性裸金属自建ORACLE数据库单机版
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造:由于历史原因,客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大,客户没有技术/时间去做改 造。 2.高性能:客户希望拥有比虚拟机更高的性能 和稳定性,以保障数据库高性能,支撑高并 发的业务系统; 3.高可用:在单机条件下,极端情况下数据库 发生宕机时,客户希望能快速拉起数据库服 务,减少停机时间; 4.数据安全性:极端情况下能找回数据。数据 备份和恢复更方便。
客户业务系统选型 ORACLE 数据库且不 愿做业务改造:由于历史原因,客户业务 只支持 ORACLE 数据库。适配开源数据 库业务改造量大,客户没有技术/时间去做 改造。2.高性能:客户希望拥有比虚拟机更高的性能 和稳定性,以保障数据库高性能,支撑高并 发的业务系统;3.高可用:在单机条件下,极端情况下数据库 发生宕机时...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
RI和SCU全链路使用实践
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展,更多的企业会使用云计算,且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。 本文提供全链路使用实践,帮助客户快速验证云上服务,更合理 的使用RI/SCU。借助覆盖率指标和智能推荐,有效管理云上资 源成本。 用户价值 使用RI 和SCU,可以灵活抵扣相关资源。随时创建释放, 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务,跨服务高 度灵活,无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘,简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
配置项 说明 地域及可用区 华东 2(上海)资源预留 无预留 可用区 跨可用区(地域级预留实例券)实例 计算型 c6 ecs.c6.2xlarge(8 vCPU,16GiB)操作系统平台 Linux平台(注意:按量实例的镜像需要匹配操作系统平台,预留实例券方 能抵扣,且预留实例券一旦购买后,不同操作系统平台的预留实 例券不可互相转换。付款类型 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,存储容量单位包,预留实例券
基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
基于 Flink的资讯场景实时数仓 最佳...当用户的行为触发某些控制点时, 会捕获这个事件,并根据用户当前和之前的行为进行分析,决定是否对用户进行风 险控制或推荐。可参考:https://nightlies.apache.org/flink/flink-docs-release- 1.13/docs/dev/table/sql/queries/match_recognize/ 文档版本:20220223(发布日期)90
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
混合云灾之HDR VMware虚拟机容灾
混合云灾<em>备</em>之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像,可以为云上或云下的VMware环境提供有效 的数据保护,保证数据快速、安全、高效地备份到云 上,并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
混合云灾之HDRVMware虚拟机容灾 最佳实践 业务架构图 场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像,可以为云上或云下的VMware环境提供有效 的数据保护,保证数据快速、安全、高效地备份到云 上,并在需要时快速恢复备份镜像。如有问题请使用钉钉扫码联系文档作者:解决问题 1.云上和云下的VMware虚拟机...
来自: 最佳实践 | 相关产品:弹性裸金属服务器(神龙)
物联网智能视频服务Link Visual
阿里云物联网智能视频服务Link Visual简称Link Visual,是面向视频采集设备,提供设备连云、视频分发、云存储、视频回放、远程控制、视频AI分析等能力的一体化智能视频服务平台。
产品功能加速视频设备快速上云 大幅缩短物联网视频设备上云的研发周期 物联网视频设备快速上云 提供Linux、RTOS、Android、AliOS Things等多系统、多语言设备端SDK,支持直连设备、NVR多种设备上云方式。高性能的音视频能力 提供视频直播、录像点播、双向通话、智能报警等基础视频服务能力,并通过端云协同的业务策略,确保...
来自: 云产品
钉钉音视频会议解决方案
钉钉音视频会议解决方案,打通通信录、语音、会议、消息及会场管理系统,提供一站式全场景会议的能力,有效提升客户办公协同效率。通过硬件终端+软件客户端+SDK/API+云服务,突破空间、网络限制,将原有只能在会议室对会议室或者只能纯软件线上会议扩展为全场景随时随地入会、全球覆盖的云会议服务。
提供音视频会议、共享屏幕、白板、会议控制的集成会议体验,为企业提供高效协同数字化会议室解决方案.基于阿里巴巴集团数年视频会议技术及应用积累、全球部署的网络节点及先进的 AI 技术,可随时与其他与会者沟通.谢赟辉,靖鑫,也树.钉钉音视频会议解决方案适用于公司内部远程会议、培训;公司外部与客户、供应商、合作伙伴...
来自: 解决方案
IoT 设备身份认证
阿里云 IoT设备身份认证提供身份认证、通道加密和业务数据加密等能力,实现物联网数据可信上云和可信上链。提供公共云、一体机、专有云、多云等部署模式。
IoT 设备身份认证 IoT 设备身份认证 ID²(IoT Device ID)为物联网设备提供上云的可信身份凭证,防范未经授权的设备接入、敏感数据泄漏或篡改、虚假数据上报、设备非法操控...为物联网平台提供一键开启的风险检测能力,为物联网设备提供漏洞检测与修复、网络访问控制、合规自查等能力,保障物联网系统安全稳定运行。查看详情
来自: 云产品
充电桩设备智能化解决方案
阿里云充电桩设备智能化解决方案,提供了端、网、云一体的解决方案,帮助客户更低成本、更快捷的完成设备智能化上云,并保障业务持续稳定的运行。
针对充电桩设备智能化应用场景,提供物联网卡、物联网模组、设备远程运维、安全风险检测等云端一体服务,实现充电桩的运行状态实时监控和充电桩设备的智能运维管理,帮助客户更低成本、更快捷地完成设备智能化上云,并保障业务持续稳定的运行.谢赟辉,靖鑫,也树.充电桩设备智能化解决方案.阿里云 IoT 针对充电桩设备智能化...
来自: 解决方案
机床设备管理解决方案
工业母机 机床设备管理解决方案通过数控机床转速和主轴振幅数据的实时或定时采集,抽取共振点的转速-振幅,通过对历史数据训练预测模型,预测机床运行中的异常设置和故障。指导规避缺陷转速排产,减少次品率的发生、对主轴和道具的损耗。分析共振转速趋势,评估机床耗损情况,及时检修,减少经济损失。
机床设备管理解决方案.采集工业母机体检数据,抽取共振点的转速-振幅,通过工业大脑AICS对历史数据训练预测模型,预测机床运行中的异常设置和故障,适用于广泛的机械设备.谢赟辉,靖鑫,也树.机床设备管理解决方案.通过数控机床转速和主轴振幅数据的实时或定时采集,抽取共振点的转速-振幅,通过对历史数据训练预测模型,预测...
来自: 解决方案
远程教育AI辅助解决方案
远程教育AI辅助解决方案弥补了传统教育场景中的诸多不足,底座基于阿里云达摩院的算法能力,轻松接入,场景覆盖广泛,识别准确度较高。
远程教育AI辅助解决方案.面向教育领域,基于阿里云强大的计算底座和 AI 能力,智能化的解决教育中存在的诸多难题,降低学校、教育机构运营管理成本。算法中包含行为检测、场景识别、线上监考等能力.谢赟辉,靖鑫,也树.远程教育AI辅助解决方案.本方案基于阿里云视图计算和达摩院 AI 能力,实现新增设备和存量设备一键上云,...
来自: 解决方案
远程监考解决方案
远程监考解决方案,助力疫情期间学校、培训机构、企事业单位通过远程视频监考的方式,为全球各地学生按计划取得所学学分、学历认证提供了技术支撑。
监考老师利用在线考试系统中多分屏方式,对多个考生多机位远程监考,并可通过实时音视频通话进行线上考试操作培训,提醒考生注意事项.支持监考老师、考生的每一路音视频实时录制,或将多路音视频进行混流录制,方便考试单位,认证机构事后调取复盘.解决方案模板页-步骤条.邬雨杰,靖鑫,也树.邬雨杰,靖鑫,也树.邬雨杰,靖鑫,也...
来自: 解决方案
远程日志
APP开发人员可通过远程日志拉取目标手机的日志文件(不包括用户隐私数据),进而帮助开发人员更快的定位线上疑难杂症,提升线上应用质量。
「崩溃分析、性能分析、远程日志」感知、定位问题->「移动测试」真机租用,调试复现问题->「移动热修复」及时修复问题.基于「崩溃分析、性能分析」可视化线上 APP 质量全景->指导「移动测试」重点机型和业务模块,提升测试效能.场景架构(简易)-copy.唐家哲,靖鑫,也树.远程日志产品相关文档.远程日志服务的计量与付费介绍....
来自: 云产品
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用