基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤6 确认消息推送消息队列 Kafka(实际消息条数大于 100,因为有系统启动的日志 也被收集到 kafka,这部分日志会在 Flink流处理时,进行 ETL过滤)。步骤7(可选)查看消息队列 Kafka中的 filebeat的消息格式。文档版本:20201224 44 基于 Flink+ClickHouse构建实时游戏数据分析 日志采集 日志模拟方式二:通过调用 ...
来自: 最佳实践 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
APP端内外用户促活解决方案
APP 端内外用户促活解决方案围绕 APP 端内外用户促活提供全域用户行为采集、建模、分析、触达、反馈全链路解决方案,通过自定义埋点、高效精准低延时推送、快速集成自由定制反馈等能力,帮助客户提升产品质量和体验、增强用户黏性。
消息精准推送.消息精准推送.移动用户反馈帮助开发者更好、更快速的听到用户声音,有助于开发者快速解决问题,提升用户满意度,不断完善产品和服务;也可收集合作意向,开拓新的合作伙伴.移动用户反馈.向阿里云提交方案详情咨询.售前技术专家对接,评估需求.基于业务场景,评估容量需求和配置规格建议.为您提供阿里云建议...
来自: 解决方案
阿里邮箱协同办公解决方案
阿里邮箱源自于云计算技术,具有高稳定高可用性弹性扩展的容器化技术架构,实现安全,稳定,智能、高效的企业邮箱应用,方案具有公有云SaaS服务、本地独立部署,全栈国产化部署等多种构建方式,与钉钉无缝集成实现便捷、互通、高效的统一协同办公体验
邮件推送(DirectMail)是款简单高效的电子邮件群发服务,构建在阿里云基础之上,帮您快速、精准地实现事务邮件、通知邮件和批量邮件的发送.邮件推送 DM.阿里邮箱协同办公解决方案.阿里邮箱采用高稳定、高可用性、可弹性扩展的容器化技术架构,满足企业安全、稳定、智能、高效办公的需求,本方案可支持公有云 SaaS 化购买、...
来自: 解决方案
移动研发平台EMAS
阿里云移动研发平台EMAS是国内领先的云原生应用研发平台(移动App、H5应用、小程序、Web应用等),基于广泛的云原生技术,为企业、开发者提供一站式的应用研发管理服务,涵盖应用开发、测试、运维、运营等应用全生命周期。
提供给移动App开发者的移动端消息推送服务,通过在App中集成推送功能,进行高效、精准、实时的消息推送,从而使业务及时触达用户,提高用户粘性.移动用户反馈.可以快速发送文字、图片、语音进行意见反馈和报告Bug,增强互动,提高用户黏性.查看EMAS所有相关文档.iOS和Android的接入文档.EMAS常见问题汇总.EMAS产品技术支持....
来自: 云产品
音视频终端 SDK
音视频终端 SDK集成了阿里云视频直播和视频点播业务中拍摄、编辑、上传、推流和播放的核心能力,同时融合视频特效、音频特效等音视频AI能力,为用户提供一体化SDK,支持多终端接入,搭配产品级Demo,支持用户根据业务需求快速集成所需
支持主播与主播、主播与观众实时连麦、主播跨房间互动等多画面实时视频互动,并可将互动视频流推送至直播中心进行大规模分发,推送给未连麦的观众.直播推流与连麦互动.产品 Demo.快速上线短视频采集、制作和播放等必备功能,适用于娱乐、社交、教育、新闻资讯、电商等对短视频拍摄制作和多创意玩法有需求的场景.提供移动端...
来自: 云产品
运维事件中心
阿里云运维事件中心是企业业务连续性管理平台,提供一站式运维管理、多端协同、基于ITIL的故障管理,帮助企业实现实时的数字化管理、连续的业务体验。
满足各类监控场景下报警统一事件化管理需求,支持集成对接各监控系统,支持服务器自定义推送异常事件,对报警、事件、故障进行全流程一站式管理,提升企业运维效率.支持多个常见监控系统集成,简单配置即可完成集成对接.多源监控集成.所有报警进行集中降噪处理,抑制收敛,避免报警风暴.报警统一处理.对报警生成事件,进行...
来自: 云产品
低代码电商直播间解决方案
低代码电商直播间解决方案,基于阿里云云原生、音视频、AI 智能算法和网络等先进技术,通过低代码方式接入,帮助企业快速完成在自有 APP、小程序、网站等平台的私域电商直播间的搭建。其易接入且强扩展的特性,既可以满足企业定制需求,又可以降低时间成本,快速验证直播卖货商业模式。
流、分发到播放提供一体化音视频服务,全球直播加速结合弹性伸缩服务,应对突发访问流量,保障直播流畅和稳定;\ \ 基于多模态内容理解 AI 技术,提供图片、视频、音频等多类型媒体审核服务,对敏感信息实时识别审核,保障直播内容安全.视频加速、AI 辅助、为直播安全保驾护航.提交合作咨询.向阿里云提交合作意向,描述...
来自: 解决方案
云监控
云监控(CloudMonitor)是阿里云提供的一款一站式、全链路、开箱即用的监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控,提供丰富的指标数据和强大开放的平台能力,帮助客户第一时间发现和定位问题构建完善的监控运维体系。
支持在推送报警信息到接收人的同时投递到其它阿里云服务(如日志服务、函数计算、消息队列等)或通过webhook方式与自建平台实现联动与系统集成.自定义指标接入.通过解析日志或调用API的方式可以实现将用户自定义的监控指标聚合到企业云监控指标仓库中,从而实现从云上到云下,从基础设施到应用乃至业务的一体化监控.实时...
来自: 云产品
云数据库 Cassandra 版
Cassandra是连续9年DB-Engines排名第一的宽表数据库,支持类SQL语法CQL,开发体验类似MySQL,可扩展PB级存储。推出企业版Lindorm for Cassandra云原生多模数据库,采用存储计算分离架构,支持海量数据的低成本存储和按需付费,具备更高性价比和更为丰富的企业级功能。
广泛用于安全风控、用户信息、历史订单、实时大屏、人车轨迹、消息、日志、报表、商品详情、新闻推送等场景。示例:用户行为事件等端侧数据,实时上传至Kafka,存储在Cassandra中。结合Spark对数据做复杂分析,构建用户画像,提供毫秒级延迟的实时推荐业务.-具备优异的高并发写性能,线性扩展能力强。1节点起配,最大可扩展...
来自: 云产品
移动智能营销解决方案
移动智能营销解决方案是围绕用户全生活场景的移动端智能营销解决方案。基于 APP 用户行为大数据分析,以 AI 核心科技打造自动高效的营销全流程闭环能力。通过快速接入阿里系、客户自建和第三方的衣食住行等生活场景服务,激活存量用户,促进产品二次销售,实现业务快速增长。
列车班次变化等重要信息通过消息推送服务快速触达市民.接入 mPaaS 框架及小程序重构 APP 架构,通过容器能力有效改善 APP 移动端体验。APP 内所有承载业务已经小程序化,面向学生提供流畅、稳定的校园物联网生活服务.通过积累移动端用户数据,同时对接第三方数据,精准描绘客户画像.圈定目标用户.通过活动模版快速配置营销...
来自: 解决方案
Salesforce on Alibaba Cloud
阿里云和Salesforce共同为中国客户带来了全球广受好评的CRM(客户关系管理)平台,包括销售云、服务云、电商云和 Salesforce 平台。它可以让企业的营销、销售、商务、服务和IT团队从任何地方一起协同工作,以提供卓越的客户体验。
通过扩展的Platform Events将电商和社交平台中的事件推送到Salesforce CRM,随后利用Flow为您的客户360使用短信或社交消息进行交易通知、订单确认和其他丰富体验。在中国主流社交渠道上使用Salesforce服务客户.社交集成Social Integration.更多产品和服务.<查看全部产品.阿里云和Salesforce共同为中国客户提供全球广受好评...
来自: 云产品
基于SLS实现统一告警最佳实践
基于SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
配置增加监控对象 为了能够体验到真实的告警数据通过 Prometheus推送到 SLS中,我们特定用一台 ECS去产生告警的数据,让 Prometheus捕获。步骤1 在 ECS管理控制台,打开通过 CADT创建的被监控 ECS(名称为:ecs-monitored)的控制台。步骤2 下载并安装 node_exporter服务,接入到 prometheus中。wget ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
视频云营业厅解决方案
远程实现银行柜员服务、证券开户、保险勘察等各类服务场景,建立视频云营业厅,打通金融机构用户线上经营服务能力,满足终端用户线上业务办理的需求。
柜员侧包含文件推送、话术提示等多种辅助手段提升效率.在私人银行等专属服务中,客户经理在与客户通话过程中引入理财产品专家,多方音视频会议,共同定制理财服务.远程音视频方式确认客户真实身份与贷款意愿,结合银行风控数据办理在线贷款业务.无需企业法人到达现场,使用音视频核验身份,完成对公开户流程.
来自: 解决方案
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
多渠道数据推送.支持钉钉、邮件、短信、Webhook 等10+监控数据源,确保及时触达.告警协作提升协同效率.基于钉钉的 ChatOps,借助报警管理、报警记录、历史查看,让告警变得可协作,可追溯,可统计.提供异常检查、智能降噪等算法能力有效减少无效告警.告警根因分析.基于应用上下文的告警根因分析,提升故障定位效率.智能告警...
来自: 云产品
Spark on ECI大数据分析
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
2.在容器镜像服务 ACR控制台上可以看到镜像已经推送到了私像仓库。2.4.准备 Spark应用镜像 步骤1 编写示例 WordCount函数并打包。本地开发环境使用 IntelliJ IDEA,创建 Maven工程,创建的 Maven工程结构如下图 所示,并将修改后的 core-site.xml文件放入应用项目的 resources目录,这里以编写 一个常见的 WordCount函数...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink,2倍性能提升,拥有FlinkCDC、动态CEP等企业级增值功能,内置丰富上下游连接器,助力企业构建高效、稳定和强大的实时数据应用。
主要业务场景包括实时反欺诈、实时大屏、实时精准推送等.实时计算Flink版最佳实践.钱大妈基于 Flink 的实时风控实践.实时计算Flink版总体介绍.实时计算Flink版快速入门.实时计算Flink版文档首页.实时计算Flink版应用场景.阿里云实时计算Flink版解决方案白皮书.入门视频(推荐学习).实时计算Flink版免费试用开通.Flink入门...
来自: 云产品
基于k8s多集群隔离环境下的devops实现
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
由于是在 PiggyMetrics下的子项目 Account Service直接修改,采用以下命令将修改 后的项目推送到 gitlab:文档版本:20220121 32 基于 K8S多集群隔离环境下的 DevOps实现 项目源码准备 cd~/piggymetrics/account-service/目录地址按实际情况 git init git remote add origin ssh:/git@xxxx:xx/piggymetrics/account-service...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
厂区智慧安防解决方案
厂区智慧安防解决方案,面向需要进行厂区安全监管的客户,基于阿里云物联网边缘计算能力,提供部署在近场侧的高可用的软硬一体产品,自动识别厂区安全管理的各要素,创建统一安全视图,提升安全预警的准确性。
实现安全工单的精准推送.物联网边缘计算.厂区智慧安防解决方案.在检测区域进人像动态检测,当有检测到人员则进行人像识别,系统自动实时告警。推送人像识别和比对等信息(时间、摄像头位置等关键信息)给外部系统,并留存报警时间及报警截图.厂区人员管控.厂区人员管控.越界检测算法基于计算机识别技术,配合现场摄像头,...
来自: 解决方案
钉钉制造业解决方案
钉钉制造业解决方案提供企业办公数字化、生产管理数字化、上下游协同数字化,面向制造企业构建云钉一体数字化转型解决方案。
根据您提交的需求,将有售前专家免费服务...通过将移动化技术与算法智能集成,实现对安全预警信息的实时推送和快速决策管理.方案核心价值.钉钉制造业解决方案.向阿里云提交方案详细咨询.售前技术专家对接,评估需求.需求沟通明确,阿里云架构师级专业服务团队为您定制解决方案.为您的解决方案配置专属服务团队进一步洽谈合作.
来自: 解决方案
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警,全面优化系统可用性与查询能力,用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
多渠道数据推送.基于钉钉的 ChatOps,借助报警管理、报警记录、历史查看,让告警变得可协作,可追溯,可统计.告警协作提升协同效率.提供异常检查、智能降噪等算法能力有效减少无效告警.基于应用上下文的告警根因分析,提升故障定位效率.告警根因分析.全局统一聚合查询,统一 Grafana 数据源,统一告警等能力.多实例全局聚合...
来自: 云产品
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用