基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据<em>分析</em>
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
基于 Flink+ClickHouse构建实时游戏数据分析 最佳实践 业务架构 背景描述 在互联网、游戏行业中,常常需要对用户行 为日志进行分析,通过数据挖掘,来更好地 支持业务运营,比如用户轨迹,热力图,登 录行为分析,实时业务大屏等。当业务数据 量达到千亿规模时,常常导致分析不实时,平均响应时间长达 10分钟,影响业务的正...
来自: 最佳实践 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI<em>分析</em>
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做 ETL之后,同步到 Hologres进行实时 ,之后通过 Quick BI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程 序应用内 BI分析场景。2.可扩展到各类网站 BI分析场景...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
无服务器(Serverless)化的云上交互式查询分析服务。无需 ETL,就可通过此服务在云上通过标准 JDBC 直接对阿里云 OSS、TableStore、RDS等不同数据源里存储的数据轻松进行查询 和分析。DLA 无缝集成各类商业分析工具,提供便捷的数据可视化。详见:https://www.aliyun.com/product/datalakeanalytics DMS:数据管理服务...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
工业控制性能优化解决方案
工业控制性能优化是基于对控制器的参数实时评估与监控,通过阿里云大数据处理和计算的能力,结合人工智能算法,机器学习的能力,为企业提供高效的性能评估与整定,更方便、快捷地完成回路控制性能的批量评估和整定优化工作,为企业提供最佳的控制性能优化解决方案。
根据客户的不同需求可以生成面向生产管理人员、工程师人员、系统维护人员、生产操作人员等不同目标群体的详细厂级回路分析报告并进行定期推送,以满足不同人员对于控制回路的管理需求,从而能够为相关人员的决策提供及时有效的辅助作用.定制化多尺度厂级回路分析报告.工业控制性能优化是利用阿里云平台强大的计算能力,结合...
来自: 解决方案
虚拟配网调度员解决方案
虚拟配网调度员解决方案以智能运检技术发展规划为指导,强化配电运行过程管控,提升人机协同效率,以人工智能技术和现代通信技术为载体,全面应用智能化技术和装备。通过智能配网智慧生产指挥AI应用建设,利用机器智能代替大量不必要的人工重复劳动,有效发挥电网指挥的作用,提升企业整体运营效率。
通过人工人智能技术加持的海量数据挖掘分析算法,有效解决各级配网工作中的问题.当前国家推动的两化融合、中国智能制造2025,人工智能定位为国家重点战略推进,本项目将人工智能技术与电力行业应用相结合,具有较高的前瞻性和必要性,势必为电力行业树立“行业+AI应用”的标杆.在未来电力大脑将以通用性极强的核心引擎为...
来自: 解决方案
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
兼容 POSIX 文件接口,可支持数千台计算节点共享访问,可以挂载到弹性 计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高性能 计算 EHPC,AI训练 PAI等计算业务上提供高性能的共享存储,用户无需修改应 程序,即可无缝迁移业务系统上云。更多信息,请参见云文件存储 NAS简介 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
有别于传统工具的繁复,PTS以互联网化的交互,提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景,任务随时发起,免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可能力,高效检验和管理业务性能。详见:...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志服务SLS关联<em>分析</em>最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
可观测链路 OpenTelemetry 版结合日志服务 SLS关联分析 最佳实践 场景描述 业务架构 可观测链路 OpenTelemetry 版为分布式应用的 开发者提供了完整的调用链路还原、调用请求量 统计、链路拓扑、应用依赖分析等工具,可以帮 助开发者快速分析和诊断分布式应用架构下的 性能瓶颈,当应用出现业务异常问题时,您可以 在可观测...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
来了解更多常见问题,找到您的答案社区实验与课程了解如何添加用户、创建工作空间及分配人员连接数据源与创建数据集搭建「利润监控分析」看板并解读数据技术交流内容分类:博文问答四度入选 Gartner 后 Quick BI 又有大动作|着重交互分析与监控告警升级,持续优化分析链路Quick BI 是一款面向企业提供全场景数据消费式 BI ...
来自: 云产品
利用交互分析(Hologres)进行数据查询
利用<em>交互</em>式<em>分析</em>(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
基于交互分析工具进行数据查询最佳实践 业务架构 场景描述 随着收集数据的方式不断丰富,企业信息化程度越来越高,企业掌握的数据量呈TB、PB或EB级别增长。同时,数 据中台的快速推进,使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
车辆数据安全稳定上云和分析
阿里云物联网平台提供全托管的企业级实例服务,无需自建物联网基础设施即可实现车辆数据的安全稳定上云。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台车辆数据安全稳定上云和分析方案介绍方案优势应用场景方案部署车辆数据安全稳定上云和分析该方案为车企提供安全稳定的车辆数据上云和分析服务。阿里云物联网平台提供全托管的企业级实例服务,无需自建物联网基础设施即可实现车辆数据的安全...
来自: 解决方案
语音分析
阿里云语音分析是通过检测与分析音频,识别特定语音分类的技术,包括说话人识别、语种识别、性别识别、声音事件检测等技术,可应用于会议音频识别、客服音频分析或音视频剪辑等场景。
语音分析技术是指通过检测与分析音频,识别特定语音分类的技术,包括说话人识别、语种识别、性别识别、声音事件检测等技术,可应用于会议音频识别、客服音频分析或音视频剪辑等场景.实现对上传音频(实时或离线)中所说的是哪种语言进行句级别的判定,并返回是中、英、粤语或其他语言.电话客服营销场景下基于语种信息智能...
来自: 云产品
AnalyticDB MySQL湖仓版的用户运营分析实践
本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析,提供更高效的数据处理方案与更低的数据存储成本。
过去的方案中,为了不影响在线分析的性能和稳定性,通常两个实例,一个负责数据清洗,一个负责在线分析,但这种方案存在数据时效性差、一致性差、数据冗余的问题。本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析,提供更高效的数据处理方案与更低的数据存储成本。方案预估:...
来自: 解决方案
智能语音交互
阿里云智能语音交互(Intelligent Speech Interaction),提供语音识别、语音合成、自然语言理解等基础技术,应用于智能客服、智能质检、庭审实时记录、实时演讲字幕、访谈录音转写等场景。提供自学习平台等应用工具,辅助实现语音识别效果的定制优化。语音交互产品可进行公共云和私有化部署,在金融、保险、司法、电商等多个领域均有成功应用案例。
借助阿里云智能语音交互能力将实时通话录音转为文本,并进行文本分析,实现客服实时监控、离线质检等多种应用场景.通过智能语音识别,完成电话坐席的全量、实时质检;避服务风险及服务违规,保证服务质量.实时语音转写.推荐搭配使用.智能客服质检.智能客服质检.用户在公共交通或公共场合看直播,无法打开音量,观看不过瘾。...
来自: 云产品
企业标准版数据分析解决方案
企业标准版数据分析解决方案通过实时数仓+离线数仓的组合方案,实现多源数据采集、集成、计算和展现,满足客户不同维度、不同查询时效性的要求,解决企业客户普遍会遇到的数据分析瓶颈,帮助业务决策,提升销售转化。
本方案无缝对接各类云上数据库和自建数据库,实现多源数据精准实时分析,大幅提升数据分析和报表开发效率,零代码鼠标拖拽式操作交互,让业务人员也能轻松实现海量数据可视化分析.搭建数据分析平台技术门槛高.TB 或 PB 级数据量分析效率较低.多来源、多维度的数据采集、集成和分析难度高.支持关系型数据库、文件存储、...
来自: 解决方案
游戏数据运营融合分析
游戏数据运营融合<em>分析</em>
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户,无法 接受T+1延迟。 3.对数据成本有一定诉求的客户,希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析:依托ADB计算密集型实例, 秒级监控DAU等数据,为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析:打通结构化和非结构化 数据,支撑产品体验分析;广告买量投放效 果实时(分钟级)分析,渠道的评估更准确。 3.低成本:DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析,在满足各种分析场景需求的同时,有效 地降低的客户的总体使用成本。 4.学习成本低:DLA和ADB兼容标准SQL语 法,无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
来源分析 游戏玩家来源分析里面,新增设备分析用来预测该款游戏的生命周期和拉新效率等,文档版本:20210224 112 游戏数据运营融合分析 经典游戏数据运营分析场景列举 均为评价该款游戏是否被玩家广泛接受的一个非常重要的指标,一个典型的来源 如下图所示:如此统计新增设备、新增玩家等计算的 SQL示例通常如下:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,云原生数据仓库AnalyticDB My,数据湖分析,Quick BI
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
阿里云数据库快速搭建疫情分析系统 最佳实践 业务架构 场景描述 疫情降临,疫情态势分析和防控任务迫在眉 睫,如果快速搭建高效的疫情态势分析系统 第三方 GIS数据接入 是众多部门和单位的难题,阿里云 RDS PG+Ganos解决方案可在极短时间内完成 分析系统搭建,有效助力疫情防控。GIS数据管理平台 方案优势 1.快速搭建,快速...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
全域采集与增长分析Quick Tracking
全域采集与增长分析(Quick Tracking)是阿里云推出的应用数据采集及分析产品,为运营、BI、产品和决策层提供一站式数据化运营服务:通用的多维度用户行为分析、自助分析功能、数据无缝对接其他大数据产品,助每个企业实现基于大数据技术的精细化运营能力。
数据采集稳定、准确.-10余种分析模型满足日常灵活分析需求-拖拽式搭建看板,让业务分析有逻辑,懂增长-秒级查询体验,多场景分析洞察更高效.多维分析有逻辑.-一站式提供开发、产品等角色行为数据和性能数据洞察-提供App、Web、小程序性能监控与告警能力-挖掘业务增长与用户体验间微妙变化.性能监控保障用户体验.适用于年...
来自: 云产品
智能对话分析
阿里云智能对话分析帮助企业从海量对话录音或对话文本中挖掘可能存在的风险点和商机,同时提升企业服务质量、监控舆情风险、优化服务策略,智能对话分析典型应用场景有智能客服质检、销售线索分析等。
智能对话分析深度融合实际业务场景进行洞察分析,助力杭州银行客服中心做实做强智慧运营,实现质检产能提升30倍,质检准确率90%,业务分析效率分钟级的应用效果。北京东大正保科技有限公司是中国远程教育的开拓者和领跑者。智能对话分析助力业务质检方式升级,实现从低比例抽检到海量数据智能质检的跨越,通过质检多轮对话...
来自: 云产品
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据<em>分析</em>
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
新 3.33 文档版本:20200331 I数据湖-在线学习场景数据分析 前言 前言 概述 本实践以WebServer为例来模拟在线教育的应用场景,通过Nginx和Pythonflask 搭建WebServer,模拟应用中的关键页面,比如登录、课程内容等,之后构造若干 户使用的模拟日志数据,投递到数据湖进行分析后获取应用PV、UV、课程内容访问 排行等。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用