基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据,我们如何进行数据库的选项,这里对比了开源的两种常见分析性 据库。ClickHouse对数据采用有序存储的方式,其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征,并且结合 LSM tree的设计进一步进行优化,使得 写性能达到最优(可达到 200MB/S...
来自: 最佳实践 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
办公安全平台SASE
阿里云办公安全平台(Security Access Service Edge)依托阿里云海量的边缘节点,将安全能力延伸至用户边缘,为企业分支机构/门店、远程移动办公场景的访问互联网及云上服务流量提供就近接入的安全防护能力。
依托阿里云的威胁情报数据,可为用户提供30+个大,上千万量级的URL特征,可以识别并拦截员工访问恶意网站的行为,防止办公终端中招的同时,也保障企业内部网络的安全水位.URL访问管控.自研HTTPS加密传输协议,基于动态身份认证,支持端到端(tcp)、端到应用(HTTP/HTTPS)的最小权限访问控制,相较于传统VPN访问,具备...
来自: 云产品
专属钉钉
阿里云专属钉钉是针对企业协同场景的移动办公平台。提供了强大的APP自定义能力,满足金融级别的信息安全要求,提供钉钉核心能力的专属openAPI。企业可以轻松打造自己的即时沟通工具及统一业务平台,完成组织、协同、业务的在线化和移动化。
钉钉开放平台支持小程序和H5微应用两种类型的应用开发,企业可以非常轻松通过自建应用接入自己的业务系统并整合到钉钉工作台上.用企业自己的元素替换原来的UI,为企业打造自己的钉钉.支持混合云架构,应用数据分离。通过公共云为应用提供弹性扩展能力,通过数据本地化确保数据所有权和安全性.作为钉钉企业版,开放更多API,...
来自: 云产品
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
VPN网关 VPN网关是一款基于 Internet的网络连接服务,通过加密通道的方式实现企业 中心、企业办公网络或 Internet终端与阿里云专有网络(VPC)安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN,不仅可以更方便的配置和...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
实例监控展示了应用服务对应的实例副本监控信息,包括基础监控信息,如请求、错误、平均耗时、实例、CPU 使用率和内存使用量,还支持丰富的网络性能监控信息。事件分析功能是基于已产生的告警事件明细数据,自由组合筛选条件进行实时分析,可以满足不同场景的自定义分析诊断需求。通过创建应用监控告警规则,您可以...
来自: 云产品
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
同时, 中台的快速推进,使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。Hologres致力于低成本和高性能地大规模计算存储和 强大的查询能力,为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,...
来自: 解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
25 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 这里数据库名 kafkaToMongoDB 查询 中的数据 2.4.MongoDB 步骤1 双击新建的,可以看到默认的 test 集合,通过 db.test.find().limit(20);命令可以查询 该集合的数据,可以看到目前该集合中是没有任何数据的。26 文档版本...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案,帮助您免除MySQL运维的烦恼。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 RDS MySQL 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区云数据库 RDS MySQL 版稳定可靠、可弹性伸缩的在线 MySQL 数据库服务,帮助您免除 MySQL 运维的烦恼。立即购买免费试用...
来自: 云产品
数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务,内核基于业界领先的开源分析型数据库 Apache Doris 研发,由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景,致力于为客户提供极致性能、简单易用的数据分析服务。
登顶全球分析型数据库榜单 ClickBench,多项指标世界第一。支持实时高并发的导入和更新能力,数据从产生到可分析仅需秒级。云原生架构解决成本和扩展性问题云原生的存算分离架构,可独立、按需地伸缩计算和存储资源。全量数据存储于廉价稳定的对象存储 OSS 中,存储单价降低约 90%。支持多计算集群共享同一份数据,避免存储...
来自: 云产品
数据库审计
阿里云数据库审计专业提供智能解析数据库通信流量,细粒度审计数据库访问行为,通过对数据库全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警,为您最敏感的数据库资产做好最安全的监控保障。
覆盖解析多种数据库类型,支持ORACLE/MySQL/SQL Server/DB2/Sybase/MongoDB/达梦/人大金仓等,关系、非关系、国产化、大数据…30余种数据库解析,满足现多样化数据库资产审计需求.全面数据库覆盖.设计了30多种特定场景专业分析报表,包括等保分析报表、态势综合分析报表、塞班斯分析报表等,满足不同场景的分析需求,...
来自: 云产品
数据库安全解决方案
通过云数据库原生安全能力,数据管理DMS和数据备份DBS,构建云上三位一体的完整数据库安全解决方案
向企业客户提供云数据库、ECS自建和IDC自建数据库的数据库备份能力和方案,支持MySQL、Oracle、SQL Server、MongoDB、Redis、PostgreSQL等多种数据库类型,具备备份压缩、加密、备份数据查询和单表恢复等高级特性.数据备份DBS安全能力.非云数据库常见的安全策略,是以开源或商业数据库内核安全特性为基础,由具备丰富运维...
来自: 解决方案
混合云数据库统一管理
混合云<em>数据库</em>统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
其中杭州部署 MySQL数据库数据库网关,上海部署 PgSQL 据库。注意:上述模板中“自建 MySQL”和“自建 PgSQL”已经和公网 IP绑定,在部署完 数据库软件后,可以解绑公网 IP。模拟仅有内网 IP的数据库服务器。步骤3 部署所有资源。单击部署资源,单击下一步,直到完成资源部署。文档版本:20201224(发布日期)8 混合云...
来自: 最佳实践 | 相关产品:数据传输,数据管理
大促营销数据库解决方案
根据多年沉淀经验,阿里云提供基于MySQL产品系列(RDS MySQL、PolarDB MySQL)的大促营销解决方案,帮助企业客户轻松应对大促,实现消费者、平台、商家、供应商、物流等大促链路上的所有角色共赢。
数据管理DMS,提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的web数据库管理终端;提供数据快速恢复、数据管理、大促变更管理等方面的解决方案。数据库自治服务DAS,基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务.生态工具齐全.大促对整个数据库系统都提出了极高的要求...
来自: 解决方案
数据库异地灾备
<em>数据库</em>异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
步骤7 完成数据库恢复配置之后,预检查将会检查所有前面的配置选项、数据库连通性、 据库权限等内容。预检查完成后,单击立即启动。步骤8 在恢复任务列表,可以看到该恢复任务状态从初始化中,运行中,变到完成,单击管 理,可查看恢复任务详情。文档版本:20220207 84 数据库异地灾备 容灾演练 步骤9 恢复完成后,点击 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
游戏行业多场景云数据库解决方案
阿里云的游戏行业数据库解决方案通过使用云数据库的产品组合,应对游戏行业多种细分场景,充分利用阿里云数据库高性能、低成本、高可用、易维护的优势,帮助游戏客户适应当前和未来业务发展的需要。
比如,游戏合服场景,可利用DLA跨数据库实例、跨数据库类型对数据进行冲突分析,预先处理冲突数据;而DTS可实现数据全量+增量平滑迁移,整个迁移过程游戏业务无感知.灵活的产品组合.利用云数据库资源弹性的优势,比如,PolarDB计算存储层分离,可在分钟级别快速升配或增加只读节点;MongoDB底层存储采用云盘架构,不受单机...
来自: 解决方案
构建云上OLTP+OLAP数据库服务解决方案
HTAP是OLTP和OLAP的组合数据库技术,既能保证事务,满足线上业务高效数据读写需求,同时还能兼顾海量数据实时分析查询需求。
RDS MySQL版.ADB MySQL版.在数据存储领域,经典的OLTP(在线事务处理过程)数据库,支撑在线业务的稳定运行,提供高效的数据读写和完整事务保证;而OLAP(在线分析处理过程)能力则提供了海量数据实时复杂分析能力。利用云上资源为客户构建OLTP+OLAP的一揽子数据库解决方案,保证客户业务高效运行同时...同步支持的数据库类型.
来自: 解决方案
云速搭部署云数据库专属集群Mybase
云速搭部署云<em>数据库</em>专属集群Mybase
通过云速搭设计一个Mybase专属集群部署架构包含AliSQL及Tair
MyBase不仅能保 障客户独享云资源更加安全、享受到云数据库服务的便捷灵活,同时还满足企业 对 合 规 性、安 全 性 和 高 性 能 的 要 求。详见:https://www.aliyun.com/product/apsaradb/cddc 文档版本:20220207 3 云速搭部署云数据库专属集群Mybase 云速搭架构设计入门 云速搭架构设计入门 方案架构 通过云速搭...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库专属集群MyBase,云速搭CADT
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建<em>数据库</em>
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
扩展性 除了支持备份阿里云数据库,DBS还支持将 ECS自建数据库、本地机房 据库、其他云厂商数据库备份到阿里云上。除了支持恢复到原始数据库,DBS还支持恢复到其他环境,如本地数据库通 过 DBS备份,恢复到阿里云数据库上。文档版本:20210812 2 DBS通过 IPSec VPN备份自建数据库 前置条件 前置条件 在进行本文操作之前,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
基于MyBase构建自主可控数据库和高弹性应用实践
基于MyBase构建自主可控<em>数据库</em>和高弹性应用实践
一些企业级客户上云前,会重点关心数据库是否自主可控,包括云资源独享、自主可运维、获取OS 权限等特点,同时又要兼顾数据库合规性、安全性和高性能的要求;并力求在业务弹性下合理利用云产品降低数据和应用成本,弹性地支持业务。本实践为此类用户提供相关实践参考。
数据库专属集群为 客户独享云资源更加安全,用户既享受到云数据库服务的便捷灵活,又满足企业 对 合 规 性、安 全 性 和 高 性 能 的 要 求。详见:https://www.aliyun.com/product/apsaradb/cddc 堡垒机:集中管理资产权限,全程记录操作数据,实时还原运维场景,助力企业用 户构建云上统一、安全、高效运维...
来自: 最佳实践 | 相关产品:负载均衡 SLB,堡垒机,弹性伸缩,云数据库专属集群MyBase,云速搭CADT
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用