基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤3 在导出价格清单对话框中,您可以分别查看预付费和后付费资源详情,包括资源成本 占比和价格列表,对应用架构资源成本有一个详细的了解。确认无误后,单击下一步:部署清单。文档版本:20201224 16 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤4 在打包购买对话框,勾选相关协议(默认勾选部署失败后...
来自: 最佳实践 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
文档版本:20210806(发布日期)8 Function Compute构建高弹性大数据采集系统 环境部署 步骤7 校验成功后,单击下一步:价格清单。如果遇到异常会有相应提示,如图 fc和 pts需要跳转到控制台进行服务开通。步骤8 计价成功后,单击下一步:部署清单。文档版本:20210806(发布日期)9 Function Compute构建高弹性大数据采集...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
这种动作(网页浏览,搜索和其他用户的行动)是在现代 络上的许多社会功能的一个关键因素,这些数据通常是由于吞吐量的要求而通过 处理日志和日志聚合来解决。对于像 Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka 的目的是通过 文档版本:20210723 III 自建Hadoop迁移...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
企业办公安全访问一体化
企业办公安全访问一体化
本场景模拟企业办公环境,基于 CSAS 服务构 建企业办公安全一体化方案,将“安全 + 网络” 能力无缝融合,实现了对云下办公终端安全的统 一管理,企业无需在投资复杂且昂贵的传统硬件 安全设备,即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
企业办公访问内网服务安全防护 对于远程办公的场景,CSAS基于ZTNA零信任网络架构,可以帮助用户更好的进行 访问内网服务进行安全防护,ZTNA网关只对合法客户端建立连接,后端业务对其它 非法访问及扫描不可见,使内部服务应用隐藏,而且CSAS策略支持按照用户身份属 性、客户端属性下发访问控制策略,同时支持按照应用(DNS/...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云安全访问服务
云数据库产品总览(瑶池)
阿里云提供完善的数据库解决方案,多款数据库产品,满足99%的业务场景,荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求;运维工作量大幅减少,让企业一站式享受数据上云及分布式架构的技术红利!
通过AnalyticDB MySQL实现上万TPS并发写、按需增减节点和TB级数据复杂查询秒级响应,助力广告业务精细化管理.RDS MySQL提供开箱即用、完善的监控、运维管控能力、限流、数据安全、API等能力,有效降低了孔运维团队的运维成本,提升了数据库可用性,使我们可以专注于业务架构设计和维护。在数据库迁移上云阶段阿里云DTS...
来自: 云产品
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
或已保有,本最佳实践新购交 换机)vswitch名 Vswitch-G 可用区 华东 2 可用区 G IPv4网段 192.168.2.0/24 EIP EIP名称 EIP 用来绑定运维用 ECS 支付方式 按量付费 公网带宽 按流量付费 按量付费 文档版本:20220506(发布日期)52 云上高并发系统改造 附录2 资源清单 带宽 5Mbps ALB ALB名 Alb 支付方式 按量付费 Ip模式 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
弹性公网 IP:独立的公网 IP资源,可以绑定到阿里云专有网络 VPC类型的 ECS、NAT网关、私负载均衡 SLB上,并可以动态解绑,实现公网 IP和 ECS、NAT 网关、SLB 的解耦,满足灵活管理的要求。更多信息请参见:(https://www.aliyun.com/product/eip)。关系型数据库 RDS:Relational Database Service,简称 RDS,是一种...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
独立的公网 IP资源,可以绑定到阿里 云专有网络 VPC类型的 ECS、NAT网关、私负载均衡 SLB上,并可以动态解 绑,实现公网 IP和 ECS、NAT网关、SLB的解耦,满足灵活管理的要求。详见:https://www.aliyun.com/product/eip SLB:负载均衡(Server Load Balancer,简称 SLB)。多台云服务器进行流量分 发的负载均衡服务,可以...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
ACK集群神龙资源错峰利用
ACK集群神龙资源错峰利用
场景描述 使用ACK构建容器集群环境,神龙资源为 集群节点资源部署应用。在主业务低谷 期,通过将部分神龙节点从容器集群中移 除,更换镜像切换操作系统及应用环境, 使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入ACK集群。从而达到错峰利用神龙资源 的目的,以便充分利用神龙资源,降低资 源成本。 解决问题 1.基于ACK及神龙资源构建容器集群环 境,典型部署应用。 2.ACK内挂载NAS存储。 3.ACK集群神龙实例节点移除和重新加入 集群。 产品列表 弹性裸金属服务器EBM 容器服务ACK 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云数据库RDS MySQL版 云数据库Redis版 文件存储NAS 访问控制RAM 日志服务SLS 云监控CloudMonitor 运维编排OOS
目前,EIP可绑定到专有网络类型的 ECS实例、专有网络类型的私 SLB实例、专有网络类型的辅助弹性网卡、NAT 网关和高可用虚拟 IP 上。详见:https://www.aliyun.com/product/eip 负载均衡 SLB:对多台云服务器进行流量分发的负载均衡服务,可以通过流量分 文档版本:20220509 III ACK集群神龙资源错峰利用 前言 发扩展应用...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,弹性裸金属服务器(神龙),云数据库 Redis 版,云速搭CADT
基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX,不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
消息服务的轻量队列模型、按量后付费计费模式、自动适应高并发的弹性可扩展能力让开发者低成本快速构建分布式松耦合系统,高效地传递数据和通知消息。应用集成API 网关提供 API 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 各个生命周期阶段。云工作流 CloudFlow致力于简化开发和运行...
来自: 云产品
共享流量包
阿里云共享流量包价格实惠,提供流量包年包月及产品试用。多产品覆盖,通用性好,按流量计费的ECS、EIP、SLB和NAT均可使用。使用简单,开通后自动抵扣多产品多地域流量费用。
付费流量包的流量价格比后付费按流量计费的流量价格更低.可供按流量计费的云服务器ECS、弹性公网IP、负载均衡和NAT网关产品同时流量共享.开通后自动覆盖多个地域产品,自动抵扣流量费用,无需额外操作.通过流量共享包中流量消耗量可轻松汇总公网流量整体使用量.81A_【标题】产品功能.孙慧颖,靖鑫,也树.可供多产品流量共享...
来自: 云产品
证券行情上云解决方案
承载海量客户行情刷新请求,提供弹性计算能力、降低计算存储成本、降低访问延时、增加访问稳定性。依托阿里金融云提供的安全解决方案,高速通道服务,打造证券混合云 。
频道页banner.靖鑫,习木,璟琪,别针.频道页banner.证券行情上云解决方案.通过阿里云承载海量客户行情刷新...产品覆盖面广,可供按流量计费的ECS、EIP、SLB和NAT网关使用;使用简单,流量包开通后自动覆盖多个地域的产品,并自动抵扣流量费用.根据您提交的需求,将有售前专家免费服务!根据您提交的需求,将有售前专家免费服务!
来自: 解决方案
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
统、VPN网关和 IPSec VPN隧道,介绍如何通过 自建ElasticSearch迁移到阿里云 快照的方式,将 ElasticSearch索引数据安全备 ElasticSearch服务实例。份到阿里云 OSS存储空间,以及介绍如何将备份 在OSS的快照仓库恢复到阿里云 ElasticSearch 实例,进一步达到 ElasticSearch迁移上云的目 的。产品列表 VPC,ECS,VPN网关,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS(Mobile PaaS)为 App 开发、测试、运营及运维提供云到端的一站式解决方案,能有效降低技术门槛、减少研发成本、提升开发效率,协助企业快速搭建稳定高质量的移动应用。
查看价格详情.蚂蚁动态卡片.mPaaS 小程序.移动安全加固.发布服务 MDS.移动分析 MAS.智能投放 MCDP.消息推送 MPS.网关服务 MGS.数据同步 MSS.移动智能营销.视频云营业厅.APP安全合规.移动开发平台.全线降价,mPaaS 助力打造超级 App.全线降价,mPaaS 助力打造超级 App!点击查看.移动开发平台 mPaaS(Mobile PaaS)为 App ...
来自: 云产品
MRACC加速倚天ECS实例Flink集群性能
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计:利用阿里云官方架构设计模版,在此基础上二次定制(调整规格、资源数量、配置调整)。 快速完成PoC和生产环境的设计和部署
文档版本:20230801 15 倚天ECS实例加速Flink运行 CADT部署压测环境 本应用费用预估:52.56元/时,参考 2023年 08月 01日官网价格,EIP的的费 用是实例费用,根据使用量方式进行计费。步骤6 CADT应用部署完成后,请稍等 3分钟左右再执行后续章节,ECS有初始化操作 预计耗时 3分钟左右。文档版本:20230801 16 倚天ECS实例...
来自: 最佳实践 | 相关产品:云服务器ECS,云速搭
企业应用(酒店PMS)混合云组网最佳实践
企业应用(酒店PMS)混合云组网最佳实践
酒店上云是分阶段实施,线下和云上的混合云是长期 状态,需要保证线下多地域多分支、云上多地域之间 互相访问,且需要满足不同类型的企业节点的服务要 求,比如总部 IDC 要求带宽大,对安全可靠性要求 高等。
CCN:云连接网(Cloud Connect Network),云连接网是由阿里云分布式接入 组成的设备接入矩阵。您可以将多个智能接入网关终端绑定到云连接网,然后 将云连接网绑定到云企业网,实现线下接入矩阵和云上中心矩阵全连接。SAG:智能接入网关(Smart Access Gateway),智能接入网关(Smart Access Gateway)是阿里云提供的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,智能接入网关,云速搭
互联网电商行业离线大数据分析
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示,如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示,效果震撼,触控大屏支持用户自助查询数据,极大地增强数据的可读性。
数据库:magento 自定义名称:业务出 基于模版新建 弹性公网EIP 口EIP 默认配置 自动绑定到ECS 默认公共云版本 基于模版新建 DataV 默认配置 新用户可以选择使用互联网电商行业离线大数据分析 搭建电商网站Demo 版 API网关 数据发布网关 默认配置 基于模版新建 付费基础版 基于模版新建 DataWorks独享资 源,2个 独享数据...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,API网关,云速搭CADT
云速搭CADT部署VMware服务
云速搭CADT部署VMware服务
本方案适用客户云下使用VMware环境,在云上希望继续使用VMware环境,包括业务维护和扩容等,不希望改变云上使用环境。
名称:NAT-Demo 支付方式:按量付费 网关类型:增强型 计费类型:按使用量计费 所属 vswitch:VSW-L 说明:NAT用于后续配置专属 VMware环境公网访问 文档版本:20220520 13 云速搭CADT部署VMware服务 云速搭架构设计 步骤7 双击弹性公网 EIP图标,根据实际需求配置参数,需要分别完成三个 EIP参数核对。也支持导入已保有 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云企业网,云速搭
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
审阅人 毕役、云滴、子、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-11-20 云魁 云滴、毕役 创建 V1.1 2019-11-25 筱晖-文档优化 增加 HDFS迁移到 OSS和 V1.2 2019-12-25 云魁 子 JindoFS的方案 V1.3 2020-01-31 云魁 修改概览页场景描述 V1.4 2020-02-07 云魁 更新 VPN网关配置 增加附录,直接通过...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用