基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本:20201224 33 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 为了方便理解,其逻辑视图大致和下图类似:步骤3 返回集群信息页面,可申请外 IP(也可通过 vpc内访问,这里演示通过外地址的 方式),用于后续 Quick BI数据连接。文档版本:20201224 34 基于 Flink+ClickHouse构建实时游戏数据分析 ...
来自: 最佳实践 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
函数计算FC
阿里云函数计算(Function Compute)是一个事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码。更棒的是,您只需要为代码实际运行消耗的资源付费,代码未运行则不产生费用。
产品动态 AIGC 玩转AI绘画,函数计算一键部署 Stable Diffusion AIGC AI应用开发:Stable Diffusion API Serverless 版解决方案 解决方案 函数计算+云原生API网关构建生产级别 LLM Chat 应用 客户案例 优化 20%资源成本,新东方的 Serverless 实践之路 客户案例 9人团队使用函数计算开发 wolai 在线文档应用产品规格函数计算...
来自: 云产品
事件总线 EventBridge
事件总线 EventBridge是阿里云提供的一款无服务器事件总线服务,支持阿里云服务、自定义应用、SaaS应用以标准化、中心化的方式接入,并能够以标准化的 CloudEvents 1.0 协议在这些应用之间路由事件,帮助您轻松构建松耦合、分布式的事件驱动架构。
支持多种访问方式,包括控制台、API、SDK;支持接入多种应用程序,包括阿里云服务、自定义应用、合作伙伴SaaS应用(即将支持).高并发&高可用.服务可用性 99.95%,Region 化、多可用区、分布式集群化部署,部分节点异常甚至可用区异常,仍会确保服务的可用性,具备极强的容灾能力;数据可靠性 99.99999999%,多副本数据冗余...
来自: 云产品
基于链路追踪+ECI的流量洪峰应对
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受,对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量,因此对于系统的稳定性非常关注,结合阿里云的容器服务、链路追踪、弹性容器ECI等产品,帮助客户业务实现容器化改造,并且方便发现系统应用架构中的瓶颈等问题,实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ᅳ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ᅳ 运维研发效率提高,链路追踪服务端全托管,免运维。 ᅳ 链路追踪的应用调用链分析能力结合ECI高弹性能力,提升应用系统在洪峰流量冲击下的稳定性。 ᅳ 链路追踪接入方便,ECI POD弹性伸缩,节省用户运维成本和云资源使用成本。 ᅳ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩,更丰富的云原生弹性能力。
该应用架构如下图所示:frontend服务:类似于 api网关,分解用户请求,并依次请求后端服务;authority服务:模拟认证服务,本实例中,主要实现消耗 CPU资源,实现弹性伸 缩;user服务:根据请求查询数据库。2.2.代码简析 Jaeger 是 Uber 推出的一款开源分布式追踪系统,兼容 OpenTracing API,使用 Opentracing在关键代码中...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,容器镜像服务 ACR,弹性容器实例 ECI
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
创建上海区域的 IPSec VPN连接 步骤1 通过 https://vpc.console.aliyun.com/vpn/cn-shanghai/vpns 登录上海区域的 VPN 控制台,单击创建 VPN网关按钮。客户在使用过程中,带宽规格可先行评估后根据实际情况选择,也可在不足时进行升 配。文档版本:20201210 76 远程办公-AD管控下的弹性云桌面最佳实践 场景 3:云下 IDC...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
“节 点与队列”页面支持用户新建或删除队列,本次实验所创建计算节点均纳入 EHPC 默认队列“workq”中,计算任务亦提交到 workq队列。后续生产环境可根据生产需要 创建新的队列。文档版本:20220321 5 E-HPC低成本实现量化策略回测 实验背景 自动伸缩 点击 EHPC集群“自动伸缩”子标签,跳转到自动伸缩配置页面。1.3....
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
杭州悦数科技有限公司与阿里云计算巢达成合作,NebulaGraph 作为首款图数据库产品正式入驻阿里云计算巢,为用户带来了云端一键部署企业级图数据库集群的全新体验.网络安全升级支持IPV6.大数据分析与营销科技服务提供商神策数据与阿里云计算巢展开合作,通过阿里云计算巢平台实现神策分析云上数字营销和分析系统的自动化部署...
来自: 云产品
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
立即购买免费试用快捷入口控制台文档APISDK价格计算器产品定价04:42了解云服务器ECS热门商品产品动态内容甄选最新活动云服务器直降价,最高93%降幅!2024.03.01普惠上云新老同享云服务器99元/年!3M公网固定带宽,活动期间内续费同价!2023.09.15最新活动海外地域核心产品价格全线下调,最高幅度达65%2024.04.08新手指引...
来自: 云产品
自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
敬海、游士 审阅人 子、期会、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-12-20 云魁 子、期会、游圣 创建 V1.1 2019-12-25 筱晖 云魁 文档优化 V1.2 2020-01-09 云魁、子 增加附录 使用 CADT创 V1.3 2021-07-21 游士 建资源,更新部 分命令 文档版本:20210721 I 自建Hive数据仓库跨版本迁移...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建K8S迁移镜像、应用至阿里云ACK最佳实践
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控,自动化操作,自修复等特点充分满足了企业的需求,越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代,自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力,所以上云成了一些企业的选择,将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理,企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK;本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
目前,EIP可绑定到专有网络类型的 ECS实例、专有网络类型的私 SLB实例、专有网络类型的辅助弹性网卡、NAT 网关和高可用虚拟 IP 上。详见:https://www.aliyun.com/product/eip  负载均衡 SLB:对多台云服务器进行流量分发的负载均衡服务,可以通过流量分 发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,容器服务 ACK,容器镜像服务 ACR
金融行业从经典网络向VPC容器化改造
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤,可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
金融行业从经典网络向VPC...常用API:VPC(专有网络):https://help.aliyun.com/document_detail/34964.html SLB(负载均衡):https://help.aliyun.com/document_detail/27566.html 云企业:https://help.aliyun.com/document_detail/65865.html 高速通道:https://help.aliyun.com/document_detail/27795.html SAG(智能接入网关):...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,容器服务 ACK,日志服务(SLS),容器镜像服务 ACR
AliOS Things
阿里云AliOS Things致力于搭建云端一体化 IoT 基础设施,具备极致性能、极简开发、云端一体、丰富组件、安全防护等关键能力。支持多种多样的设备连接到阿里云IoT平台,可广泛应用在智能家居、智慧城市、工业,新出行等领域。
云数据库专属集群重磅发布.MySQL 三节点企业版发布通用型规格.MySQL 支持高可用版升级到三节点企业版.谢赟辉,靖鑫,也树.旧商品卡片,建议使用「轻量商品卡片」.通用icon文字列表.依托阿里云,支持设备运维管理、文件存储等云端一体的应用;集成阿里巴巴集团内部小程序、支付、定位等,生态能力丰富.一切皆组件,内核精简,...
来自: 云产品
性能测试PTS
阿里云性能测试PTS可轻松模拟任意体量的用户访问业务的场景。任务随时发起,免去繁琐的搭建和维护成本。是活动大促、产品交付、版本迭代、系统维护不可缺少的性能优化工具。
视频直播类节目中会大量出现流量突发场景,云数据库Redis集群版轻松突破Redis自身单线程瓶颈,QPS最高达到百万级,满足低时延、高并发的业务要求.提供IP白名单,防SQL注入,SSL加密传输,TDE数据加密等功能.主备架构,故障秒级切换,业务无感知.满足分服、滚服弹性扩展.游戏公司为了快速抢占市场,需要快速的开发出新产品吸引...
来自: 云产品
物联网平台
物联网平台提供全托管的企业级实例服务,具有低成本、高可靠、高性能、高安全的优势,无需自建物联网基础设施即可接入各种主流协议设备,管理运维亿级规模设备,存储备份和处理分析EB量级的设备数据,帮助企业快速实现设备数据和应用数据的融合,实现设备智能化升级。
相比自建MQTT集群,提供更丰富的管理运维能力,成本降低50%以上,全球8大地域覆盖,支持设备毫秒级就近接入.多形态部署,灵活扩展.基于云原生架构设计,依托阿里云飞天操作系统,支持公共云实例、专有云、混合云多云部署,随业务弹性伸缩、灵活扩展.存储-新功能_spacex_1613611834169.支持MQTT 3.1.1/5.0、CoAP、HTTPS等...
来自: 云产品
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
[NVDs-overlay] N-VDSName:NVDs-overlay  NIOCProfile:nsx-default-nioc-hostswitch-profile  UplinkProfile:nsx-host-uplink-profile  IPAssignment:UseStaticIPList  StaticIPList:填写vtep-compute网卡的私IP地址(请查看3.4章节的对应 系表) Gateway:192.168.40.253 文档版本:20191121 153 ...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
Exchange Server云上部署最佳实践
Exchange Server云上部署最佳实践
阿里云提供基础设施服务,能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署,可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
产品列表 云服务器 ECS 最佳实践频道 阿里云最佳实践分享 负载均衡 CLB NAT网关 NATGW 弹性公网 IP EIP SSL证书服务 CAS 云速搭 CADT 阿里云 企业上云实践 Exchange Server云上部署 最佳实践 文档版本:20220119 文档版本:20150122(发布日期)II Exchange Server云上部署最佳实践 文档版本信息 文档版本信息 文本信息 ...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,NAT网关,SSL证书,云速搭CADT
数据库备份DBS
数据库备份(Database Backup,简称DBS)是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护,包括企业数据中心、其他云厂商、混合云及公共云。通过使用阿里实时数据流技术,实现数据库秒级备份,秒级恢复,保障数据安全。
支持的网络接入形式 通过数据库网关DG私接入、通过专线/VPN网关/智能网关接入、通过互联网接入。高性能低成本,满足企业备份预算要求 秒级RTO/RPO,多级存储,降低存储成本,支持按量付费和资源包两种付费方式 秒级RTO/RPO 满足历史数据恢复、开发测试多版本数据构建等需求;全增合并,后台自动完成合并,降低任意时间点...
来自: 云产品
混合云存储
阿里云混合云存储包括混合云存储阵列、混合云CPFS存储、混合云分布式存储等多种产品类型。本地存储可以通过云缓存、云同步、云备份等方式无缝连通云存储,轻松实现云端一体。
混合云存储阵列与云存储网关的协同解决方案.混合云存储阵列最新发布.45A_【标题】产品动态.产品动态时间线组件.45A_【标题】文档与工具.唐家哲,靖鑫,也树.查看混合云阵列相关文档.更多问题交流讨论F&Q.了解如何快速使用混合云阵列服务.查看产品相关文档及常见问题.45A_文档与工具.图片(支持热区)组件.
来自: 云产品
SAP S/4HANA上云最佳实践
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型,阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
其他适用的 SAP产品 SAP S/4HANA SAP Suite on HANA SAP BW/4HANA SAP NetWeaver on HANA 方案涵盖内容 1、云架构设计 2、云资源选型 3、CADT一键部署资源 4、CADT分阶段部署资源 产品列表 云服务器 ECS 专有网络 VPC 云网关 NAT 最佳实践频道 阿里云最佳实践技术分享 弹性公网 EIP SAP S/4HANA上云最佳实践 文档版本信息...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,VPN网关
基于ECI、RI和EIP降成本方案
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
详情请参见:https://www.aliyun.com/product/vpc 文档版本:20211214 III 基于 ECI、RI和 EIP降成本方案 前言 弹性公网 IP(EIP):独立的公网 IP资源,可以绑定到阿里云专有网络 VPC类型 的 ECS、NAT网关、私负载均衡 SLB上,并可以动态解绑,实现公网 IP和 ECS、NAT 网关、SLB 的解耦,满足灵活管理的要求。...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
< 1 2 3 4 5 >
共有5页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用