基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产 品实例,比如 ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规划 VPC和交换机的数量及网段等。更多信息,请参见:www.aliyun.com/product/vpc 消息队列 Kafka版:是阿里云基于 Apache Kafka 构建的高...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
异地灾备,构建数据库灾备中心 产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 云服务器 ECS 弹性公网 IP(EIP)负载均衡 SLB 云数据库 RDS MySQL 数据库备份服务 DBS 对象存储服务 OSS 数据湖分析服务 DLA 数据管理服务 DMS 数据传输服务 DTS 云速搭 CADT 文档模板(手册名称)/文档版本信息 Oracle数据库与...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称,旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务,按实际使用量付费,自适应弹性,跨可用区容灾,帮助客户降低使用和维护成本,专注业务创新。
阿里云消息系列公开课 vol.4 ——《RocketMQ 全新负载均衡机制解析》.EventBridge 系列课程直播回放.介绍EDA(事件驱动)架构的应用价值与适用场景,为大家带来全方位的 EDA(事件驱动)解读.通过 API 端点,用户可以轻松实现EventBridge与微服务、或SaaS服务进行集成.为什么函数计算是最好的事件驱动服务,为什么我们如此...
来自: 云产品
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
更多信息,请参见:https://www.aliyun.com/product/vpc EIP:独立的公网 IP资源,可以与阿里云专有网络 VPC类型的 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定,并可以动态解绑,实现公网 IP与 ECS、NAT 网关、ENI 网卡、SLB 的解耦,满足灵活管理的要求。更多信息,请参见:https://www.aliyun.com/product/eip ECS:云...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
微服务引擎的线上流量治理
微服务引擎的线上流量治理
随着业务不断创新,微服务架构及数字化转型不断落地,在这个过程中,大量企业采用了开源的组件构建了微服务,比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代过程中保障线上流量不受损? 开源产品无运维工具,常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架,实现业务零改造,解决开源框架在生产落地过程中的痛点,例如无损上下线、标签路由等,并通过托管微服务开源组件(API网关、注册中心、配置中心等)的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助企业释放业务无关的运维成本,聚焦业务本身的运维和发展。 方案优势 快速集成:通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维:托管微服务依赖开源中间件的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助我们客户释放业务无关的运维成本,聚焦自身业务本身的运维和发展。 开源增强:提供开源框架在生产落地过程中的痛点,例如应用无损上下线/金丝雀发布/南北+东西流量打通等,帮助客户的业务提高自身SLA和降低自研成本。
最佳实践频道 产品列表 阿里云最佳实践分享群 微服务引擎 MSE 容器服务 ACK 注册中心/网关 MSE 负载均衡 SLB 如二维码过期,请搜索群号:31852400 文档模板(手册名称)/Error!Use the Home tab to apply 云服务器 ECS(产品名称)标题 to the text that you want to appear here.阿里云 微服务引擎的线上流量治理 最佳实践...
来自: 最佳实践 | 相关产品:容器服务 ACK,微服务引擎,云速搭CADT
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
大类 说明 明细 地域 德国(法兰克福)华南 1(深圳),可用区:D、E 美国(硅谷)海外各地域,为 A、B双可用区部署 华南 1(深圳)网络 网络类型 负载均衡 SLB 三个地域,每个地域一个 SLB 网络类型 VPC VPC规划 深圳名称:VPC_SZ Ipv4:192.168.0.0/16 交换机 1 交换机 2 名称 vsw_e vsw_d 可用区 可用区 E 可用区 D ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
异地双活场景下的数据双向同步
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的数据一致性,为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 DTS双向同步,采用独立模块避免数据同步占用系统资源。 奇偶ID涉及,避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产 品实例,比如 ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规划 VPC和交换机的数量及网段等。详见:https://www.aliyun.com/product/vpc SLB:Server Load Balancer,简称 SLB。多台云服务器进行流量...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,数据传输,云企业网,容器镜像服务 ACR,云解析DNS
跨云迁移单写双读过渡架构
跨云迁移单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
阿里云最佳实践分享群 最佳实践频道 产品列表 云服务器 ECS、负载均衡 SLB、云企业网 CEN 云数据库 RDS、性能测试 PTS 如二维码过期,请搜索群号:数据传输服务 DTS 31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 跨云迁移单写双读过渡架构 最佳实践 文档版本:20201209 文档版本:20150122...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
微服务引擎MSE
微服务引擎 MSE 面向业界注册配置中心、分布式协调、云原生网关、微服务治理和分布式任务调度等主流开源项目,提供商业版服务。
支持多种负载均衡策略(轮询、一致性哈希、会话保持等)以及流量分发方式(权重比、标签路由等).可根据Host/Path/Header/Query进行请求匹配,支持请求重写、重定向、Header设置、跨域、超时重试等多种路由策略.ACK/ASK 内服务一键导入,可对接多个集群;支持 CRD方式创建并配置网关,可对Ngnix Ingress核心注解无缝转化,...
来自: 云产品
网络安全升级支持IPv6
网络安全升级支持IPv6
场景描述 关键信息基础设施支持IPv6已经上升到国家战 略,公共云基础设施为云上客户系统支持IPv6 提供了完整的解决方案及产品。本最佳实践是在 现有WAF和高防IP作为网络安全架构基础上, 如何升级支持IPv6,同时满足云上和线下IDC 需求,满足合规要求。 解决问题 1.网络支持IPv6 2.支持V4和V6双栈 3.满足监管合规要求 产品列表 Web应用防火墙WAF DDoS高防IP DDoS防护包
步骤3 再刷新一次,或者多刷新几次,会出现 ECS01处理的响应(说明 SLB负载均衡起作 用了)。1.4.配置 DNS 通常一个网站对外提供服务,都是以域名的形式来提供的。后续步骤里的 WAF和高防 IP产品,使用的时候也需要有域名,且域名是需要备案过 的。在 DNS中发布 A记录 步骤1 登录阿里云域名解析管理控制台。...
来自: 最佳实践 | 相关产品:Web应用防火墙,DDoS防护,云速搭CADT
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
页游 页游计算复杂度相对端游、手游较轻,单个游戏区对服务器的计算能力和网络吞吐能 力没有特殊要求,一般的六代实例即可,通常会采用一机多开的方式,会依据计算 来决定每台服务器开服的数量。页游通常采用快速开服、合服的运营策略,短时间内可能开通上千个游戏区,并随着 每个区的活跃玩家降低而陆续的合服,通过...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
名词解释 VPC:专有网络 VPC(Virtual Private Cloud)是用户基于阿里云创建的自定义 私有网络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络 内创建和管理云产品实例,比如 ECS、负载均衡、RDS等。更多信息,请参见:www.aliyun.com/product/vpc ECS:云服务器 ECS(Elastic Compute Service)是一种简单...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
MaxCompute湖仓一体方案
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案,将 MaxCompute与自建的Hive集群做数据打 通,通过存储共享,元数据镜像等方式,解 决传统模式下的存储冗余,计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性,解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性:现有业务无需改造。 2.性能优化:MaxCompute在SQL上做 了大量优化与能力沉淀,可提高SQL 运行性能,降低计算成本。 3.灵活管理:元数据实时同步,无需额外 管理数据同步任务。 4.资源弹性:利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute(原ODPS) 云企业网CEN
更新 CADT模板,文档优化 文档版本:20220402 I MaxCompute湖仓一体方案 产品介绍 产品介绍 VPC:专有网络 VPC(Virtual Private Cloud)是用户基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创 建和管理云产品实例,比如 ECS、负载均衡、RDS 等。更多信息,请参见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云企业网,E-MapReduce,大数据计算服务 MaxCompute,运维编排,云速搭
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
专有网络 VPC(Virtual Private Cloud)是用户基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创 建和管理云产品实例,比如 ECS、负载均衡、RDS 等。更多信息,请参见:www.aliyun.com/product/vpc ECS:云服务器 ECS(Elastic Compute Service)是一种简单高效、处理...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
ALB实现跨地域负载均衡
当客户在阿里云多地域均部署了服务,使用负载均衡结合云企业网及转发路由器可实现应用跨地域负载均衡,通过将跨地域流量分发到不同的后端服务器来扩展系统的吞吐能力,消除单点故障,提升应用系统的可用性与安全性。
当客户在阿里云多地域部署了服务,使用负载均衡结合云企业网及转发路由器可实现应用跨地域负载均衡,通过将跨地域流量分发到不同的后端服务器来扩展系统的吞吐能力,消除单点故障,提升应用系统的可用性与安全性。ALB实现跨地域负载均衡 当客户在阿里云多地域部署了服务,使用负载均衡结合云企业网及转发路由器可实现...
负载均衡
阿里云负载均衡(Server Load Balancer,简称SLB)是云原生时代应用高可用的基本要素。通过对多台云服务器进行均衡的流量分发调度,消除单点故障提升应用系统的可靠性与吞吐力。阿里云SLB包含面向4层(TCP/UDP)的传统型负载均衡CLB和面向7层(HTTP/HTTPS/QUIC)的应用型负载均衡ALB,是阿里云官方云原生网关。
负载均衡使用过程中的常见问题.80A_文档与工具.80A_标题-copy-copy-copy-copy.蔡伟杰,靖鑫,也树.获得更多帮助,欢迎您加入云网络技术支持群.获得更多帮助,欢迎您加入云网络技术支持群.钉钉群号:35050730.自助控制台,快捷实现加速域名的增删改查.工单、电话、大客户1V1,24小时保障.数据全接入,随时随地监控自如.对多...
来自: 云产品
云速搭部署和导入公网型负载均衡CLB
云速搭部署和导入公网型<em>负载均衡</em>CLB
本实践讲解如何通过云速搭导入一个已保有的公网型负载均衡 CLB,并部署一个新的公网型 CLB。
云速搭部署和导入公网型负载均衡CLB 文档版本信息 云速搭 部署和导入公网型负载均衡 CLB 最佳实践 文档版本:20211104(发布日期)云速搭部署和导入公网型负载均衡CLB 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署和导入公网型负载均衡 CLB 文档编号 256 文档版本 V1.0 版本日期 2021-11-04 文档状态...
来自: 最佳实践 | 相关产品:负载均衡 SLB,云速搭CADT
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和 管理云产品实例,比如 ECS、负载均衡、RDS等。传统型负载均衡 CLB(Classic Load Balancer):支持 TCP、UDP、HTTP和 HTTPS 协议,具备良好的四层处理能力...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和 文档版本:20240402 5 MSE网关使用 JWT实现认证鉴权 最佳实践概述 管理云产品实例,比如 ECS、负载均衡、RDS等。传统型负载均衡 CLB(Classic Load ...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
 弹性公网IP:弹性公网IP是独立的公网IP资源,可与阿里云专有网络VPC 类型的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定,并可 以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供 Internet访问服务。 微服务引擎MSE:微服务引擎 MSE 面向业界主流开源微服务项目,提供注 册配置中心和...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用