极速同步:网关间多点协同实现数据共享最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 背景 网关网关提供了从OSS到NAS协议转换,依托于OSS的稳定性和经济性,降低了用户的使用成本,又具备了传统NAS的易用性和POSIX兼容性,可以与用户的已有应用无缝对接,满足了中小企业客户的需求。

背景

网关网关提供了从OSS到NAS协议转换,依托于OSS的稳定性和经济性,降低了用户的使用成本,又具备了传统NAS的易用性和POSIX兼容性,可以与用户的已有应用无缝对接,满足了中小企业客户的需求。随着企业规模的增大,用户的分支机构也增多,多地共享数据的需求也逐渐凸显。云存储网关上线一年多的时间里,不断的在收集用户的需求,推出新的功能,解决用户的痛点。今天我们就来看一下网关是如何解决多地共享数据这个难题的。

网关协同场景一

如果用户使用同一个区域的线上网关共享数据,并且在不同网关间进行负载均衡。如下图,就是一个典型的同区域的多网关高效共享Bucket数据的拓扑图。
vpc_1

线上网关在同一个VPC内,或者通过云企业网打通,通过VPC endpoint高速访问OSS,可以将文件快速上传至OSS。这里的难点是如何将其他网关的上传文件信息推送给其他网关,让每个网关在最短的时间内可以看到相同的共享数据的视图。极速同步功能为共享的Bucket创建OSS事件通知规则,并创建对应的MNS消息主题和消息队列,当网关有文件上传到OSS时,OSS会匹配事件通知规则,将该文件的变更信息以MNS消息的方式投递到MNS消息主题,消息主题会分发消息给订阅的各个消息队列,同步组的每个共享监听和接收对应的消息队列的消息。共享解析获取到的消息,再从OSS上获取对应对象的完整元数据信息,实现了增量的同步更新。由于MNS也在同一个区域内,网关可以通过MNS VPC endpoint接收消息,时延很小。在批量上传的场景下,网关可以多路并发接收消息,每秒可以处理上千个OSS通知消息,实现高效极速同步。
vpc_express

网关协同场景二

在更加复杂的协同办公环境下,文件网关还有可能部署在线下机房,通过专线或者公网访问OSS,如果考虑到多地跨区域共享的话,异地的文件网关只能通过广域网发起访问,拓扑图如下:
nonvpc_1

如果线下机房有专线连接阿里云,只要配置好OSS endpoint,就能在同一个VPC内高速访问OSS;如果线下机房只能公网访问阿里云,配置网关共享的时候只能选择公网OSS endpoint作为访问点。同样的,跨地域的网关想要访问OSS,创建共享的时候需要勾选跨域选项,这时候选择OSS所在区域的公网endpoint。由于公网复杂多变,有时延高,带宽受限,网络抖动等诸多限制,如果要共享Bucket中的数据,用扫描Bucket对象的方式去同步元数据,是相当低效的。极速同步功能的推出,将共享从公网定期扫描云上对象的泥潭中解放出来,用增量的方式去及时获取云上数据的变化,无惧Bucket中有海量数据的事实,轻松在秒级获取最新的元数据。实验数据表明,在线下或者跨域公网访问MNS消息队列时,并发处理OSS事件消息的数量可以达到百级,除了初始的全量扫描之外,避免了后续全量扫描文件的开销,满足了大部分广域网协同共享数据的需求,具体的拓扑图如下:
nonvpc_express

小结

本文分别从同VPC多网关共享数据和线下/跨域网关通过公网共享数据这两个典型的场景分析了全量扫描同步元数据的挑战以及利用云存储网关的极速同步功能如何有效解决这个问题,极速同步让多网关间秒级同步共享,高效协同成为现实。

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
8月前
|
Kubernetes 安全 Serverless
为什么 Higress 是 Knative 入口网关的最佳实践
Knative Serving 是一款基于 K8s 的 Serverless 开源平台,用于构建和管理现代化、可拓展、流量驱动、无服务器的应用程序。本文重点关注 Knative 网络层能力的实现。
395 11
为什么 Higress 是 Knative 入口网关的最佳实践
|
9月前
|
运维 Kubernetes Cloud Native
|
存储 Prometheus 监控
统一观测丨使用 Prometheus 监控 Nginx Ingress 网关最佳实践
统一观测丨使用 Prometheus 监控 Nginx Ingress 网关最佳实践
统一观测丨使用 Prometheus 监控 Nginx Ingress 网关最佳实践
|
运维 Kubernetes Cloud Native
洛神云网络集中式网关ACMG最佳实践
洛神云网络集中式网关ACMG最佳实践
333 1
洛神云网络集中式网关ACMG最佳实践
|
运维 Kubernetes Cloud Native
Higress + Nacos 微服务网关最佳实践
本文将介绍 Higress 组合 Nacos 作为微服务网关能力,并介绍微服务网关发展的两个趋势,为网关的选型指明道路。
Higress + Nacos 微服务网关最佳实践
|
运维 Kubernetes Cloud Native
Higress + Nacos 微服务网关最佳实践
Higress 结合 Nacos 作为微服务网关的实战演示
Higress + Nacos 微服务网关最佳实践
|
传感器 边缘计算 物联网
边缘网关树莓派最佳实践| 学习笔记
快速学习边缘网关树莓派最佳实践
293 0
|
运维 负载均衡 Kubernetes
EDAS 流量入口网关最佳实践
使用 MSE 云原生网关,在保留 SLB 作负载均衡的基础上,只通过一层网关就实现了集群入口网关、WAF 网关、微服务网关的全部能力。并且这一层网关由阿里云托管部署,无需用户自己运维机器实例,并且提供网关可用性的 SLA 保障。除了大幅度降低人力成本、资源成本,还能提供更好的稳定性。
EDAS 流量入口网关最佳实践
|
tengine
|
消息中间件 存储 缓存
一招学会云存储网关极速同步
您可以使用极速同步功能,将 OSS Bucket 中的数据变化极速同步至所有通过文件网关连接至该 Bucket 的本地客户端。
734 0