SLS数据入湖Kafka最佳实践
SLS<em>数据</em>入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
配置VPC 对等连接.19 3.SLS配置Kafka数据入湖.21 3.1.SLS配置Kafka数据导入.21 3.2.SLS配置Kafka入湖的高级配置(公网访问).24 3.3.SLS验证Kafka入湖.28 4.ECS应用数据投递到Kafka.30 4.1.ECS压测数据投递到Kafka.30 4.2.Kafka查看ECS脚本的数据投递.33 4.3.SLS查看ECS-Kafka-SLS 的数据入湖.34 5.SAE容器...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地<em>数据中心</em>基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
2.本地数据中心的云存储网关默认通过公网就可以访问阿里云对象存储 OSS,若 线打通的情况下也可以通过内网访问 OSS获得更好的访问体验。当然专线打通的 情况下,建议直接使用云控制台存储网关,开箱即用。详情请参考 https://help.aliyun.com/document_detail/108291.html 文档版本:20210525 2 本地数据中心基于 SMB/NFS...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
专有网络由逻辑网络设备(如虚拟路由器,虚拟交换机)组成,可以通过专线/VPN等连接方式与传统 数据中心组成一个按需定制的网络环境,实现应用的平滑迁移上云。 微服务引擎MSE(MicroserviceEngine),面向业界主流开源微服务项目,提供注册配置中心和分布 式协调(原生支持 Nacos/ZooKeeper/Eureka)、云原生网关(原生...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
云盒阿里云云盒是阿里公共云延伸部署到企业数据中心的公共云服务,满足企业数据本地留存和处理、低延时等业务场景需求。弹性伸缩弹性伸缩(Elastic Scaling Service)是一种根据业务需求波动自动调整弹性计算资源的管理服务。高性能计算弹性高性能计算 E-HPC自动化部署和管理HPC集群。批量计算可支持海量作业并发规模,系统...
来自: 云产品
转发路由器TR
转发路由器TR(Transit Router)是地域范围内企业级核心转发网元,可为您转发同地域或不同地域的网络实例间的流量,并支持在地域内定义灵活的互通、隔离、引流策略,帮助您打造一张灵活、可靠、大规模的企业级互联网络。
通过专线连接云下网络.VBR到TR的连接能够实现云下数据中心通过专线连接到云上网络.连接其他地域的TR.同一个云企业网内的不同地域TR能够两两互联,实现全球统一的客户专用网络.TR作为云上Region级核心路由器,大规模的连接多种类型的网络实例.中心化连接网络实例.TR上可以配置多张路由表,每个网络实例与不同路由表关联,...
来自: 云产品
阿里邮箱协同办公解决方案
阿里邮箱源自于云计算技术,具有高稳定高可用性弹性扩展的容器化技术架构,实现安全,稳定,智能、高效的企业邮箱应用,方案具有公有云SaaS服务、本地独立部署,全栈国产化部署等多种构建方式,与钉钉无缝集成实现便捷、互通、高效的统一协同办公体验
属钉钉是针对企业协同场景的移动办公平台。属钉钉提供了强大的 App 自定义能力,满足金融级别的信息安全要求,提供钉钉核心能力...依托阿里云全球化数据中心专线网络、智能 DNS 解析、高信誉度 IP 和智能投递等技术,有效地解决海外邮件收发网络链路长、IP 信誉低、RDNS 反向检查容易失败等问题.全球畅联的企业邮箱服务.
来自: 解决方案
数据迁移上云
<em>数据</em>迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
云企业网可帮助您在不同地域 VPC间,VPC与本地数据中心间搭建私网通信通道,通过自动路由分发及学习,提高网络 的快速收敛和跨网络通信的质量和安全性,实现全网资源的互通,帮助您打造一 文档版本:20201013 II 数据迁移上云最佳实践 前言 张 具 有 企 业 级 规 模 和 通 信 能 力 的 互 联 网 络。详见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
混合云数据库统一管理
混合云数据库统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
DBS支持 MySQL、SQLServer、Oracle等近 10种数据库,支持文 件、日志、数据库等全站备份,支持本地数据中心、其他云厂商、ECS数据库及 RDS 数据库等环境,是客户首选的企业级混合云统一备份平台。本节通过数据库网关和数据库备份服务将上一章产生的数据备份到云上。6.2.备份数据 步骤1 授权 DBS服务。步骤2 添加数据源。本...
来自: 最佳实践 | 相关产品:数据传输,数据管理
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
VPN网关 VPN网关是一款基于 Internet的网络连接服务,通过加密通道的方式实现企业 据中心、企业办公网络或 Internet终端与阿里云专有网络(VPC)安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN,不仅可以更方便的配置和...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
您可以使用 IPSec-VPN功能将本地数据中心与 VPC或 不同的 VPC之间进行连接。IPSec-VPN支持 IKEv1和 IKEv2协议。只要支持这 两种协议的设备都可以和阿里云 VPN网关互连,比如华为、华三、山石、深信 服、Cisco ASA、Juniper、SonicWall、Nokia、IBM 和 Ixia等。Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
企业应用(酒店PMS)混合云组网最佳实践
企业应用(酒店PMS)混合云组网最佳实践
酒店上云是分阶段实施,线下和云上的混合云是长期 状态,需要保证线下多地域多分支、云上多地域之间 互相访问,且需要满足不同类型的企业节点的服务要 求,比如总部 IDC 要求带宽大,对安全可靠性要求 高等。
CEN:云企业网(Cloud Enterprise Network),云企业网(Cloud Enterprise Network)帮助您在 VPC间,VPC与本地数据中心间搭建私网通信通道,通过自动路由分 发及学习,提高网络的快速收敛和跨网络通信的质量和安全性,实现全网资源的 互通,帮助您打造一张具有企业级规模和通信能力的互联网络。CCN:云连接网(Cloud ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,智能接入网关,云速搭
混合云灾备之HDR VMware虚拟机容灾
混合云灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像,可以为云上或云下的VMware环境提供有效 的数据保护,保证数据快速、安全、高效地备份到云 上,并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
搭建VPC时,您需要考虑选取哪一个阿里云地域作为容灾中心数据中心与阿里云 VPC之间使用哪一种网络连接,以及VPC使用哪个网段。本节使用华东1(杭州)地域作为演示环境。阿里云地域的选择 阿里云的所有数据中心都拥有极为强大的基础设施。您只需根据实际情况,如物理距 离要求(例如业务部门可能要求容灾中心距离主数据...
来自: 最佳实践 | 相关产品:弹性裸金属服务器(神龙)
VPN网关
阿里云VPN网关(VPN Gateway)是一款基于Internet,通过加密隧道将企业数据中心、办公网或终端与阿里云专有网络(VPC)安全可靠连接起来的服务。VPN网关在国家相关政策法规下提供服务,支持IPsec VPN、SSL VPN及国密算法等丰富特性,满足分支互联、移动办公等接入场景。
使用VPN网关替代专线实现线下数据中心到云上的互联,节省成本.软件定义网络,按需自定义网络设置,管理操作实时生效.云服务器ECS.专有网络VPC.负载均衡SLB.推荐搭配使用.搭建云上私网.标准协议支持.使用行业标准的IPSec和IKE(秘钥交换协议),确保数据通信安全.站点到站点连接.将企业数据中心轻松连接到阿里云VPC.基于...
来自: 云产品
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
文档版本:20191121 63 VMwareon弹性裸金属 安装和部署VMware 步骤3 在新建数据中心对话框,输入数据中心名称,并单击确定。示例使用Datacenter 作为数据中心名称。4.1.4.添加ESXI主机 步骤1 登录vSphereWebClient。(具体操作请参见4.1.2章节)步骤2 将鼠标放置在左侧导航栏已创建的数据中心(Datacenter)上,打开...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
专有网络 VPC
阿里云专有网络VPC(Virtual Private Cloud),是由虚拟网络设备(如虚拟交换机/虚拟路由器)组成的虚拟专有网络服务,帮助您基于阿里云构建一个逻辑隔离的私有云。您可以通过专线/VPN等方式与传统数据中心连接,组成一个按需定制的免费虚拟专有网络环境,实现应用的平滑迁移上云。
基于阿里云VPC搭建云上数据中心,通过专线与云下内部数据中心打通,进行用户核心数据安全保障,完美应对业务激增及数据快速同步,实现混合云方案.核心数据存储在云下IDC提供安全保障.数据安全保障.云上部署应对用户实时业务访问激增.应对业务激增.专线接入保证云上云下数据快速、批量同步.数据快速同步.负载均衡SLB.对象...
来自: 云产品
EHPC混合云渲染
EHPC混合云渲染
介绍在混合云环境下,利用E-HPC及其文件缓存机制,无缝读取线下存储中的项目资产,免去复杂繁琐的文件同步问题;充分利用云上资源弹性、按使用付费的优势,构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
同时云上计算集群优先从缓存层读取 ,大幅降低对云上云下网络互联链路的带宽需求。整体架构 文档版本:20220325 1 E-HPC混合云渲染最佳实践 最佳实践概述 本文模拟环境说明 在阿里云华北 2(北京)地域模拟客户本地 IDC环境,使用 VPC、ECS、云 NAS搭 建本地渲染服务。在阿里云华北 5(呼和浩特)地域搭建 E-HPC渲染...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网,GPU云服务器,弹性高性能计算E-HPC
两地三中心异地多活网络
基于阿里云洛神网络全球基础设施及云原生SDN技术,帮助企业客户在云上库阿斯构建两地三中心跨域多活网络,保障企业核心业务在全球多地域的高品质互联。两地三中心多活网络解决方案提供了弹性、安全、高质量的网络能力,结合数据传输服务DTS轻松实现异地多活数据同步等,助力企业构建安全、可扩展、高可用的数据架构。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台两地三中心异地多活网络方案介绍方案优势应用场景方案部署方案权益两地三中心异地多活网络基于阿里云洛神网络全球基础设施及云原生SDN技术,帮助企业客户在云上快速构建两地三中心跨域多活网络,保障企业核心业务在全球多地域的高品质互联...
来自: 解决方案
混合云多云统一安全
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云,但想使用阿里云公共云的安全服务;或 者业务系统部署在多个云平台上,想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务,统一管理阿 里云、IDC和它云的资产; 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
如果客户有条件,一般都会拉专线来打通两个数据中心,这样延迟小、稳定性和安全 性高;如果客户业务要求不是很高,或者在验证测试,可以通过两端建立 IPSec VPN 文档版本:20200630 1 混合云多云统一安全 方案总体设计 的方式。本最佳实践为了客户自服务性,通过 IPSec VPN方式来阐述。对于部分业务在阿里云、部分在 IDC或...
来自: 最佳实践 | 相关产品:日志服务(SLS),Web应用防火墙,数据库审计,堡垒机,SSL证书
云托付
云托付是以阿里云的机房技术、运维、安全标准,结合合作伙伴的机柜资源、优质线路,为阿里云客户提供一站式的混合云托管服务,实现云上、云下业务互联。
专有网络由逻辑网络设备组成,可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的网络环境,实现应用的平滑迁移上云.专有网络 VPC.高速通道是一款连接企业数据中心与阿里云的网络服务,可在企业数据中心与云上网络之间建立高速、稳定、安全的私网通信通道。高速通道的数据传输过程可信可控,能有效提高网络通信的...
来自: 云产品
网络智能服务NIS
网络智能服务NIS是阿里云推出的一款网络运维云服务,可提供网络健康分析、性能监控、诊断修复、流量分析等。通过集成专家经验、机器学习,方便用户自助运维。
专有网络由逻辑网络设备(如虚拟路由器,虚拟交换机)组成,可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的网络环境,实现应用的平滑迁移上云.专有网络 VPC.负载均衡SLB是云原生时代应用高可用的基本要素。通过对多台云服务器进行均衡的流量分发调度,消除单点故障提升应用系统的可靠性与吞吐力。阿里云SLB...
来自: 云产品
< 1 2 3 4 5 >
共有5页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用