容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的<em>应用</em>性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
请阅读计费模式后,点击立即开通 文档版本:20240329 25容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 点 击 应 用 列 表, 到 新 版 控 制 台 当 看 到 应 用 名 称 后 出 现每秒请求等信息,表明部署成功。以下截图为新版本ARMS控制台 文档版本:20240329 26容器场景下的应用性能监控、调用链拓扑、内存...
来自: 最佳实践 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix<em>应用</em>迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
找到 gateway的外网 IP地址,访问地址:http://${gateway-ip}:4000 文档版本:20200106 59 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 4.3.增加负载均衡能力 部署 2台 Gateway服务,在前面部署一台 SLB实现 Gateway的负载均衡。步骤1 登录云服务器管理控制台。(https://ecs.console.aliyun.com/)说明:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本:20201224 33 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 为了方便理解,其逻辑视图大致和下图类似:步骤3 返回集群信息页面,可申请外网 IP(也可通过 vpc内访问,这里演示通过外网地址的 方式),用于后续 Quick BI数据连接。文档版本:20201224 34 基于 Flink+ClickHouse构建实时游戏数据分析 ...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
 私网IP地址:选择自填,并填入5.5.1章节步骤5中用于DNAT的ext-network 网卡的私网IP  端口设置:选择所有端口 文档版本:20191121 213 VMwareon弹性裸金属 应用VMC 5.5.3.验证 在个人电脑上,使用命令行工具,运行以下命令,验证VM可以被互联网访问。pingDNATEIP 执行结果显示,vm2可以被互联网访问。5.6.配置VM与阿里...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
混合云灾备之HDR VMware虚拟机容灾
混合云灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像,可以为云上或云下的VMware环境提供有效 的数据保护,保证数据快速、安全、高效地备份到云 上,并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
可 使用当前使用的相同的VMware配置,轻松在本地环境和阿里云之间迁移应用程 序,而无需购买任何新硬件或者重写应用程序。 降低成本:一致性且无缝的混合云环境,可利用所有现有投资,帮助节省资金并 大大降低迁移到混合云的复杂性、风险和成本。 增强可用性:VMwareon阿里云可帮助基于VMware的工作负载加速迁移到高可 ...
来自: 最佳实践 | 相关产品:弹性裸金属服务器(神龙)
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
H IPv4网段 172.16.10.0/24 SLB 实例名称 slb 计费方式 后付费 实例规格 slb.s1.small 主可用区 华东 1(杭州)可用区 H 备可用区 华东 1(杭州)可用区 I 网络类型[专有网络]vpc 计费类型 按使用流量付费 实例类型 私 IP版本 ipv4 带宽值 100 EIP 付费方式 后付费 EIP名称 eip_cloud 地域 华东 1(杭州)带宽峰值 100...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
阿里云DNS
阿里云DNS覆盖了公网权威域名解析、内网域名解析、移动解析以及专有云的域名解析场景。为广大用户提供稳定、安全、快速、智能的域名解析服务,助力网站快速实现域名迁移及网站搭建,企业上云就来阿里云。
同时,也可以为每个地址池开启健康检查,如果出现故障,则会将用户请求流量切换到备用地址池中的运营商IP,最终实现故障转移.实时监测,健康检查,能够及时发现异常.发现故障,自动将访问流量切换到备份的其他运营商IP上.旗舰版最快1分钟,完成自建IDC客户的跨运营商流量调度,有效提高企业人工排查、流量切换效率.云解析...
来自: 云产品
云数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License,支持复杂的SQL查询,性能优秀,对基于Windows平台.NET架构的应用程序具有完美的支持,广泛应用于新零售、医疗、房地产等行业。
原生支持VPC,支持内外同时访问,支持经典网络和VPC之间切换,打破网络孤岛,加速数据流通.丰富的网络访问.云服务器ECS.云数据库Redis.对象存储OSS.推荐搭配使用.网站:高性价比场景.开箱即用,高性价比数据库产品.支持一主一备的经典高可用架构,主备双节点架构搭配高安全链路,实现全自动无感知容灾切换,业务稳定性...
来自: 云产品
云解析DNS
云解析DNS(Domain Name System,简称 DNS)是一种快速、安全、稳定、智能的互联网域名解析服务。产品能力涵盖公网权威域名解析、全局流量管理、公网递归域名解析,帮助企业在互联网域名解析管理、域名自动容灾调度和移动APP/IoT终端域名防劫持方面提升用户体验和降低运维难度。
支持配置多IP负载,最快1分钟内自动发现并完成故障切换,有效保障应用服务的安全稳定.面向权威解析域名的自动容灾调度服务.全局流量管理(简称GTM).适用于网站、邮箱、证书等业务域名解析.公网权威解析.适用于APP/IoT端DNS防劫持、全球解析加速(送超大流量包).公网递归解析(公共DNS).适用于公网权威解析自动容灾解析...
来自: 云产品
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
因此需要将上海热备中心 RDS实例中 wp_options记录的公 IP地址,更新为上海热备中心的 ECS公网地址(章节 1.3步骤 6)。步骤4 运行以下两条命令修改数据库中 WordPress Address(URL)配置:update `wordpress`.`wp_options` set `option_value`='http://上海热备环境 ECS 公网 IP/' where `option_name`='siteurl';update...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地应用程序可将这些卷作为 iSCSI目标进行访问。块网关提供两种 模式:透传模式和缓存模式。透传模式可以将块卷数据切片同步上云,适用于专线 等高速链路客户;缓存模式提供本地缓存盘进行读写加速,缓存数据异步上云,适 用于期望本地快速访问但是上云链路慢的客户。对象存储 OSS:阿里云对象存储 OSS(Object Storage ...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
配置项 说明 源类型 IP 访问源 0.0.0.0/0 目的类型 IP 文档版本:20220210 100传统企业业务上云基础安全防护 堡垒机 目的 填写堡垒机公网IP地址 协议类型 TCP 端口类型 地址簿 选择已创建的堡垒机端口地址簿 应用 ANY 动作 放行 描述 放行堡垒机公网访问 优先级 最后 文档版本:20220210 101传统企业业务上云基础安全防护 ...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
文档版本:20201210 107 远程办公-AD管控下的弹性云桌面最佳实践 附录 4:云桌面相关 API 附录 4:云桌面相关 API 如果您熟悉网络服务协议和一种以上编程语言,推荐您调用 API管理您的云上资源 和开发自己的应用程序。尤其是当需要维护大量桌面实例的场景中,合理使用 API 将大大提升维护的效率和质量。云桌面 API概览:...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
登录到已加载的网络实例的内的任何一台 ECS实例,然后使用 ping命令,ping另外 地域已加载的网络实例内的 ECS实例的私 IP,查看是否互通。说明:确保 ECS实例的安全组中配置了相应的授权规则。步骤1 登录深圳的 ECS,通过远程连接方式。步骤2 输入远程连接密码。步骤3 登录服务器并访问德国(法兰克福)ecs的私网地址。...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
混合云数据库统一管理
混合云数据库统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
1.选择智能接入网关接入,输入 IDC数据库的私 IP地址,测试通过后单击授权白 名单并进入下一步:文档版本:20201224(发布日期)42 混合云数据库统一管理 IDC数据同步 RDS 2.为 RDS授权白名单:3.给 RDS配置完白名单后,设定迁移属性。选择全量数据迁移,目标库名修改为 poc_prod。文档版本:20201224(发布日期)43 混合...
来自: 最佳实践 | 相关产品:数据传输,数据管理
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
文档版本:20210803(发布日期)51阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 注意这里一定是https方式 域名填写hologres的外网链接地址,不包含端口。3.4.1.2.选择模板创建 步骤1 在我的可视化中,单击新建PC端可视化。文档版本:20210803(发布日期)52阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤2...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于k8s多集群隔离环境下的devops实现
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
持续集成及持续部署 5.1.Jenkins pipeline配置 5.1.1.Jenkins插件安装 在本方案中,需要在通过 code push事件中触发 Jenkins进行编译打包,通过邮件审 批之后,将应用部署到 Kubernetes集群中,除了前文安装 Jenkins时默认安装的插件 ,还需要安装 GitLab、Gitlab Hook、Kubernetes CLI,Email Extension等插件。...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
SLS多云日志采集、处理及分析
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本:20211203 54 SLS多云日志采集、处理及分析 创建日志服务 步骤3 查看外网访问域名记录备用。步骤4 参考章节 4 对 sls-for-filebeat.log-global.aliyuncs.com开启全球加速。文档版本:20211203 55 SLS多云日志采集、处理及分析 Spark数据处理 Log producer写入日志服务 9.Spark数据处理 Log producer写入日志服务 9...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
小型互联网迁移阿里云
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
参考示例 VPC AZ_F_SW AZ_G_SW 功能描述 vpc for public use(外网服 10.99.0.0/19 10.99.8.0/21 10.99.16.0/21 务)10.99.32.0/19 10.99.40.0/21 10.99.48.0/21 vpc for private(内网服务)10.99.128.0/18 10.99.144.0/20 10.99.160.0/20 vpc for database(数据库)10.99.252.0/22 10.99.253.0/24 10.99.254.0/24 vpc ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
配置 Ranger 本节首先在 Ranger中启用 Kafka,然后通过 Ranger管理界面添加 Kafka Service和 对应的 Policy,该 Policy中仅允许日志发生器所在的 ECS私 IP地址,向 Kafka主 题 log-generator-topic发布(Publish)消息。2.6.1.在 Ranger服务中启用 Kafka 步骤1 在 EMR Kafka集群控制台的 Ranger服务中启用 Kafka。文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用