E-MapReduce大数据安全实践

简介: E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

企业级安全

一个大数据集群的企业级安全,从外到内可以分为几层:

  • 边界安全

如网络的隔离,使用vpc/安全组/iptables等。

  • 认证(Authentication)

只有可信的得到合法身份认证的用户才能够访问集群。
开源组件通用的认证方案是集成Kerberos(如HDFS/YARN/HBase等),也有用户名/密码(如hue等)。

  • 授权(Authorization)

将开源组件里面的具体资源的操作权限授予用户,未被授权的用户无法访问资源。

  • 加密(Encryption)

通道/数据的加密,如HDFS存储的数据加密,数据被窃取后也无法查看等。

  • 审计(Audict)

对服务的访问操作进行监控和记录,便于排查跟踪问题。

enterprise_sercurity

如上图所示,访问服务的用户会经过一层层的安全措施过滤,保障大数据集群的安全稳定运行。

E-MapReduce安全实践

E-MapReduce在边界安全/认证/授权/审计/加密五个维度都提供了相应的能力。

  • 边界安全

创建集群时候可选择vpc网络
集群有安全组控制开放端口
用户可根据需求在集群节点上面设置iptables

  • 认证

创建的Kerberos安全集群的开源组件自动以Kerberos方式启动,开启身份认证,不需要用户进行复杂的Kerberos配置,而且支持多种身份认证方式(如与RAM/LDAP等的结合)

具体详见E-MapReduce Kerberos文档

  • 授权

E-MapReduce集群的开源组件可按照组件的官方文档进行相关的权限配置。

可以在E-MapReduce控制台的集群配置管理页面方便的进行配置并重启各项服务,无需登录集群操作。

权限配置详见E-MapReduce 授权文档
HDFS授权
YARN授权
Hive授权
HBase授权

  • 审计

E-MapReduce集群默认开启了HDFS/HBase的audict log, 其它相关组件后续会陆续开启。

  • 加密

用户可选择启动使用HDFS的数据加密KMS服务。

有兴趣或者有需求的用户可以关注一下E-MapReduce的安全相关的功能,有问题及时联系和反馈。

c7c8f09ebf3cc7795e0dd0da330cec88

目录
相关文章
|
1月前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
1月前
|
人工智能 安全 算法
AI与大数据:智慧城市安全的护航者与变革引擎
AI与大数据:智慧城市安全的护航者与变革引擎
23 1
|
2月前
|
数据采集 监控 算法
利用大数据和API优化电商决策:商品性能分析实践
在数据驱动的电子商务时代,大数据分析已成为企业提升运营效率、增强市场竞争力的关键工具。通过精确收集和分析商品性能数据,企业能够洞察市场趋势,实现库存优化,提升顾客满意度,并显著增加销售额。本文将探讨如何通过API收集商品数据,并将这些数据转化为对电商平台有价值的洞察。
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
703 0
|
4月前
|
存储 SQL 分布式计算
开源大数据比对平台设计与实践—dataCompare
开源大数据比对平台设计与实践—dataCompare
65 0
|
4月前
|
SQL 存储 大数据
某互联网大厂亿级大数据服务平台的建设和实践
某互联网大厂亿级大数据服务平台的建设和实践
67 0
|
4月前
|
安全 大数据 Java
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
53 0
|
4月前
|
存储 分布式计算 负载均衡
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
59 0
|
4月前
|
人工智能 安全 数据挖掘
AI大数据分析对安全隐私的保护
AI大数据分析对安全隐私的保护非常重要。随着大数据技术和人工智能的发展,个人和企业的数据越来越容易被收集和分析。这种数据分析可以为企业提供有价值的洞察和决策支持,但同时也带来了安全隐私的风险。
|
1月前
|
安全 算法 大数据
漫谈大数据时代的个人信息安全(四)——“位所欲为”
漫谈大数据时代的个人信息安全(四)——“位所欲为”

热门文章

最新文章