场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
步骤2 查看 Flume后台日志,发现有报错信息:cd/mnt/disk1/log/flume/default-agent tail-f flume.log 说明该 Flume没有权限消费 Kafka队列的消息,需要通过 Kafka集群的 Ranger配置 消费消息队列的权限。文档版本:20200330 82 EMR集群安全认证和授权管理 EMR Hadoop安全集群和网关集群 步骤3 参考章节 2.6.3,编辑 Kafka...