场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
步骤1 EMR集群的主机所在安全组放通如下端口:端口号 说明 8443 EMR集群的 HDFS,YARN,Spark History,Ganglia等组件的 UI界面 8042 EMR集群的 Worker节点使用,在通过 Web UI查看日志时需要 在 EMR集群管理界面,点击左侧的主机列表,单击某个 ECS ID的链接,进入到对应 的 ECS实例控制台。步骤2 单击左侧的本实例安全组。...