场景描述 阿里云为了满足大数据场景下的存储需求,在云 上推出了本地盘D1机型,这个系列提供了本地 盘而非云盘作为存储,提高了磁盘的吞吐能力, 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型,推出了一整套的自动化运 维方案,帮助用户方便可靠地使用本地盘机型, 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
最佳实践描述 数据迁移时自动决策 自动的故障节点迁移与数据平衡 自动的 HDFS数据检测 网络拓扑调优 文档版本:20191111(发布日期)V EMR本地盘实例大规模数据集测试最佳实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 最佳实践描述.IV 目录.VI 前置条件.1 演示环境说明.2 1.VPC环境创建.3 1.1.VPC及虚拟交换机.3 1....