场景描述 阿里云为了满足大数据场景下的存储需求,在云 上推出了本地盘D1机型,这个系列提供了本地 盘而非云盘作为存储,提高了磁盘的吞吐能力, 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型,推出了一整套的自动化运 维方案,帮助用户方便可靠地使用本地盘机型, 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
方案架构说明 方案架构 架构说明 ᅳ 大数据平台使用 EMR+D1本地盘 ᅳ TPC-DS测试使用功耗测试(Power Test,PT),测试框架使用 Hive-testbench ᅳ 可以生产不同规模的数据集进行基准测试 EMR+D1本地盘优势 强制节点的高可靠分布 本地盘与节点的故障监控 文档版本:20191111(发布日期)IV EMR本地盘实例大规模数据集测试最佳...