本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
TestDFSIO测试 ✓ TestDFSIO测试是 Hadoop系统自带的基准测试组件之一,用于测试 Hadoop文件系统以 MapReduce的方式处理作业的 IO性能。TestDFSIO调用一个 MapReduce作业来并发地 执行读写操作,每个 map任务用于读或写每个文件,reduce 用于累积统计信息,并产生 统计总结。获取脚本 ✓ 通过如下命令获取测试脚本:git ...