本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
TestDFSIO调用一个 MapReduce作业来并发地 执行读写操作,每个 map任务用于读或写每个文件,reduce 用于累积统计信息,并产生 统计总结。获取脚本 ✓ 通过如下命令获取测试脚本:git clone git@code.aliyun.com:best-practice/202.git 文档版本:20210301 3 大数据系统基准性能测试最佳实践 前置条件 前置条件 为了顺利完成...