本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
d.DFSIO测试读/写均使用 5个文件,每个文件大小 100G,副本数为 3,块大小 256MB。文档版本:20210301 5 大数据系统基准性能测试最佳实践 运行 Bert Finetune demo程序 1.2.2.测试方法 连续运行 3次 TestDFSIO测试,收集测试结果。1.2.3.写指标 a.应至少有一次测试 Throughput>=xxxMB/s;b.不应有一次测试 Throughput=xxxMB...