本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
登录集群进行测试 使用 SSH工具登录集群 查找测试程序的绝对目录#find/-name/mapreduce/hadoop-mapreduce-examples*文档版本:20210301 21 大数据系统基准性能测试最佳实践 运行 Bert Finetune demo程序 修改 tera-gen-sort.sh脚本,替换 appdir的内容为已经查出的测试程序的目录地址。vim tera-gen-sort.sh#!bin/bash date...