失效链接处理 |
Hadoop集群测试报告 PDF 下载
本站整理下载:
相关截图:
主要内容:
HDFS 写文件吞吐均值: 26.76M /S
平均执行时间: 61.54S
占用带宽: 53.52M /S
结论: HDFS 写,其磁盘吞吐基本上处于理想状态,且在此吞吐水平上其网络带宽占用较少,没有造成明
显的带宽负载。
1.2 连续 10 次执行如下读操作,其性能见图示:
hdfsadminhadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar TestDFSIO -read -nrFiles 10 -fileSize 1000
-resFile /tmp/TestDFSIO_results.log
Map Task 平均吞吐: 67.5M/S 。 0
50
100
150
200
250
300
350
400
450
500
1 2 3 4 5 6 7 8 9 10 11
Throughput mb/sec Average IO rate mb/sec
文件的平均 IO 速度: 288.5M/S ,基本符合理想状态。
附: I. 带宽计算过程:
10000/61.54/26.76=6 ,10 个文件则 10 个进程并发,复本数为 2,则有 1 份网络传输, 10 个进程并发在
5 台机器上,基本上每台机器有 2 个写进程,则网络流量大约为: 26.76M/S *1*2=53.52M ,远远低于千兆
网络的带宽。
II. 清除测试数据:
dfsadminhadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar TestDFSIO –clean
|