失效链接处理 |
Hadoop平台基准性能测试研究_张新玲 PDF 下载
本站整理下载:
相关截图:
主要内容:
3.3 使用Terasort对1TB数据进行排序
TeraSort是由微软的数据库专家Jim Gray创 建 的 标
准 benchmark,输 入 数 据 由 HadoopTeraGen产 生,生 成
1TB数据。
Terasort方 法 进 行 排 序,Hadoop2.0 平 台 与 Ha-
doop1.0平台测试时间见表12。 表12 Hadoop2.0平台与hadoop1.0平台测试时间(3)
时间 Hadoop2.0平台 Hadoop1.0平台
Time 61′56″ 测试时间过长未出结果
4 Hive基准测试比较
本次 hive测 试 生 成 两 个 表:Rankings和 Uservisits
表,Rankings表 大 小 为 1GB 共 11999999 条,Uservisits
表大小20GB共99999995条。Rankings表的表结构为:
hive> descrankings;
OK
pageurl string None
pagerank int None
avgduration int None
Timetaken:0.12seconds,Fetched:3row(s)
Uservisits表的表结构为:
hive> descuservisits;
OK
sourceip string None
desturl string None
visitdate string None
adrevenue double None
useragent string None
countrycode string None
languagecode string None
searchword string None
duration int None
Timetaken:0.128seconds,Fetched:9row(s)
4.1 简单查询操作
以pageurl字段作为条件,从 Rankings表中单条查询
出结果,语句为:
select * from rankings wherepageurl='wyhajvmhqmt- ngawxpzkkjxkjoxzfecznoklgkcgbdaiaxy
gpqtohcrtakdebgwwpouzkjnplnqzjyqauevchrs';
测试结果见表13。 表13 Hadoop2.0平台与 Hadoop1.0平台测试时间(4)
|