| 失效链接处理 |
|
HadoopMapReduce短作业执行性能优化文档 PDF 下载
本站整理下载：
提取码：sa74
相关截图：
主要内容：
由 Ｇｏｏｇｌｅ公 司 于２００４年 提 出 的 ＭａｐＲｅｄｕｃｅ［１］
并行计算框架目前被广泛应用于解决大规模数据处
理问题．ＭａｐＲｅｄｕｃｅ与之前诸多并行编程模型如消
息传递接口（ｍｅｓｓａｇｅｐａｓｓｉｎｇｉｎｔｅｒｆａｃｅ，ＭＰＩ）［２］和
并行虚 拟 机 （ｐａｒａｌｌｅｌｖｉｒｔｕａｌｍａｃｈｉｎｅ，ＰＶＭ）［３］完
全不同．它提供了两个非常简单的编程接口：ｍａｐ和
ｒｅｄｕｃｅ．当开发人员实现了这两个接口之后，应用程
序可以在 Ｈａｄｏｏｐ［４］
ＭａｐＲｅｄｕｃｅ并行框架上实现自
动并行计 算．ＭａｐＲｅｄｕｃｅ拥 有 诸 多 良 好 特 性，如 负
载平 衡、高 可 扩 展 性 以 及 容 错 等［５］
．ＭａｐＲｅｄｕｃｅ是
当前工业界和学术界最有效的大规模数据处理问题
并行解决方案之一．
近年来，为了在大数据集下获得较高的执行效
率，研究者们基于 ＭａｐＲｅｄｕｃｅ设计了很多并行化的
算法，如机器学习算法［６－７］等．另外，也有研究工作分
析了 ＭａｐＲｅｄｕｃｅ和其他一些并行编程模型的不同，
并指出其在性能上还存在一些问题需要解决［８］．这
个领域不断地吸引了很多研究者，他们着力于优化
ＭａｐＲｅｄｕｃｅ的各种性能．Ｆａｃｅｂｏｏｋ为了解决 Ｈａｄｏｏｐ
集群的资源 共 享 问 题，文 献［９］提 出 了 公 平 调 度 算
法［９］；另外，为了加强 ＭａｐＲｅｄｕｃｅ计算向 数 据 迁 移
的特性，Ｆａｃｅｂｏｏｋ还提出了延迟调度算法［１０］．加 州
大学伯 克 利 分 校 提 出 了 ＬＡＴＥ（ｌｏｎｇｅｓｔａｐｐｒｏｘｉｍａｔｅ
ｔｉｍｅｔｏｅｎｄ）算 法［１１］，用于提高投机任务执行的性
能；ＨＰＭＲ（ｈｉｇｈｐｅｒｆｏｒｍａｎｃｅ ｍａｐｋｅｄｕｃｅｅｎｇｉｎｅ）［１２］
采用ｐｒｅ－ｆｅｔｃｈｉｎｇ和ｐｒｅ－ｓｈｕｆｆｌｉｎｇ优 化 策 略，也 提
升了 Ｈａｄｏｏｐ的整体性能；文献［１３］将 ｍａｐ任务产
生的中间数据存入分布式内存中，以加速 ＭａｐＲｅｄｕｃｅ
任务的执行；文献［１４］提出了一种计算 ＭａｐＲｅｄｕｃｅ
作业执行进 度 的 算 法，可有效预测作业结束时间；
文献［１５］提 出 了 一 种 自 动 优 化 ＭａｐＲｅｄｕｃｅ参 数
的算法；文献［１６］利用作业和任务的多重并发平衡
磁盘和网络带宽，减小瓶颈出现的可能性，提高系统
性能
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
