链接：https://pan.baidu.com/s/1PovTVcLi3001Kjc6-6ojSA 

提取码：rqr6 

 

对Google 编程模型（Google-MapReduce）论文的阅读报告

为了处理海量的原始数据和各种类型的衍生数据，Google MapReduce论文设计了一种新的抽象模型，以至于让难以处理的运算变得简单。只需要表述我们想要执行的运算即可，而那些并行计算、容错、数据分布、负载均衡等复杂的细节，这些问题都被封装在一个库中，我们能直接调用。使用 MapReduce 模型，再结合用户实现的 Map函数：对输入数据应用Map操作得出一个中间<key, value>对集合和 Reduce 函数：对具有相同key的value集合上应用Reduce操作合并中间结果，我们就可以非常容易的实现大规模并行化计算。

分布式的思想是将庞大的数据处理划分给众多的普通计算机，再通过每一台计算机的单独计算将计算结果返回，然后总和输出。结合大数据课上所理解到的关于大数据的相关知识，对于MapReduce的算法模型我理解较为直观，它的思路将单一机器不能处理的大规模数据分块处理，将复杂的计算变的简单，很大程度上提高开发和计算的效率。

从论文中可以知道，MapReduce是一种编程模型，也是一个处理和生成超大数据集的算法模型的相关实现，并且有着良好的扩展性，较高的容错性。程序员使用MapReduce进行工作时可以充分利用各个计算机资源，通过MapReduce可以对分布式系统各个终端机器进行管理，让资源尽量最大程度的利用。

论文描述了一个MapReduce 模型的实现方式：用以太网交换机连接、由普通 PC 机组成的大型集群。它的执行流程概况是，用户调用MapReduce函数，通过将 Map 调用的输入数据自动分割为 M 个数据片段的集合，Map 调用被分布到多台机器上执行。输入的数据片段能够在不同的机器上并行处理。使用分区函数将 Map 调用产生的中间 key 值分成 R 个不同分区，Reduce 调用也被分布到多台机器上执行。