| 失效链接处理 |
|
基于Spark的网络数据分析系统研究与实现 PDF 下载
本站整理下载：
相关截图：
主要内容：
MapReduce 的并行化是通过异构机器集群之间分配工作负载实现的。由于
MapReduce 具有良好的功能和它的易用性，研究人员利用它来开发了各种学科的应
用程序，包括文本挖掘、机器学习、生物信息学、日志文件分析、财务报告等领域。
由于 MapReduce 将开发人员从系统的底层细节中解放出来，开发人员只需要以
Map 和 Reduce 的方式构建目标算法，使得开发人员不必考虑管理分布式实现的低级
细节，能够更多的关注算法本身。
目前基于 MapReduce 编程模型的深度学习研究主要集中在一些模型算法的改进
方面。如，由于 RBM（受限玻尔兹曼机）和反向传播算法的顺序实现需要大量的计
算时间来处理海量数据集，Kunlei Zhang 等人提出了一种 RBM 的分布式范例和使用
MapReduce 的反向传播算法 [14] 。实验表明分布式 RBM 和 DBN（深度置信网络）适
用于大规模数据，在准确性和效率方面具有良好的性能。
Zhang Hai-jun 等人提出了一种全连接多层神经网络的映射方案，该方案基于大
数据集群 MapReduce 的反向传播算法进行训练，收敛速度更快，迭代次数更少 [15] 。
Cao 等人提出了一种基于 MapReduce 的粒子群优化（PSO）优化 BP 神经网络的并行
设计和实现方法，PSO 算法用于优化 BP 神经网络的初始权重和阈值，提高分类算法
的准确性，利用 MapReduce 并行编程模型实现 BP 算法的并行处理 [16] 。它解决了神
经网络在大数据分析处理中的通信开销问题，是对大数据智能算法并行处理的重大
改进。
（2）基于 Spark 编程模型
Spark 是在 MapReduce 的基础之上发展而来的，它继承了 MapReduce 的分布式
计算的优点并改进了它的一些缺陷 [17] 。Spark 将中间数据放到内存中，而 MapReduce
的中间结果需要保存到磁盘中，因此 Spark 的迭代计算效率更高，比 MapReduce 更
适合深度学习这种需要大量迭代计算的任务。
在深度学习模型的改进方面，很多研究学者会将现有模型在 Spark 平台上进行分
布式的改进。如，Hongyang Li 等人提出了一种联合框架，可以在 Spark 上实现对图
像的快速分类和检索 [18] 。它使用批量归一化等多种方案修改现有的深度学习网络，
提高其分类性能；使用分布式数据处理平台 Spark 来即时嵌入对象的检索和分类任
务。Alsheikh 等人利用 Spark 分布式学习模型对移动数据进行分析 [19] 。这些改进之后
的模型在性能与效率方面都有了较好的提高。针对 Spark 大数据平台，各大公司还研
究提供了一些机器学习算法库供开发人员使用，如 MLlib [20] ，Scikit-learn [21] 等。这大
华 中 科 技 大 学 硕 士 学 位 论 文
4
大提高了开发人员的工作效率。
现如今传统的单机深度学习框架已经无法满足人们对于海量数据分析的需求，
在实际的工程应用中，许多公司以及研究人员开始将深度学习框架与大数据处理框
架 Spark 进行结合，使其满足深度学习复杂的计算需求 [22] 。Michael I. Jordan 等人在
Spark 和 Caffe 深度学习库的基础之上建立了 SparkNet [23] ，利用 Java 来访问 Caffe 数
据，用 Scala 来访问 Caffe 参数，用 ScalaBuff 来保持 Caffe 网络的动态结构。其架构
如图 1-2 所示。Master 将任务分发到 worker 上，每个 worker 使用单独的 caffe 来进
行训练，训练完成之后再将参数传给 Master。
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
