| 失效链接处理 |
|
深度学习-无水印-中文版 PDF 下载
本站整理下载：
相关截图：
主要内容：
1.2.2 与日俱增的数据量
人们可能想问，既然人工神经网络的第一个实验在 20 世纪 50 年代就完成了，
但为什么深度学习直到最近才被认为是关键技术。自 20 世纪 90 年代以来，深度学
习就已经成功用于商业应用，但通常被视为是一种只有专家才可以使用的艺术而不
是一种技术，这种观点一直持续到最近。确实，要从一个深度学习算法获得良好的
性能需要一些技巧。幸运的是，随着训练数据的增加，所需的技巧正在减少。目前
在复杂的任务达到人类水平的学习算法，与 20 世纪 80 年代努力解决玩具问题 (toy
problem) 的学习算法几乎是一样的，尽管我们使用这些算法训练的模型经历了变革，
即简化了极深架构的训练。最重要的新进展是现在我们有了这些算法得以成功训练
所需的资源。图 1.8 展示了基准数据集的大小如何随着时间的推移而显著增加。这
种趋势是由社会日益数字化驱动的。由于我们的活动越来越多发生在计算机上，我
们做什么也越来越多地被记录。由于我们的计算机越来越多地联网在一起，这些记
录变得更容易集中管理，并更容易将它们整理成适于机器学习应用的数据集。因为
1900 1950 1985 2000 2015
Year
100
101
102
103
104
105
106
107
108
109
Dataset size (number examples)
Iris
MNIST
Public SVHN
ImageNet
CIFAR-10
ImageNet10k
ILSVRC 2014
Sports-1M
Rotated T vs. C T vs. G vs. F
Criminals
Canadian Hansard
WMT
18 第一章 引言
统计估计的主要负担（观察少量数据以在新数据上泛化）已经减轻，‘‘大数据’’ 时代
使机器学习更加容易。截至 2016 年，一个粗略的经验法则是，监督深度学习算法在
每类给定约 5000 个标注样本情况下一般将达到可以接受的性能，当至少有 1000 万
个标注样本的数据集用于训练时，它将达到或超过人类表现。此外，在更小的数据
集上获得成功是一个重要的研究领域，为此我们应特别侧重于如何通过无监督或半
监督学习充分利用大量的未标注样本。
图 1.8: 与日俱增的数据量。20 世纪初，统计学家使用数百或数千的手动制作的度量来研究数据集
(Garson, 1900; Gosset, 1908; Anderson, 1935; Fisher, 1936)。20 世纪 50 年代到 80 年代，受生物
启发的机器学习开拓者通常使用小的合成数据集，如低分辨率的字母位图，设计为在低计算成本下
表明神经网络能够学习特定功能 (Widrow and Hoff, 1960; Rumelhart et al., 1986b)。20 世纪 80
年代和 90 年代，机器学习变得更加统计，并开始利用包含成千上万个样本的更大数据集，如手写
扫描数字的 MNIST 数据集（如图 1.9 ）所示 (LeCun et al., 1998c)。在 21 世纪初的第一个十年，
相同大小更复杂的数据集持续出现，如 CIFAR-10 数据集 (Krizhevsky and Hinton, 2009) 。在这
十年结束和下五年，明显更大的数据集（包含数万到数千万的样例）完全改变了深度学习的可能
实现的事。这些数据集包括公共 Street View House Numbers 数据集 (Netzer et al., 2011)、各种
版本的 ImageNet 数据集 (Deng et al., 2009, 2010a; Russakovsky et al., 2014a) 以及 Sports-1M
数据集 (Karpathy et al., 2014)。在图顶部，我们看到翻译句子的数据集通常远大于其他数据集，
如根据 Canadian Hansard 制作的 IBM 数据集 (Brown et al., 1990) 和 WMT 2014 英法数据集
(Schwenk, 2014)
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
