2.2
神经⽹络的训练

2.2.1
前向传播（Forward
Propagation）

介绍完神经⽹络的⼤致结构，我们就已经对前向传播这件事有⼀定的了解了！⼀张图⽚变成784维向量
输⼊给神经⽹络的输⼊层的784个神经元们，⽽后接下来的第⼀层隐层根据它的784*16个权重和16个
偏置，产⽣了16个新的输出，送给了下⼀个隐层；下⼀个隐层则继续根据16*16个权重和16个偏置，
输出16个标量给输出层。最后，输出层在根据⾃⼰的10*16个权重和10个偏置，输出10个数字。在神
经⽹络的设计中，我们往往希望输出层输出的是⼀个概率分布函数，每个值都为正，⽽总和为1（总和
为1⼀般选择softmax，因为softmax的输出就是0-1的区间）；然后对于值最⼤的⼀个神经元对应的内
容（在上⾯的例⼦中是数字），就是我们的输出。这就是前向传播。
前向传播（Forward
Propagation）是⼀种在神经⽹络中进⾏信息传递的过程，它是神经⽹络训练的
第⼀步。在前向传播中，输⼊数据通过神经⽹络的多个层（包括输⼊层、隐藏层和输出层）按照预定
的权重和偏置进⾏计算，从输⼊层传递到输出层，最终得到神经⽹络的预测结果。
 

2.2.2
梯度下降（Gradient
Descent）

我们已经搞懂了模型是怎么从输⼊到产⽣输出的，但我们真正要解决的机器学习问题在于，怎么让机
器⾃⼰找到这13002个参数，实现学习的过程？

也就是后期优化权重的过程了。