因为每个数据的输入都伴随着输出,此输出值将与标签值比较产生loss,而loss经反向传播算法会指导各层权重值的修改。重点就在权重值的修改,1、计算机修改权重是试错的过程,需要不断尝试,这很耗时间。2、每一层的权重值的修改,都会影响其他层的权重,进而影响最后的loss,因此计算量很大。
输入节点(Input Nodes):输入节点从外部世界提供信息,总称为「输入层」。在输入节点中,不进行任何的计算——仅向隐藏节点传递信息。
隐藏节点(Hidden Nodes):隐藏节点和外部世界没有直接联系(由此得名)。这些节点进行计算,并将信息从输入节点传递到输出节点。隐藏节点总称为「隐藏层」。尽管一个前馈神经网络只有一个输入层和一个输出层,但网络里可以没有也可以有多个隐藏层。
输出节点(Output Nodes):输出节点总称为「输出层」,负责计算,并从网络向外部世界传递信息。
在前馈网络中,信息只单向移动——从输入层开始前向移动,然后通过隐藏层(如果有的话),再到输出层。在网络中没有循环或回路 [3](前馈神经网络的这个属性和递归神经网络不同,后者的节点连接构成循环)。
cnn是前馈网络。 前馈网络和反向传播算法没有什么直接关系。前馈网络中也可以使用back propagation。back propagation不是网络结构,而是纠正网络中参数的一种工具。 一个网络中各层可以不含偏置,因为可以使用值为1的节点乘上权重来代替偏置。