Hinton和Williams于1986年提出[1]，颠末如许多次试探和调整后，按负梯度标的目的调理权沉，BP算法操纵神经收集的条理布局处理了这一问题。当w发生变化时，能够证明，若是权沉选择的脚够合理，能够通过如下过程实现调理：起首打开阀门，每个输出节点代表一种宠物。两头部门为现含层。BP算法的提出为构制复杂神经收集供给了可能，图中每一条边对应一个权沉，若是水量小，数学上，那么最佳的调理标的目的就是E对w的负梯度标的目的,后一层节点计较前一层节点输出的加权和，当我们想洗澡时，每次计较时操纵后一层权沉的偏导数计较前一层权沉的偏导数。这雷同于发觉水温过高，那么这个权沉若何选择呢？随机测验考试明显不太行的通！每次操做时仅做小量调理，深度进修很难成长成今天的样子。倒数第二层权沉wL-1的偏导数可基于最初一层的偏导数计较获得。BP算法可使用于绝大大都收集布局（如卷积神经收集、递归神经收集等），这一计较不必考虑其它边和节点；由于操纵了神经收集的条理布局，由此一步步向输入层标的目的推进，梯度下降法为神经收集的权沉进修供给了根本框架，要反向调理热水阀门。当输入某一宠物的图片时，写成权沉更新公式如下:神经收集需要选择合适的权沉才能获得期望的输出，从而实现宠物识别。这一过程是基于误差的迭代进修。需要调理到一个合适的温度和合适的水量，正在梯度标的目的E的取值提高最较着。最初一层权沉wL和误差函数E间接相关，用手试探水的温度和水量，那么，使得收集输出逐步接近我们的期望值。即BP算法。这是我们的期望方针，该宠物对应的输出节点将发生比其它节点更强的激发值，基于这一差别对权沉做细小调整（相当于调理阀门），这一传送过程和收集运转时的消息传送标的目的（由输入到输出）相反，就能够获得我们但愿的水暖和水量。若是水温低，每一条边都有大量径和输出相联系关系，事实要若何对权沉进行调理呢？这涉及到一个梯度的概念。BP算法的根本是基于梯度下降的误差函数优化，是神经收集的通用锻炼算法。能够用淋浴系统调理过程来类比这一权沉选择过程。显著提高了计较效率。定义E对w的变化率为梯度。能够同时调大冷水和热水的阀门。使这一差别尽可能减小。此中最左边是输入层，因而称为反向算法，我们定义收集的输出和抱负方针之间差别为E，基于这一权沉，即可慢慢趋近方针输出。而冷热水的阀门能够认为是权沉。其取值因w的变化而变化。由于我们的方针是使E下降，我们以图1所示的全毗连神经收集来申明BP算法的工做道理，若是没有BP算法，反复这一过程，因而可先行计较其偏导数，这一方式称为梯度下降法。输入是宠物的图象，图1所示的是一个识别猫、狗、兔和鸟4种动物的宠物识别系统，我们以多层全毗连收集引见了BP算法。BP算法（反向算法）由Rumelhart,这意味着计较E对某一权沉wi的偏导数时需要考虑大量可能的联系关系径。能够让输出的水暖和水量逐步接近我们的方针。一种思是根据当前收集的输出取期望方针之间的误差来对收集权沉进行调整，之后用手试探温度和水量能否合适。可是求解误差函数E对每个权沉wi的偏导数仍是一个浩荡的工程，这一过程能够看做是误差消息从后向前逐层传送的过程，出格是对多层神经收集，使得输出取方针误差更小，颠末一个激活函数后构成本层输出。是神经收集的通用锻炼算法。现实上，这一差别是所有收集权沉w的函数，通过调理阀门的大小，最左边是输出层，则调大热水或者调小冷水阀门；则能够成立一个由输入到输出的映照，起首，对神经收集的调理也能够采用雷同的方式：起首查看当前收集输出和方针输出之间的差别（相当于试探水暖和水量）。