Ein erster Schritt bei der mathematischen Beschreibung neuronaler Netze besteht darin, ein in Schichten gegliedertes neuronales Netz als Folge hintereinander geschalteter zweischichtiger Netze zu betrachten. Dabei ist bei jedem dieser Schichtpaare die Ausgabeschicht identisch mit der Eingabeschicht des Nachfolgepaars, falls es ein solches gibt. Hat das Netz beispielsweise nur eine versteckte Schicht, dann ist es wirkungsgleich zu zwei hintereinander geschalteten Schichtpaaren. In der folgenden Grafik sind die Neuronen zur Verdeutlichung schichtbezogen markiert worden:
Einem Netz aus s Schichten entspricht die Hintereinanderschaltung von (s-1) Schichtpaaren, die alle gleichartig behandelt werden können.
Im Folgenden sollen die Gewichte der Synapsen mit dem Buchstaben g zusammen mit zwei Indizes i und j bezeichnet werden. Dabei soll i für das i-te Neuron der linken und j für das j-te der rechten Schicht, gezählt jeweils ab 1, stehen. So gibt g3,5 das Gewicht der Synapse an, die zu der Verbindung des dritten Neurons der linken Schicht zum fünften Neuron der rechten gehört. Damit haben die Gewichte der Ableitungen des ersten Neurons der linken Schicht folgende Bezeichnungen:
Mit diesen Bezeichnungen kann zu jedem Schichtpaar eine Matrix (ein Zahlenschema aus Zeilen und Spalten) der zugehörigen Gewichte aufgestellt werden. Es ist die Gewichtsmatrix dieses Schichtpaars. Im Folgenden werden in die erste Spalte dieser Matrix der Reihe nach (von oben nach unten) die Gewichte aller Synapsen aufgenommen, die zu den Ableitungen des ersten Neurons der linken Schicht gehören. In die zweite Spalte kommen die des zweiten Neurons der linken Schicht, usw. Hat die linke Schicht l und die rechte r Neuronen, dann gehört zu diesem Schichtpaar eine (r x l)-Matrix, also eine Matrix mit r Zeilen und l Spalten.
Der Propagierung eines Eingabevektors durch ein neuronales Netz entspricht eine Folge von Propagierungen durch die hintereinander geschalteten Schichtpaare, wobei jeder Ausgabevektor eines Schichtpaars zum Eingabevektor des nächsten Paars wird.
Eine Eingabepropagierung durch ein Schichtpaar kann mithilfe der Matrizenrechnung beschrieben werden. Der Ausgabevektor des Paares erweist sich als Ergebnis des Produkts der zugehörigen Gewichtsmatrix mit dem Eingabevektor, gefolgt von einem komponentenweise Schaltvorgang, hier mit der Sigmoidfunktion. Bei der Multiplikation ist der Eingabevektor in Spaltenform zu verwenden, und der dadurch entstehende Ausgabevektor ist dann ebenfalls ein Spaltenvektor.
Wenn [G] für die Gewichtsmatrix eines Schichtpaars steht und (e) für einen Eingabevektor in dieses Schichtpaar, dann ergibt sich der Ausgabevektor (a) des Paars als
Dieser Sachverhalt soll am Beispiel eines Schichtpaars verdeutlicht werden, dessen linke Schicht 3 und dessen rechte 2 Neuronen enthält.
