Denken Sie daran, wenn wir uns eine Geschichte anhören oder jemand mit uns kommuniziert. Betrachten wir jedes ihrer Worte einzeln und verarbeiten jedes Wort, das sie sprechen, oder verbinden wir ein Wort mit dem nächsten und so weiter, um ihr Gespräch zu verstehen? Angenommen, unser Gehirn arbeitet so, dass es jedes einzelne Wort individuell verarbeitet. Es wäre sehr schwierig, einander zu verstehen. Herkömmliche künstliche Netzwerke waren jedoch nicht so fortschrittlich und mussten jedes Datenelement einzeln verarbeiten. Ähnlich verhält es sich, wenn Sie sich einen Film ansehen und Ihr Gehirn jede Szene einzeln verarbeiten müsste. Es würde viel Zeit in Anspruch nehmen, um Folgendes zu verstehen
die Handlung.

LSTM hilft dem System, die Daten lange Zeit zu tragen. Künstliche neuronale Netze funktionieren ebenfalls auf dieselbe Weise. Um das Konzept von LSTM zu verstehen, müssen Sie zunächst verstehen, was rekurrierende neuronale Netze sind und wie sie funktionieren.

Künstliche Neuronale Netze

Künstliche neuronale Netze sind ein künstliches Netz, das ähnliche Aktivitäten ausführt wie unser Gehirn. Das menschliche Gehirn und sein Prozess haben das Modell der künstlichen neuronalen Netze inspiriert. Wir haben Neuronen in unseren Gehirnen, die eine Verbindung herstellen und dabei helfen, die Botschaft und das Lernen zu übermitteln.

Das künstliche neuronale Netzwerk erfüllt die gleiche Funktion und hat die gleiche Natur wie die Netzwerke unseres Gehirns. Daten werden durch Eingabe in das Neuron übertragen, und die Daten werden nach der Verarbeitung als Ausgabe gesendet. Künstliche neuronale Netze helfen bei Aufgaben wie der Klassifizierung der Daten und der Erkennung des Musters.

Diese künstlichen Netze sind die Schichten verschiedener Neuroneneinheiten. Diese Einheiten bestehen aus drei Schichten. Eine Eingabeschicht empfängt die Daten, die verborgene Schicht verwendet Gewicht, um das Ergebnis zu berechnen, und dann wandert das Ergebnis durch die Ausgabeschicht auf die höhere Ebene des Neurons. Dieser Algorithmus unterstützt das System beim Lernprozess.

Wiederkehrende Neuronale Netzwerke

Das Konzept der rekurrenten neuronalen Netze besteht darin, der Abfolge der Informationen zu folgen. Bei der traditionellen Methode waren wir nicht in der Lage, verschiedene Inputs und Outputs gemeinsam zu betrachten. Selbst wenn die Informationen miteinander verbunden waren, betrachteten wir sie als ein Individuum. Daraus ergaben sich verschiedene Herausforderungen für viele Aufgaben. Es liegt auf der Hand, dass man das erste Wort kennen muss, um das nächste Wort vorherzusagen, da beide miteinander verbunden sind.
Der Grund dafür, dass dieses neuronale Netz immer wieder auftaucht, liegt darin, dass es dieselbe Aufgabe auf dieselbe Weise bearbeiten kann und die Daten in einer Reihenfolge hält. Die Ausgabe in rekurrenten neuronalen Netzen erfolgt entsprechend der vorherigen Berechnung. Sie können wiederkehrende neuronale Netze auch als einen Speicher betrachten, der Informationen darüber sammelt und speichert, was das System bisher berechnet hat. Ein System mit rekurrenten neuronalen Netzen kann auf einige Schritte zurückblicken, um frühere Informationen für aktuelle Erkenntnisse zu verwenden.

Langzeit-Kurzzeitgedächtnis (LSTM)

LSTM ist nützlich für tiefes maschinelles Lernen. Im LSTM finden Sie den Zusammenhang des Feedbacks. LSTM kann sowohl einzelne Daten als auch eine Sequenz, z.B. ein komplettes Video, verarbeiten. Diese Anwendung dient der Sprach- und Handschrifterkennung. Sie hilft bei der Vermeidung von Problemen im Zusammenhang mit langfristiger Abhängigkeit. Ihre häufigste Anwendung ist die Entwicklung des Lernprozesses bei großen Problemen.

Auch das Lang- und Kurzzeitgedächtnis ist ein wiederkehrendes neuronales Netz, aber es unterscheidet sich von anderen Netzen. Andere Netze wiederholen das Modul jedes Mal, wenn die Eingabe neue Informationen erhält. Das LSTM wird sich jedoch länger an das Problem erinnern und hat eine kettenartige Struktur, um das Modul zu wiederholen. Sie interagieren in einer speziellen Methode und enthalten vier neuronale Netzwerkschichten.

Der Arbeitsmechanismus der LSTM

Der Prozess des Datentransfers ist derselbe wie bei standardmäßigen wiederkehrenden neuronalen Netzen. Die Operation zur Propagierung der Informationen ist jedoch anders. Wenn die Informationen durchlaufen werden, entscheidet die Operation, welche Informationen weiter verarbeitet und welche Informationen sie loslassen soll. Die Hauptoperation besteht aus Zellen und Gates. Der Zellzustand fungiert als Pfad zur Übertragung der Information. Sie können Zellen als Speicher betrachten.

Im LSTM-Prozess gibt es verschiedene Gatter. Wenn der Zellzustand die Information trägt, helfen diese Gatter dem neuen Informationsfluss. Die Gatter zeigen an, welche Daten nützlich sind, um sie zu behalten, und welche Daten nicht nützlich sind, so dass es in Ordnung ist, sie zu werfen. So durchlaufen nur die relevanten Daten die Sequenzkette für eine einfache Vorhersage.

Sigmoid

Die Tore enthalten verschiedene Aktivierungen, die als Sigmoid bezeichnet werden und einige Werte enthalten. Diese Werte reichen von Null bis Eins. Diese Werte helfen dabei, die Information zu vergessen und zu behalten. Wenn die Daten mit Eins multipliziert werden, bleibt der Wert dieser Daten gleich. Wenn die Daten jedoch mit Null multipliziert werden, wird der Wert Null und verschwindet. Wir können mehr lernen, wenn wir diese Tore genau verstehen. Es gibt drei Arten von Gates:

Vergessene Gatter


Das erste Tor, das wir verstehen werden, ist das Vergessenstor. Die Funktion dieses Tores ist die Entscheidung, die Information zu behalten oder zu vergessen. Nur Informationen, die aus zuvor verborgenen Schichten und dem aktuellen Input stammen, bleiben bei der Sigmoid-Funktion. Jeder Wert, der näher bei eins liegt, bleibt, und jeder Wert, der näher bei null liegt, verschwindet.

Eingangstor


Das Eingabetor hilft bei der Aktualisierung des Zellenstatus. Die aktuelle Eingangs- und die vorherige Zustandsinformation durchlaufen die Sigmoidfunktion, die den Wert durch Multiplikation mit null und eins aktualisiert. In ähnlicher Weise durchlaufen die Daten zur Regelung des Netzwerks auch die tanh-Funktion. Nun wird die Ausgabe von sigmoid mit der Ausgabe von tanh multipliziert. Die Ausgabe von sigmoid wird wertvolle Informationen identifizieren, die von der tanh-Ausgabe ferngehalten werden müssen.

Zustand der Zelle


Die Informationen, die uns jetzt vorliegen, werden uns helfen, den Zellzustand zu berechnen. Der Wert des Zellzustands kann abfallen, wenn der multiplizierte Wert nach der Multiplikation des Vergessen-Vektors und des vorherigen Zellzustands nahe Null ist. Jetzt können wir den neuen Zellzustand finden, indem wir den Ausgang des Eingangstors punktweise addieren.

Ausgang Gate


Der nächste verborgene Zustand wird im Ausgabegatter definiert. Um die Informationen des verborgenen Zustands zu finden, müssen wir den Sigmoid-Ausgang mit dem Tanh-Ausgang multiplizieren. Sie können die folgenden Informationen aus einem verborgenen Zustand vorhersagen. Jetzt gehen der neue verborgene und der neue Zellzustand zum nächsten Schritt.

Schlussfolgerung

Jetzt wissen Sie, wie Informationen durch die rekursiven neuronalen Netze der LSTM fließen. Obwohl rekurrierende neuronale Netze ähnliche Aufgaben wie das menschliche Gehirn erfüllen, sind sie dennoch anders. Deshalb müssen Sie eine Vielzahl von Daten eingeben, damit das System richtig einen guten Lernprozess entwickeln kann.