Pomyśl o tym, kiedy słuchamy jakiejś historii lub ktoś się z nami komunikuje. Czy rozważamy każde ich słowo indywidualnie i przetwarzamy każde wypowiadane przez nich słowo, czy też łączymy jedno słowo z drugim i tak dalej, aby zrozumieć ich rozmowę? Załóżmy, że nasz mózg zadziałał w taki sposób, że przetwarza każde pojedyncze słowo z osobna. Byłoby bardzo trudno zrozumieć siebie nawzajem. Jednak tradycyjne, sztuczne sieci nie były tak zaawansowane i musiały przetwarzać każdy element danych indywidualnie. Podobnie, załóżmy, że oglądasz film, a twój umysł musiał przetwarzać każdą scenę indywidualnie. Zrozumienie każdej sceny z osobna zajęłoby dużo czasu.
fabułę.
LSTM pomaga systemowi w przenoszeniu danych przez długi czas. Sztuczne sieci neuronowe również działają w ten sam sposób. Aby zrozumieć koncepcję LSTM, należy najpierw zrozumieć czym są i jak działają rekurencyjne sieci neuronowe.
Sztuczne sieci neuronowe
Sztuczne sieci neuronowe to sztuczne sieci, które wykonują czynności podobne do naszych mózgów. Ludzki mózg i jego proces zainspirowały model sztucznych sieci neuronowych. Mamy w naszym mózgu neurony, które łączą i pomagają w przekazywaniu wiadomości i uczeniu się.
Sztuczna sieć neuronowa pełni tę samą funkcję i ma tę samą naturę co sieci naszego mózgu. Dane są przekazywane do neuronu poprzez wejście, a po przetworzeniu są wysyłane jako dane wyjściowe. Sztuczne sieci neuronowe pomagają wykonywać zadania takie jak klasyfikacja danych i rozpoznawanie wzorca.
Te sztuczne sieci są warstwami różnych jednostek neuronowych. Jednostki te składają się z trzech warstw. Wejście odbiera dane, warstwa ukryta używa wagi do obliczenia wyniku, a następnie wynik przenosi się na wyższy poziom neuronu przez warstwę wyjściową. Ten algorytm pomaga systemowi w procesie uczenia się.
Współczesne sieci neuronowe
Koncepcja rekurencyjnych sieci neuronowych ma podążać za sekwencją informacji. W metodzie tradycyjnej nie byliśmy w stanie uwzględnić łącznie różnych wejść i wyjść. Nawet jeśli informacja była połączona, uważaliśmy ją za jednostkę. Stwarzało to różne wyzwania dla wielu zadań. Jest oczywiste, że trzeba znać pierwsze słowo, aby przewidzieć następne, ponieważ oba są ze sobą połączone.
Powód, dla którego ta sieć neuronowa jest powtarzalna, ponieważ może przetwarzać to samo zadanie w ten sam sposób, utrzymując dane w sekwencji. Dane wyjściowe w rekurencyjnych sieciach neuronowych są zgodne z poprzednimi obliczeniami. Możesz również uznać rekurencyjne sieci neuronowe za pamięć, która gromadzi i przechowuje informacje o tym, co system obliczył do tej pory. System rekurencyjnych sieci neuronowych może spojrzeć wstecz na kilka kroków, aby wykorzystać poprzednie informacje do bieżących wyników.
Długoterminowa pamięć krótkoterminowa (LSTM)
LSTM jest przydatny do głębokiej nauki maszynowej. W LSTM znajdziesz połączenie sprzężenia zwrotnego. LSTM może przetwarzać pojedyncze dane, jak również sekwencję, np. kompletny film wideo. Aplikacja ta jest przeznaczona do rozpoznawania mowy i rozpoznawania pisma odręcznego. Pomaga ona uniknąć problemów związanych z długotrwałym uzależnieniem. Ich najczęstszym zastosowaniem jest rozwijanie procesu uczenia się ogromnych problemów.
Pamięć długo- i krótkoterminowa jest również nawracającą siecią neuronową, ale różni się od innych sieci. Inne sieci powtarzają moduł za każdym razem, gdy wejście otrzymuje nowe informacje. Jednak LSTM pamięta problem przez dłuższy czas i ma strukturę łańcuchową do powtarzania modułu. Współdziałają one w specjalnej metodzie i zawierają cztery warstwy sieci neuronowej.
Mechanizm działania LSTM (Working Mechanism of LSTM)
Proces transferu danych jest taki sam jak w przypadku standardowych rekurencyjnych sieci neuronowych. Jednak operacja rozmnażania informacji jest inna. Kiedy informacje przechodzą, operacja decyduje, które informacje dalej przetwarzać, a które powinny zostać zwolnione. Główna operacja składa się z komórek i bramek. Stan komórki działa jako ścieżka do przekazania informacji. Komórki można uznać za pamięć.
W procesie LSTM istnieją różne bramki. Kiedy stan komórki przenosi informacje, bramki te pomagają w przepływie nowych informacji. Bramki będą wskazywać, które dane są przydatne do przechowywania, a które nie, dzięki czemu można je rzucać. Tak więc tylko istotne dane przechodzą przez łańcuch sekwencji dla łatwego przewidywania.
Sigmoid
Bramki zawierają różne aktywacje zwane esicą, które zawierają pewne wartości. Wartości te wahają się od zera do jednego. Wartości te pomagają w zapomnieniu i zatrzymaniu informacji. Jeżeli dane te zostaną pomnożone przez jeden, to wartość tych danych pozostanie taka sama. Jeżeli jednak dane pomnożą się przez zero, to wartość ta staje się zerem i znika. Możemy dowiedzieć się więcej, jeśli dokładnie zrozumiemy te bramki. Istnieją trzy rodzaje bramek:
Zapomnij o bramie.
Pierwszą bramą, którą zrozumiemy, jest brama zapomnienia. Funkcją tej bramki jest podjęcie decyzji o zatrzymaniu lub zapomnieniu informacji. Tylko informacje pochodzące z wcześniej ukrytych warstw i bieżącego wejścia pozostają przy funkcji sigmoid. Każda wartość bliższa jedności pozostanie, a każda wartość bliższa zeru zniknie.
Brama wejściowa (Input Gate)
Bramka wejściowa pomaga w aktualizacji stanu komórki. Informacje o bieżącym wejściu i poprzednim stanie przechodzą przez funkcję sygmoida, która zaktualizuje wartość mnożąc ją przez zero i jeden. Podobnie, w przypadku regulacji sieci, dane również przechodzą przez funkcję tanh. Teraz, wyjście sigmoidy mnoży się przez wyjście tanh. Dane wyjściowe sygmoidy zidentyfikują cenne informacje, które należy zachować z danych wyjściowych tanh.
Stan komórki
Teraz, informacje, które mamy pomogą nam obliczyć stan komórki. Wartość stanu komórki może spaść, jeśli pomnożona wartość jest bliska zeru po pomnożeniu wektora zapomnienia i poprzedniego stanu komórki. Teraz możemy znaleźć nowy stan komórki dodając wyjście bramki wejściowej punktowo.
Bramka wyjściowa
Następny ukryty stan jest definiowany w bramce wyjściowej. Aby znaleźć informacje o ukrytym stanie musimy pomnożyć wyjście sigmoidy z wyjściem tanh. Z ukrytego stanu można przewidzieć następujące informacje. Teraz, nowy ukryty i nowy stan komórki przejdzie do następnego kroku.
Wniosek
Teraz wiesz, jak informacje przemieszczają się przez rekurencyjne sieci neuronowe LSTM. Podczas gdy rekurencyjne sieci neuronowe wykonują zadania podobne do ludzkich mózgów, są one wciąż inne. Dlatego też musisz wprowadzić szeroki zakres danych, aby system mógł prawidłowo opracować dobry proces uczenia się.