Was ist der EM-Algorithmus?

Der Expectation-Maximization (EM)-Algorithmus ist ein Ansatz, um extremste Wahrscheinlichkeitsmaxima für Modellparameter zu entdecken, wenn Ihre Informationen unzureichend sind, fehlende Informationsschwerpunkte haben oder im Verborgenen (verdeckte) Leerlauffaktoren aufweisen. Es ist eine iterative Methode zur Ungenauigkeit der extremsten Wahrscheinlichkeitsarbeit. Während die Schätzung der extremsten Wahrscheinlichkeit das “bestgeeignete” Modell für eine Menge von Informationen finden kann, funktioniert sie nicht besonders gut für unzulängliche Informationsindizes. Die verwirrendere EM-Berechnung kann Modellparameter entdecken, unabhängig davon, ob Sie fehlende Informationen haben. Sie funktioniert, indem sie willkürliche Qualitäten für die fehlenden Informationsschwerpunkte herauspickt und diese Vermutungen nutzt, um die zweite Anordnung von Informationen zu bewerten. Die neuen Qualitäten werden genutzt, um eine übergeordnete Vermutung für die primäre Menge zu erstellen, und das Verfahren wird so lange fortgesetzt, bis die Berechnung an einem festen Punkt zusammenläuft.

MLE versus EM

Obwohl sowohl die Extreme Probability Estimation (MLE) als auch das EM “Best-Fit”-Parameter entdecken können, so sind die Modelle doch völlig unterschiedlich. Die MLE aggregiert zuerst und danach die Gesamtheit der Informationen und nutzt diese Informationen, um das zweifelsfreie Modell zu entwickeln. EM spekuliert zuerst auf die Parameter, die die fehlenden Informationen repräsentieren, und ändert dann das Modell, um es an die Vermutungen und die beobachteten Informationen anzupassen. Die grundlegenden Schritte für die Berechnung sind:

Es wird eine zugrunde liegende Theorie für die Parameter des Modells aufgestellt und eine Wahrscheinlichkeitsübertragung vorgenommen. Dies wird hin und wieder als “E-Venture” für die “normale” Übertragung bezeichnet.

Kürzlich beobachtete Informationen werden in das Modell eingearbeitet.

Die Wahrscheinlichkeitsübermittlung aus dem E-Schritt wird geändert, um die neuen Informationen einzubeziehen. Dies wird hier und da als “M-Schritt” bezeichnet.

Die Stufen 2 bis 4 werden aufbereitet, bis die Festigkeit (z.B. eine Zirkulation, die sich nicht von der E-Stufe in die M-Stufe umwandelt) erreicht ist.

Die EM-Berechnung verbessert die Schätzung eines Parameters durch diesen mehrstufigen Prozess kontinuierlich. In jedem Fall braucht es in einigen Fällen ein paar Unregelmäßigkeiten, um das beste Modell zu finden, da sich die Berechnung auf ein Nachbarschaftsmaximum konzentrieren kann, das nicht so nahe an den (idealen) weltweiten Maxima liegt. Am Ende des Tages kann es besser abschneiden, wenn man es auf die unwahrscheinliche Möglichkeit hin beschränkt, dass man es zu einem Neustart zwingt und diese “zugrunde liegende Annahme” aus Stufe 1 wieder aufgreift. Aus der Gesamtheit der möglichen Parameter könnten Sie dann denjenigen mit der extremsten Wahrscheinlichkeit auswählen.

Tatsächlich umfassen die Mittel einige wirklich substantielle mathematische (Versöhnungs-) und restriktive Wahrscheinlichkeiten, was über den Umfang dieses Artikels hinausgeht. Für den Fall, dass Sie eine nach und nach spezialisierte (z.B. auf Mathematik basierende) Aufschlüsselung des Verfahrens benötigen, empfehle ich Ihnen zutiefst, das Papier von Gupta und Chen aus dem Jahr 2010 zu lesen.

Bewerbungen

Die EM-Berechnung hat zahlreiche Anwendungen, darunter

Enträtselndes überlagerndes Zeichen,

Evaluierung von Gaußschen Mischungsmodellen (GMMs),

Evaluierung verdeckter Markov-Modelle (Gee),

Evaluierung von Parametern für zusammengesetzte Dirichlet-Förderungen,

Suche nach idealen Mischungen von festen Modellen.

Einschränkungen

Die EM-Berechnung kann unglaublich langsam sein, selbst auf dem schnellsten PC. Sie funktioniert am besten, wenn Sie nur ein kleines Maß an fehlenden Informationen haben und die Dimensionalität der Informationen nicht zu enorm ist. Je höher die Dimensionalität, desto langsamer ist der E-Schritt; bei Informationen mit größerer Dimensionalität können Sie feststellen, dass der E-Schritt unglaublich verzögert abläuft, wenn sich das System auf das naheliegendste Extrem zubewegt.