Eine Markov-Kette ist ein stochastisches Modell, das eine Gruppierung potenzieller Gelegenheiten darstellt, bei der die Wahrscheinlichkeit jeder Gelegenheit nur von dem im vergangenen Ereignis erreichten Zustand abhängt.

Bei der Wahrscheinlichkeitshypothese und verwandten Gebieten ist ein Markov-Verfahren, benannt nach dem russischen Mathematiker Andrej Markov, ein stochastisches Verfahren, das die Markov-Eigenschaft erfüllt (in einigen Fällen als “Erinnerungslosigkeit” dargestellt). Im Allgemeinen erfüllt ein Verfahren die Markov-Eigenschaft für den Fall, dass man Erwartungen für das Schicksal des Verfahrens von seinem gegenwärtigen Zustand abhängig machen kann, ähnlich wie man die vollständige Geschichte des Verfahrens kennen könnte, fortan frei von einer solchen Geschichte, d.h. abhängig von der gegenwärtigen Situation mit dem Rahmenwerk, sind seine zukünftigen und vergangenen Zustände autonom.

Eine Markov-Kette ist eine Art Markov-Prozess, der entweder einen diskreten Zustandsraum oder einen diskreten Recordset (häufig in Bezug auf die Zeit) hat, wobei die genaue Bedeutung einer Markov-Kette jedoch variiert. Beispielsweise ist es nicht unerwartet, eine Markov-Kette als Markov-Prozedur in entweder diskreter oder ununterbrochener Zeit mit einem zählbaren Zustandsraum zu charakterisieren (und damit dem Gedanken der Zeit wenig Beachtung zu schenken), doch ist es zusätzlich grundlegend, eine Markov-Kette als Kette mit diskreter Zeit entweder im zählbaren oder im konsistenten Zustandsraum zu charakterisieren (und dementsprechend wenig auf den Zustandsraum zu achten).

Markov beschäftigte sich Mitte des zwanzigsten Jahrhunderts mit Markov-Formen und verbreitete 1906 seinen ersten Aufsatz zu diesem Thema. Zufällige, von ganzen Zahlen abhängige Spaziergänge und die Ruinenfrage des Kartenhais sind Beispiele für Markovs Verfahren. Einige Varianten dieser Verfahren wurden bereits viele Jahre früher im Hinblick auf autonome Variablen untersucht. Zwei signifikante Beispiele für Markov-Formen sind das Wiener Verfahren, auch Brownscher Bewegungsprozess genannt, und der Poisson-Prozess, der als das bedeutendste und zentralste stochastische Verfahren in der Hypothese der stochastischen Prozesse angesehen wird und immer wieder und frei, beide im Jahr 1906, in verschiedenen Umgebungen gefunden wurde. Diese beiden Verfahren sind Markov-Formen in konstanter Zeit, während willkürliche Spaziergänge über die ganzen Zahlen und die Ruinfrage des Spekulanten Instanzen von Markov-Formen in diskreter Zeit sind.

Markov-Ketten haben zahlreiche Anwendungen als messbare Modelle von Prozessen in der realen Welt, z.B. die Berücksichtigung von Fahrtkontrollrahmen in Motorfahrzeugen, Linien oder Kundenschlangen, die an einem Flughafenterminal landen, Handelsgeschwindigkeiten von monetären Standards, Lagerhaltungsrahmen, z.B. Dämme, und Bevölkerungsentwicklungen bestimmter Lebewesenarten. Die als PageRank bekannte Berechnung, die ursprünglich für das Web-Suchtool Google vorgeschlagen wurde, hängt von einem Markov-Verfahren ab.

Die folgende Tabelle gibt einen Überblick über die verschiedenen Instanzen von Markov-Prozessen für verschiedene Ebenen der Zustandsraumgeneralität und für diskrete Zeit vs. kontinuierliche Zeit:

Beachten Sie, dass es in dem Schreiben kein vollständiges Verständnis über die Verwendung eines Teils der Begriffe gibt, die ungewöhnliche Fälle von Markov-Formen implizieren. Typischerweise wird der Ausdruck “Markov-Kette” für ein Verfahren mit einer zeitdiskreten Anordnung gespeichert, d.h. eine zeitdiskrete Markov-Kette (DTMC), jedoch verwenden einige Schöpfer den Ausdruck “Markov-Prozess”, um auf eine ununterbrochene zeitliche Markov-Kette (CTMC) ohne eindeutige Erwähnung hinzuweisen. Darüber hinaus gibt es verschiedene Erweiterungen von Markov-Formen, auf die in dieser Eigenschaft angespielt wird, die aber nicht wirklich in eine dieser vier Klassen fallen (siehe Markov-Modell). Darüber hinaus muss die Zeitaufzeichnung nicht wirklich geschätzt werden; wie beim Zustandsraum gibt es mögliche Verfahren, die mit anderen wissenschaftlichen Entwicklungen durch Dateisätze reisen. Beachten Sie, dass die allgemeine Zustands-Raum-Nonstop-Zeit-Markov-Bindung so allgemein ist, dass sie keinen zugewiesenen Begriff hat.

Während der Zeitparameter in der Regel diskret ist, werden dem Zustandsraum einer Markov-Kette üblicherweise keine Einschränkungen zugestanden: Der Begriff kann auf ein Verfahren auf einem diskretionären Zustandsraum anspielen.[39] In jedem Fall verwenden zahlreiche Verwendungen von Markov-Ketten begrenzte oder zählbar unendliche Zustandsräume, die eine schrittweise direkt messbare Untersuchung haben. Abgesehen von den Parametern Zeitliste und Zustandsraum gibt es zahlreiche verschiedene Varianten, Erweiterungen und Spekulationen (siehe Varianten). Der Einfachheit halber konzentriert sich der größte Teil dieses Artikels auf den zeitdiskreten, diskreten Zustandsraum-Fall, es sei denn, es wird allgemein darauf Bezug genommen.

Die Progressionen des Zustands des Rahmens werden als Übergänge bezeichnet.[1] Die Wahrscheinlichkeiten, die sich auf verschiedene Zustandsänderungen beziehen, werden Änderungswahrscheinlichkeiten genannt. Das Verfahren wird durch einen Zustandsraum, ein Änderungsgerüst, das die Wahrscheinlichkeiten bestimmter Fortschritte darstellt, und einen zugrunde liegenden Zustand (oder beginnende Streuung) über den Zustandsraum dargestellt. Durch die Darstellung akzeptieren wir jeden denkbaren Zustand, und die Änderungen sind in die Bedeutung des Verfahrens eingeflossen, so dass es ständig den nächsten Zustand gibt und das Verfahren nicht endet.

Ein zeitdiskreter, unregelmäßiger Prozess umfasst ein System, das sich bei jeder Progression in einem bestimmten Zustand befindet, wobei der Zustand zwischen den einzelnen Schritten willkürlich wechselt. Die Mittel werden regelmäßig als Minuten in der Zeit gedacht, können jedoch in ähnlicher Weise gut auf physische Trennung oder eine andere diskrete Schätzung anspielen. Offiziell sind die Mittelwerte die ganzen Zahlen oder normale Zahlen, und das willkürliche Verfahren ist eine Abbildung dieser Zahlen auf Zustände. Die Markov-Eigenschaft drückt aus, dass die restriktive Wahrscheinlichkeitsverteilung für den Rahmen in der späteren Phase (und in Wirklichkeit bei allen zukünftigen Fortschritten) nur vom gegenwärtigen Zustand des Rahmens abhängt und nicht darüber hinaus vom Zustand des Rahmens bei vergangenen Fortschritten.

Da sich die Rahmenbedingungen willkürlich ändern, ist es im Allgemeinen schwierig, den Zustand einer Markov-Kette zu einem bestimmten Zeitpunkt in der Zukunft mit Sicherheit vorauszusehen. Wie dem auch sei, die faktischen Eigenschaften der Zukunft des Rahmens lassen sich jedoch vorhersagen. In zahlreichen Anwendungen sind es diese messbaren Eigenschaften, die von Bedeutung sind.

Eine bekannte Markov-Kette ist der angebliche “Säufergang”, ein willkürlicher Spaziergang auf der Zahlenreihe, bei dem sich die Position bei jedem Schritt mit gleicher Wahrscheinlichkeit um +1 oder -1 ändern kann. Von jeder Situation aus gibt es zwei mögliche Veränderungen zur folgenden oder vergangenen ganzen Zahl. Die Fortschrittswahrscheinlichkeiten hängen nur von der gegenwärtigen Position ab, nicht von der Art und Weise, in der die Position erreicht wurde. Zum Beispiel sind die Fortschrittswahrscheinlichkeiten von 5 bis 4 und 5 bis 6 beide 0,5, und alle anderen Änderungswahrscheinlichkeiten von 5 sind 0. Diese Wahrscheinlichkeiten sind unabhängig davon, ob der Rahmen vorher in 4 oder 6 war.

Zeitdiskrete Markov-Kette

Eine zeitdiskrete Markov-Kette ist eine Folge von Zufallsvariablen X1, X2, X3, … mit der Markov-Eigenschaft, nämlich dass die Wahrscheinlichkeit, zum nächsten Zustand überzugehen, nur vom aktuellen Zustand und nicht von den vorherigen Zuständen abhängt:

wenn beide bedingten Wahrscheinlichkeiten gut definiert sind, das heißt,

Die möglichen Werte von Xi bilden eine zählbare Menge S, die als Zustandsraum der Kette bezeichnet wird.