Een Markov-keten is een stochastisch model dat een groepering van potentiële gelegenheden voorstelt waarbij de waarschijnlijkheid van elke gelegenheid alleen afhangt van de toestand die in het verleden is bereikt.

In waarschijnlijkheidshypothese en verwante velden is een Markov-procedure, genoemd naar de Russische wiskundige Andrey Markov, een stochastische procedure die voldoet aan de Markov-eigenschap (in sommige gevallen afgeschilderd als “geheugenloosheid”). Over het algemeen voldoet een procedure aan de eigenschap van Markov in het geval dat men verwachtingen kan scheppen over het lot van de procedure, net zoals men de volledige geschiedenis van de procedure zou kunnen kennen, voortaan vrij van deze geschiedenis, dat wil zeggen, afhankelijk van de huidige situatie met het kader, de toekomst, en de vroegere staten zijn autonoom.

Een Markov-keten is een soort Markov-proces dat ofwel een discrete toestandsruimte ofwel een discrete recordset (vaak in de tijd) heeft, maar de precieze betekenis van een Markov-keten varieert. Het is bijvoorbeeld niet onverwacht om een Markov keten te karakteriseren als een Markov procedure in ofwel discrete ofwel onophoudelijke tijd met een telbare toestandsruimte (vandaar dat er weinig rekening wordt gehouden met het idee van tijd), maar het is aanvullend basaal om een Markov keten te karakteriseren als een keten met discrete tijd in ofwel telbare ofwel consistente toestandsruimte (en dus weinig aandacht te besteden aan de toestandsruimte).

Markov overwoog in het midden van de twintigste eeuw Markov-vormen te maken en verspreidde zijn eerste paper over dit onderwerp in 1906. Willekeurige wandelingen die afhankelijk zijn van hele getallen en de ruïne van de kaart haai zijn voorbeelden van Markov processen. Sommige varianten van deze procedures werden vele jaren eerder onderzocht op autonome variabelen. Twee belangrijke voorbeelden van Markov-vormen zijn de Wiener-procedure, ook wel het Brownian-bewegingsproces genoemd, en het Poisson-proces, dat in de hypothese van stochastische processen als de meest significante en centrale stochastische procedures wordt beschouwd en dat in 1906 in verschillende settings steeds opnieuw en vrijelijk werd aangetroffen. Deze twee procedures zijn Markov-vormen in constante tijd, terwijl willekeurige wandelingen over de hele getallen en de ruïnekwestie van de speculant voorbeelden zijn van Markov-vormen in discrete tijd.

Markov-ketens hebben talrijke toepassingen als meetbare modellen van echte wereldprocessen, bijvoorbeeld het overwegen van reisbesturingsframes in motorvoertuigen, lijnen of lijnen van klanten die op een luchthaventerminal landen, handelstypes van monetaire normen, voorraadframes, bijvoorbeeld, dammen, en bevolkingsontwikkelingen van bepaalde schepselsoorten. De berekening die bekend staat als PageRank, die in eerste instantie werd voorgesteld voor de webzoektool Google, is afhankelijk van een Markov-proces.

De volgende tabel geeft een overzicht van de verschillende instanties van Markov-processen voor verschillende niveaus van toestandsruimte algemeenheid en voor discrete tijd v. continue tijd:

Merk op dat er geen volledig begrip is in het schrijven over het gebruik van een deel van de termen die ongewone gevallen van Markov-formulieren impliceren. Typisch wordt de uitdrukking “Markov-keten” opgeslagen voor een procedure met een discrete tijdsindeling, dat wil zeggen een discrete-tijd Markov-keten (DTMC), maar een paar makers gebruiken de uitdrukking “Markov-proces” om te verwijzen naar een onophoudelijke tijd Markov-keten (CTMC) zonder ondubbelzinnige vermelding. bovendien zijn er verschillende uitbreidingen van Markov-vormen waarop in die hoedanigheid wordt gezinspeeld, maar die niet echt binnen een van deze vier klassen vallen (zie Markov-model). Bovendien hoeft het tijdrecord niet echt gewaardeerd te worden; net als bij de toestandsruimte zijn er mogelijke procedures die met andere wetenschappelijke ontwikkelingen door bestandssets reizen. Merk op dat de algemene toestandsruimte non-stop tijd die Markov aanhoudt zo algemeen is, dat er geen toegewezen term aan is toegekend.

Hoewel de tijdsparameter normaal gesproken discreet is, heeft de toestandsruimte van een Markov-keten geen algemene beperkingen: de term kan verwijzen naar een procedure op een discretionaire toestandsruimte.[39] In elk geval maken talrijke toepassingen van Markov-ketens gebruik van beperkte of telbaar oneindige toestandsruimten, die een progressief direct meetbaar onderzoek hebben. Behalve de tijdlijst en toestandsruimte-parameters zijn er talrijke verschillende variëteiten, augmentaties en speculaties (zie Rassen). Voor rechtlijnigheid, het grootste deel van dit artikel richt zich op het geval van de discrete-tijd, discrete toestandsruimte, behalve als er in het algemeen naar wordt verwezen.

De progressies van de toestand van het raamwerk worden transities genoemd.[1] De waarschijnlijkheden met betrekking tot verschillende toestandsveranderingen worden veranderingswaarschijnlijkheden genoemd. De procedure wordt weergegeven door een toestandsruimte, een veranderingsraamwerk dat de waarschijnlijkheden van specifieke vorderingen weergeeft, en een onderliggende toestand (of beginnende spreiding) over de toestandsruimte. Door te laten zien, accepteren we elke denkbare toestand en veranderingen zijn opgenomen in de betekenis van de procedure, zodat er voortdurend de volgende toestand is, en de procedure niet eindigt.

Een discreet-tijd onregelmatig proces omvat een systeem dat in een specifieke staat is bij elke progressie, waarbij de staat willekeurig verandert tussen de stappen De middelen worden regelmatig beschouwd als minuten in de tijd, maar ze kunnen net zo goed verwijzen naar fysieke scheiding of een andere discrete schatting. Officieel zijn de middelen de gehele getallen of normale getallen, en de willekeurige procedure is het in kaart brengen van deze toestanden. De eigenschap van Markov geeft aan dat de restrictieve waarschijnlijkheidsspreiding voor het kader in het volgende stadium (en in werkelijkheid bij alle toekomstige vorderingen) alleen afhangt van de huidige toestand van het kader, en niet bovendien van de toestand van het kader bij vroegere vorderingen.

Aangezien de kaderregeling lukraak verandert, is het doorgaans moeilijk om met zekerheid te anticiperen op de toestand van een Markov-keten op een bepaald moment in de toekomst. Hoe dan ook, de feitelijke eigenschappen van de toekomst van het raamwerk kunnen worden voorspeld. In tal van toepassingen zijn het deze meetbare eigenschappen die significant zijn.

Een bekende Markov-keten is de vermeende “boozer’s walk”, een willekeurige wandeling op de nummerlijn waarbij bij elke stap de positie met dezelfde waarschijnlijkheid met +1 of -1 kan veranderen. Vanuit elke situatie zijn er twee mogelijke veranderingen, naar het volgende of vorige hele getal. De voortgangskansen zijn alleen afhankelijk van de huidige positie, niet van de manier waarop de positie tot stand is gekomen. Zo zijn de vooruitgangskansen van 5 tot 4 en 5 tot 6 beide 0,5, en alle andere veranderingskansen van 5 zijn 0. Deze kansen staan los van de vraag of het kader vooraf in 4 of 6 was.

Discrete-tijd Markov-keten

Een discrete-tijd Markov-keten is een reeks willekeurige variabelen X1, X2, X3, … met de eigenschap Markov, namelijk dat de waarschijnlijkheid om naar de volgende toestand te gaan alleen afhangt van de huidige toestand en niet van de vorige toestanden:

als beide voorwaardelijke kansen goed gedefinieerd zijn, dat wil zeggen,

De mogelijke waarden van Xi vormen een telbare set S die de toestandsruimte van de keten wordt genoemd.