Łańcuch Markowa to stochastyczny model przedstawiający zgrupowanie potencjalnych okazji, w którym prawdopodobieństwo każdej okazji zależy tylko od stanu osiągniętego w poprzednim wydarzeniu.

W hipotezie prawdopodobieństwa i dziedzinach pokrewnych, procedura Markowa, nazwana na cześć rosyjskiego matematyka Andrieja Markowa, jest procedurą stochastyczną, która spełnia właściwość Markowa (w niektórych przypadkach przedstawiana jako “bez pamięci”). Ogólnie rzecz biorąc, procedura wypełnia majątek Markowa w przypadku, gdy można uzależnić oczekiwania co do losów procedury od jej stanu obecnego, podobnie jak można by znać pełną historię procedury, odtąd swobodnie z takiej historii, to znaczy w zależności od aktualnej sytuacji z ramami, jej przyszłości, a państwa przeszłe są autonomiczne.

Łańcuch Markowa jest rodzajem procesu Markowa, który ma albo dyskretną przestrzeń stanu, albo dyskretny zapis (często mówiący w czasie), jednak dokładne znaczenie łańcucha Markowa jest różne. Na przykład, nie jest niespodziewanym scharakteryzowanie łańcucha Markowa jako procedury Markowa w czasie dyskretnym lub ciągłym z policzalną przestrzenią stanów (nie zwracając uwagi na pojęcie czasu), ale jest dodatkowo podstawowym scharakteryzowanie łańcucha Markowa jako posiadającego dyskretny czas w policzalnej lub stałej przestrzeni stanów (nie zwracając uwagi na przestrzeń stanów).

Markow rozważał formy Markowa w połowie XX wieku, a swój pierwszy artykuł na ten temat rozpowszechnił w 1906 roku. Losowe przechadzki zależne od liczb całkowitych i wydania rekina karcianego są przykładami procesów Markowa. Niektóre odmiany tych procedur były badane o wiele wcześniej w odniesieniu do zmiennych autonomicznych. Dwa znaczące przypadki form Markowa to procedura wiedeńska, inaczej nazywana procesem ruchu Browna, oraz proces Poissona, który w hipotezie procesów stochastycznych jest uważany za najważniejszy i najbardziej ogniskowy proces stochastyczny, i był wielokrotnie i swobodnie spotykany, zarówno w roku 1906, w różnych okolicznościach. Te dwie procedury to formy Markowa w stałym czasie, podczas gdy arbitralne spacery po liczbach całkowitych i kwestia ruiny spekulanta to przypadki form Markowa w dyskretnym czasie.

Łańcuchy Markowa mają wiele zastosowań jako wymierne modele procesów prawdziwego świata, na przykład, jeśli chodzi o ramy kontroli podróży w pojazdach silnikowych, liniach lub liniach klientów lądujących w terminalu lotniczym, pakiety handlowe standardów pieniężnych, ramy składowania, na przykład zapory, oraz rozwój populacji niektórych gatunków stworzeń. Obliczenia znane jako PageRank, które początkowo zaproponowano dla wyszukiwarki internetowej Google, zależą od procesu Markova.

Poniższa tabela przedstawia przegląd różnych przypadków procesów Markova dla różnych poziomów ogólności przestrzeni stanu i dla dyskretnego czasu v. czasu ciągłego:

Należy zwrócić uwagę, że nie ma pełnego zrozumienia w piśmie na temat wykorzystania części terminów, które sugerują nietypowe przypadki form Markowa. Zwykle wyrażenie “łańcuch Markowa” jest zapisywane dla procedury z dyskretnym układem czasowym, to znaczy dyskretnym łańcuchem Markowa (DTMC), jednak kilku twórców używa wyrażenia “proces Markowa”, aby bez jednoznacznej wzmianki nawiązać do nieskończonego łańcucha Markowa czasowego (CTMC). co więcej, istnieją różne rozszerzenia form Markowa, które są w tym charakterze przywoływane, ale tak naprawdę nie mieszczą się w żadnej z tych czterech klas (patrz model Markowa). Ponadto, rekord czasu nie musi być naprawdę doceniany; podobnie jak w przypadku przestrzeni stanu, istnieją możliwe procedury, które podróżują przez zestawy plików z innymi naukowymi opracowaniami. Zauważcie, że ogólna przestrzeń państwowa non stop czasu Markova jest ogólna w takim stopniu, że nie ma przypisanego terminu.

Podczas gdy parametr czasowy jest zwykle dyskretny, przestrzeń stanowa łańcucha Markova nie ma żadnych ograniczeń: termin ten może nawiązywać do procedury dotyczącej dyskrecjonalnej przestrzeni stanowej.[39] W każdym razie, liczne zastosowania łańcuchów Markova wykorzystują ograniczone lub licznie niekończące się przestrzenie stanowe, które mają stopniowo bezpośrednie, mierzalne badanie. Poza listą czasową i parametrami przestrzeni stanowej istnieje wiele różnych odmian, augmentacji i spekulacji (zob. Odmiany). Jeśli chodzi o prostolinijność, większa część tego artykułu skupia się na przypadku dyskretnego czasu, dyskretnej przestrzeni stanu, z wyjątkiem przypadków, w których odnosi się do nich odniesienie ogólne.

Prawdopodobieństwa związane z różnymi zmianami stanu nazywane są prawdopodobieństwami zmian. Procedura jest przedstawiana przez przestrzeń stanu, ramkę zmiany przedstawiającą prawdopodobieństwa określonych postępów oraz stan bazowy (lub początkowe rozproszenie) nad przestrzenią stanu. Pokazując, akceptujemy każdy możliwy stan, a zmiany zostały włączone do znaczenia procedury, a więc ciągle jest następny stan, a procedura się nie kończy.

Dyskretny nieregularny proces w czasie obejmuje system, który znajduje się w określonym stanie przy każdym przejściu, przy czym stan ten zmienia się arbitralnie pomiędzy krokami Środki są regularnie myślane jako minuty w czasie, ale mogą równie dobrze nawiązywać do fizycznej separacji lub innego dyskretnego oszacowania. Oficjalnie środki są liczbami całkowitymi lub normalnymi, a procedura arbitralna polega na ich mapowaniu do stanów. Własność Markova wyraża, że restrykcyjne rozproszenie prawdopodobieństwa dla ram na kolejnym etapie (a w rzeczywistości na wszystkich przyszłych zaliczkach) zależy tylko od obecnego stanu ram, a nie ponadto od stanu ram na wcześniejszych zaliczkach.

Ponieważ ramy prawne zmieniają się w sposób przypadkowy, zazwyczaj trudno jest przewidzieć z pewnością stan sieci Markov w danym momencie w przyszłości. Tak czy inaczej, można przewidzieć faktyczne właściwości ram prawnych w przyszłości. W wielu zastosowaniach to właśnie te mierzalne właściwości są istotne.

Znanym łańcuchem Markova jest rzekomy “chodzik pijaka”, arbitralny spacer po linii numerycznej, gdzie na każdym kroku pozycja może zmienić się o +1 lub -1 z równoważnym prawdopodobieństwem. Z każdej sytuacji istnieją dwie potencjalne zmiany, na poniższą lub przeszłą liczbę całkowitą. Prawdopodobieństwo postępu zależy tylko od aktualnej pozycji, a nie od sposobu, w jaki pozycja ta została osiągnięta. Na przykład prawdopodobieństwa postępu od 5 do 4 i od 5 do 6 wynoszą zarówno 0,5, jak i wszystkie inne prawdopodobieństwa zmiany od 5 wynoszą 0. Te prawdopodobieństwa są niezależne od tego, czy ramy były wcześniej w 4 czy 6.

Łańcuch dyskretnego czasu Markova

Łańcuch Markova dyskretnego czasu jest sekwencją zmiennych losowych X1, X2, X3, … z właściwością Markova, a mianowicie, że prawdopodobieństwo przejścia do następnego stanu zależy tylko od stanu obecnego, a nie od poprzednich stanów:

jeśli oba prawdopodobieństwa warunkowe są dobrze określone, to znaczy,

Możliwe wartości Xi tworzą liczalny zestaw S zwany przestrzenią stanu łańcucha.