Une chaîne de Markov est un modèle stochastique représentant un regroupement d’occasions potentielles dans lequel la probabilité de chaque occasion dépend uniquement de l’état atteint lors de l’événement passé.

Dans l’hypothèse de probabilité et les domaines connexes, une procédure de Markov, nommée d’après le mathématicien russe Andrey Markov, est une procédure stochastique qui remplit la propriété de Markov (dans certains cas décrite comme “sans mémoire”). En général, une procédure remplit la propriété Markov dans le cas où l’on peut faire des attentes quant au sort de la procédure dépend de son état actuel de la même manière que l’on pourrait connaître l’histoire complète de la procédure, désormais librement de cette histoire, c’est-à-dire en fonction de la situation actuelle avec le cadre, son avenir, et les états passés sont autonomes.

Une chaîne de Markov est une sorte de processus de Markov qui a soit un espace d’état discret, soit un ensemble d’enregistrements discrets (souvent en parlant du temps), cependant, la signification exacte d’une chaîne de Markov varie. Par exemple, il n’est pas inattendu de caractériser une chaîne de Markov comme une procédure de Markov en temps discret ou incessant avec un espace d’état dénombrable (d’où une faible prise en compte de l’idée de temps), mais il est en outre fondamental de caractériser une chaîne de Markov comme ayant un temps discret dans un espace d’état dénombrable ou cohérent (d’où une faible prise en compte de l’espace d’état).

Markov a envisagé les formes Markov au milieu du XXe siècle, en distribuant son premier document sur le sujet en 1906. Les promenades aléatoires dépendantes de nombres entiers et l’émission de la ruine du requin-carte sont des exemples de procédés Markov. Certaines variétés de ces procédés ont été examinées plusieurs années plus tôt en ce qui concerne les variables autonomes. Deux exemples significatifs de formes de Markov sont la procédure de Wiener, autrement appelée processus de mouvement brownien, et le processus de Poisson, qui est considéré comme la procédure stochastique la plus significative et la plus focalisée dans l’hypothèse des processus stochastiques, et qui a été retrouvé à maintes reprises et librement, tous deux en 1906, dans différents contextes. Ces deux procédures sont des formes de Markov en temps constant, tandis que les promenades arbitraires sur les nombres entiers et la question de la ruine du spéculateur sont des exemples de formes de Markov en temps discret.

Les chaînes de Markov ont de nombreuses applications en tant que modèles mesurables des processus du monde réel, par exemple, en considérant les cadres de contrôle des trajets dans les véhicules à moteur, les lignes ou les files d’attente des clients qui atterrissent dans un terminal aérien, les rythmes commerciaux des normes monétaires, les cadres de stockage, par exemple, les barrages, et les développements de la population de certaines espèces de créatures. Le calcul connu sous le nom de PageRank, qui a été initialement proposé pour l’outil de recherche sur le web Google, dépend d’un processus de Markov.

Le tableau suivant donne un aperçu des différentes instances des processus de Markov pour différents niveaux de généralité de l’espace d’état et pour le temps discret par rapport au temps continu :

Notez qu’il n’y a pas de compréhension complète dans l’écriture sur l’utilisation d’une partie des termes qui impliquent des cas peu communs de formulaires Markov. En général, l’expression “chaîne de Markov” est réservée à une procédure avec un arrangement discret des temps, c’est-à-dire une chaîne de Markov à temps discret (DTMC), cependant quelques créateurs utilisent l’expression “processus de Markov” pour faire allusion à une chaîne de Markov à temps continu (CTMC) sans mention non équivoque. qui plus est, il existe différentes extensions de formes de Markov auxquelles il est fait allusion à ce titre mais qui ne relèvent pas vraiment de l’une de ces quatre classes (voir modèle de Markov). En outre, il n’est pas nécessaire de vraiment estimer le temps passé ; comme dans l’espace étatique, il existe des procédures possibles qui voyagent dans des ensembles de fichiers avec d’autres développements scientifiques. Remarquez que le lien général entre l’espace d’état et le temps non stop de Markov est si général qu’il n’a pas de terme assigné.

Alors que le paramètre temporel est normalement discret, l’espace d’état d’une chaîne de Markov n’a pas de limites communément admises : le terme peut faire allusion à une procédure sur un espace d’état discrétionnaire[39]. Dans tous les cas, de nombreuses utilisations des chaînes de Markov utilisent des espaces d’état limités ou sans fin, qui ont un examen progressivement mesurable directement. Outre les paramètres de la liste temporelle et de l’espace d’état, il existe de nombreuses variétés, augmentations et spéculations différentes (voir Variétés). Dans un souci de simplicité, la majeure partie de cet article se concentre sur le cas du temps discret et de l’espace d’état discret, sauf s’il est référencé de manière générale.

Les progressions de l’état du cadre sont appelées transitions[1]. Les probabilités liées aux différents changements d’état sont appelées probabilités de changement. La procédure est représentée par un espace d’état, un cadre de changement décrivant les probabilités d’avancées spécifiques, et un état sous-jacent (ou début de dispersion) sur l’espace d’état. En montrant, nous acceptons tous les états imaginables et les changements ont été incorporés dans le sens de la procédure, de sorte qu’il y a constamment l’état suivant, et que la procédure ne se termine pas.

Un processus irrégulier à temps discret comprend un système qui se trouve dans un état spécifique à chaque progression, l’état changeant arbitrairement entre les étapes. Les moyens sont régulièrement considérés comme des minutes dans le temps, mais ils peuvent tout aussi bien faire allusion à une séparation physique ou à une autre estimation discrète. Officiellement, les moyens sont des nombres entiers ou des nombres normaux, et la procédure arbitraire est une mise en correspondance de ceux-ci avec des états. La propriété de Markov exprime que la dispersion de probabilité restrictive pour le cadre à l’étape suivante (et en réalité à toutes les avancées futures) dépend uniquement de l’état actuel du cadre, et non de plus de l’état du cadre aux avancées passées.

Comme le cadre change au hasard, il est généralement difficile d’anticiper avec certitude l’état d’une chaîne de Markov à un moment donné dans le futur. Quoi qu’il en soit, il est possible de prévoir les propriétés factuelles de l’avenir du cadre. Dans de nombreuses applications, ce sont ces propriétés mesurables qui sont importantes.

Une chaîne de Markov bien connue est la soi-disant “marche de l’ivrogne”, une promenade arbitraire sur la ligne des nombres où, à chaque pas, la position peut changer de +1 ou -1 avec une probabilité équivalente. Dans toute situation, il y a deux changements possibles, vers le nombre entier suivant ou passé. Les probabilités de progression dépendent uniquement de la position actuelle, et non de la manière dont la position a été atteinte. Par exemple, les probabilités de progression de 5 à 4 et de 5 à 6 sont toutes deux de 0,5, et toutes les autres probabilités de changement à partir de 5 sont de 0. Ces probabilités sont indépendantes du fait que le cadre était auparavant en 4 ou 6.

Chaîne de Markov à temps discret

Une chaîne de Markov à temps discret est une séquence de variables aléatoires X1, X2, X3, … avec la propriété de Markov, à savoir que la probabilité de passer à l’état suivant dépend uniquement de l’état actuel et non des états précédents :

si les deux probabilités conditionnelles sont bien définies, c’est-à-dire

Les valeurs possibles de Xi forment un ensemble dénombrable S appelé espace d’état de la chaîne