ChronoMath, une chronologie des MATHÉMATIQUES
à l'usage des professeurs de mathématiques, des étudiants et des élèves des lycées & collèges
 MARKOV Andreï
Andreïevitch,
russe, 1856-1922 |
On doit à cet élève de
Tchebychev
à l'université de Saint-Pétersbourg où il fut lui-même nommé (1886),
de très importants travaux en calcul des probabilités
et en théorie du potentiel.
Féru en théorie des nombres, sous la houlette de Tchebychev, Markov crée l'analyse "markovienne", dans le cadre de la macrolinguistique, qui a permis de grands progrès dans le cryptage à vocation militaire (messages codés) mais aussi dans l'analyse de documents anciens dégradés dans le but de retrouver des textes partiellement effacés.
Markov se spécialisera en calcul des probabilités dans les années 1910. Son fils Andreï Andreïevitch junior fut également un mathématicien reconnu.
| Inégalité de Markov : |
Si X est une variable aléatoire réelle discrète à valeurs dans R+, alors Pr(X ≥ a) ≤ E(X)/a où E(X) désigne l'espérance mathématique de X.
Plus généralement, lorsque X est une variable aléatoire numérique et φ : R+→ R+une application croissante strictement positive, alors pour tout a > 0 :
Pr(
|X| ≥ a) ≤ E(φ(X))/φ(a)∗∗∗
Montrer, par un changement judicieux de la variable
aléatoire et un choix non moins judicieux de φ que
l'inégalité de Bienaymé-Tchebychev
est un cas particulier de l'inégalité de
Markov
| Processus stochastique, chaînes & processus de Markov : |
Un processus aléatoire
ou
stochastique (du grec
stokhastikos = divinatoire,
pour signifier : dépendant du hasard, fruit du
hasard) est une famille de variables
aléatoires t
→
Xt définies sur un même espace
probabilisé et à valeurs dans le même ensemble (appelé espace des états),
t désignant généralement le temps.
➔ Rappelons au passage que le fameux hasard vient de l'arabe ez zahr signifiant le dé (à jouer).
En simplifiant à l'extrême, on parle de processus de Markov lorsqu'à chaque instant, l'état ultérieur du processus ne dépend que de son état présent : c'est en quelque sorte un processus sans mémoire.
Dans le cas dénombrable, considérons un système pouvant prendre un certain nombre fini ou non d'états possibles (Xi)n=o,1,2,... observés à des instants énumérés dans le temps t = 0, 1, 2, ..., k, ... : on parle de chaîne.
Soit pi,j(k) la probabilité conditionnelle de trouver le système à l'état Xj à l'instant t = k + 1 sachant qu'à l'instant précédent t = k il était à l'état Xi : on parle de probabilité de passage. On est en présence d'une chaîne de Markov si pi,j(k) ne dépend pas des états antérieurs t = 0, 1, ..., k - 1 : on parle de processus sans mémoire.
Matrice stochastique :
Une matrice carrée M = (pi,j) dont les éléments sont positifs et dont la somme en ligne est égale à 1 est appelée matrice stochastique ou matrice de Markov.
Dans le cas d'une chaîne de Markov à n états, à chaque instant k est associé une matrice stochastique Pk = (pi,j(k))i,j = 1,2,...n appelée matrice de transition (de l'instant k à l'instant k +1) ainsi définie :
Si on note qk et qk+1 les matrice colonnes des répartitions de probabilités des n états à l'instant k et k + 1 :
L'événement « le système est à l'état Xj à l'instant k + 1 » de probabilité qj,k+1 est la disjonction (réunion d'événements disjoints) des événements
Ei,j = « le système est à l'état Xj à l'instant k + 1 ET à l'état Xi l'instant k », i = 1, ...n
et dont la probabilité est :
Prob(Ei,j) = Prob(« le système est à l'état Xj à l'instant k + 1 » ET « le système est à l'état Xi l'instant k »)
C'est à dire : » probabilité des causes
Prob(Ei,j) = Prob(«le système est à l'état Xj à l'instant k+1»
/«le système est à l'état Xi
l'instant k»)
× Prob(«
le système est à l'état Xi l'instant k
»)
donc :
Prob(Ei,j) = pi,j(k) × qi,k
Par conséquent :
Il s'ensuit que l'on peut écrire matriciellement qk+1 = Pkqk, plus précisément :
C'est, par construction, une matrice stochastique. Notons maintenant qo la répartition de probabilités initiale, on a :
qk = Pkqk-1= PkPk-1qk-2 = PkPk-1Pk-2qk-3 = ...= PkPkPk-1Pk-2...Poqo
Lorsque Pk ne dépend pas de l'instant k, soit M la matrice correspondante. On a : qk = Mkqo et le système peut converger, pour k tendant vers 0 vers un état stationnaire si la limite pour n infini de Mn existe.
➔ Les chaînes de Markov voient leur application au sein de la théorie des graphes dans l'étude des états transitoires d'un système : on trouvera en cliquant sur le lien ci-dessous un exemple élémentaire de chaîne de Markov (niveau Ter ES) et une introduction à la notion de système ergodique en théorie des graphes.
Chaîne de Markov et matrice de transition en théorie des graphes, ergodicité : »
∗∗∗
Exemple de système ergodique en génétique
∗∗∗
1°/ Montrer que toute puissance n-ème d'une matrice stochastique est une matrice
stochastique.
☼
2°/ Vérifier qu'une matrice stochastique M admet le
vecteur propre P = (1,1,...,1) pour la
valeur propre 1 : MP = P
3°/ Étude des matrices de Markov
d'ordre 2
Un exemple fondamental de processus markovien est, en sciences physiques, le mouvement brownien qui fut à la source de la théorie mathématiques des systèmes dynamiques et de la théorie ergodique appliquée à ces systèmes.
La notion de système dynamique : » La notion d'ergodicité : » » Lévy , Wiener
➔ Pour en savoir plus :
Probabilités et potentiel, par Paul-André Meyer, Éd. Hermann, actualités scientifiques & industrielles, Paris -1966
Processus de Markov et inégalités fonctionnelles, par Florian
Malrieu, univ. Rennes1 :
https://perso.univ-rennes1.fr/florent.malrieu/MASTER2/markov180406.pdf
Morera