ChronoMath, une chronologie des MATHÉMATIQUES
à l'usage des professeurs de mathématiques, des étudiants et des élèves des lycées & collèges

MARKOV Andreï Andreïevitch, russe, 1856-1922

On doit à cet élève de Tchebychev à l'université de Saint-Pétersbourg où il fut lui-même nommé (1886), de très importants travaux en calcul des probabilités et en théorie du potentiel.

Féru en théorie des nombres, sous la houlette de Tchebychev, Markov crée l'analyse "markovienne", dans le cadre de la macrolinguistique, qui a permis de grands progrès dans le cryptage à vocation militaire (messages codés) mais aussi dans l'analyse de documents anciens dégradés dans le but de retrouver des textes partiellement effacés.

Markov se spécialisera en calcul des probabilités dans les années 1910. Son fils Andreï Andreïevitch junior fut également un mathématicien reconnu.

Inégalité de Markov :

Si X est une variable aléatoire réelle discrète à valeurs dans R+, alors Pr(X a) E(X)/a où E(X) désigne l’espérance mathématique de X.

Plus généralement, lorsque X est une variable aléatoire numérique et φ : R+ R+une application croissante strictement positive, alors pour tout a > 0 :

Pr( |X| a) E(φ(X))/φ(a)


Montrer, par un changement judicieux de la variable aléatoire et un choix non moins judicieux de φ que l'inégalité de Bienaymé-Tchebychev est un cas particulier de l'inégalité de Markov


  Bienaymé
, Tchebychev

Chaînes & processus de Markov :

Un processus aléatoire ou stochastique (du grec stokhastikos = divinatoire, pour signifier : dépendant du hasard, fruit du hasard) est une famille de variables aléatoires t Xt  définies sur un même espace probabilisé et à valeurs dans le même ensemble (appelé espace des états), t désignant généralement le temps.

Rappelons au passage que le fameux hasard vient de l'arabe ez zahr signifiant le dé (à jouer).

En simplifiant à l'extrême, on parle de processus de Markov lorsqu'à chaque instant, l'état ultérieur du processus ne dépend que de son état présent : c'est en quelque sorte un processus sans mémoire.

Dans le cas dénombrable, considérons un système pouvant prendre un certain nombre fini ou non d'états possibles (Xi)n=o,1,2,... observés à des instants énumérés dans le temps t = 0, 1, 2, ..., k, ... : on parle de chaîne.

Soit pi,j(k) la probabilité conditionnelle de trouver le système à l'état Xj à l'instant t = k + 1 sachant qu'à l'instant précédent t = k il était à l'état Xi : on parle de probabilité de passage. On est en présence d'une chaîne de Markov si pi,j(k) ne dépend pas des états antérieurs t = 0, 1, ..., k - 1 : on parle de processus sans mémoire.

Matrice stochastique :       

Une matrice carrée M = (pi,j) dont les éléments sont positifs et dont la somme en ligne est égale à 1 est appelée matrice stochastique ou matrice de Markov.

Dans le cas d'une chaîne de Markov à n états, à chaque instant k est associé une matrice stochastique Pk = (pi,j(k))i,j = 1,2,...n appelée matrice de transition (de l'instant k à l'instant k +1) ainsi définie :

Si on note qk et qk+1 les matrice colonnes des répartitions de probabilités des n états à l'instant k et k + 1 :

L'événement « le système est à l'état Xj à l'instant k + 1 » de probabilité qj,k+1 est la disjonction (réunion d'événements disjoints) des événements

Ei,j = « le système est à l'état Xj à l'instant k + 1 ET à l'état Xi  l'instant k », i = 1, ...n

et dont la probabilité est :

Prob(Ei,j) = Prob(« le système est à l'état Xj à l'instant k + 1 » ET « le système est à l'état Xi  l'instant k »)

C'est à dire :       probabilité des causes

Prob(Ei,j) = Prob(«le système est à l'état Xj à l'instant k+1» /«le système est à l'état Xi  l'instant k»)
                  Prob(
« le système est à l'état Xi  l'instant k »)

donc :

Prob(Ei,j) = pi,j(k) qi,k

Par conséquent :

Il s'ensuit que l'on peut écrire matriciellement qk+1 = Pkqk, plus précisément :

C'est, par construction, une matrice stochastique. Notons maintenant qo la répartition de probabilités initiale, on a :

qk = Pkqk-1= PkPk-1qk-2 =  PkPk-1Pk-2qk-3 = ...= PkPkPk-1Pk-2...Poqo

Lorsque Pk ne dépend pas de l'instant k, soit M la matrice correspondante. On a : qk = Mkqo et le système peut converger, pour k tendant vers 0 vers un état stationnaire si la limite pour n infini de Mn existe.

Les chaînes de Markov voient leur application au sein de la théorie des graphes dans l'étude des états transitoires d'un système : on trouvera en cliquant sur le lien ci-dessous un exemple élémentaire de chaîne de Markov (niveau Ter ES) et une introduction à la notion de système ergodique en théorie des graphes.

Chaîne de Markov et matrice de transition en théorie des graphes, ergodicité :

 
Exemple de système ergodique en génétique


1°/ Montrer que toute puissance n-ème d'une matrice stochastique est une matrice stochastique.
2°/ Vérifier qu'une matrice stochastique M admet le vecteur propre P =  (1,1,...,1) pour la valeur propre 1 : MP = P
3°/ Étude des matrices de Markov d'ordre 2

Un exemple fondamental de processus markovien est, en sciences physiques, le mouvement brownien qui fut à la source de la théorie mathématiques des systèmes dynamiques et de la théorie ergodique appliquée à ces systèmes.

La notion de système dynamique :             La notion d'ergodicité :            Lévy

 Pour en savoir plus :

  1. Éléments de calcul des probabilités théorique et appliqué, J. Bass, Ed. Masson & cie, 1967.
  2. Cours d'automatique théorique, Robert Pallu de la Barrière, Éd. Dunod, Paris, 1966
  3. Bases mathématiques du calcul des probabilités par Jacques Neveu, préface de R. Fortet, Éd. Masson - Paris, 1964
  4. Probabilités et potentiel, P.-A. Meyer, Éd. Hermann, actualités scientifiques & industrielles, Paris -1966

  5. Encyclopaedia Universalis, Dictionnaire de Mathématiques, fondements, probabilités, applications, 1998.
  6. Notion de théorie ergodique : http://www.univ-rouen.fr/LMRS/Vulgarisation/TE/img0.html


Bianchi  Morera
© Serge Mehl - www.chronomath.com