Journes APMEP Metz

Atelier P1-32 du dimanche 28 octobre 2012

Louis-Marie BONNEVAL

Chanes de Markov au lyce

Andre Markov (1856-1922)

, srie S
 Problme 1
Bonus et malus en assurance automobile
Un contrat d'assurance automobile comporte trois tarifs de
cotisation annuelle : Bas, Intermdiaire, Haut.
La premire anne, l'assur paye le tarif intermdiaire.
S'il n'a pas t responsable d'un accident pendant une anne,
il passe au tarif infrieur l'anne suivante (sil est dj au tarif
bas, il y reste).
S'il a t responsable d'un accident au cours d'une anne, il
passe au tarif suprieur l'anne suivante (sil est dj au tarif
haut, il y reste).
La compagnie dassurance estime 10 % la probabilit qu'un
assur pris au hasard soit responsable d'un accident au cours
d'une anne.

Quelle sera long terme la rpartition des assurs entre les

trois catgories de tarif ?
 Graphe probabiliste
0,9 0,1
0,1 0,1

B 0,9
I 0,9
H

Notons bn (respectivement in, hn), la probabilit

quau bout de n annes un assur pris au hasard
soit au tarif bas (respectivement intermdiaire,
haut).
35
 anne n anne n+1
Arbre :
0,9 B

I
B 0,1
bn
0,9 B
in
Dbut I
0,1 H
hn
0,9
H I

0,1
H

b n 1 0,9 b n 0,9 i n

Donc i n 1 0,1b n 0,9 h n

h n 1 0,1i n 0,1 h n
Exploration au tableur
ou la calculatrice

n bn in hn
0 0 1 0
1 0,9 0 0,1
2 0,810 0,180 0,010
3 0,891 0,090 0,019
4 0,883 0,106 0,011
5 0,890 0,098 0,012
6 0,889 0,100 0,011
7 0,890 0,099 0,011
8 0,890 0,099 0,011
9 0,890 0,099 0,011
10 0,890 0,099 0,011
 Avec les matrices :
n1 0,9
b 0,9 0 b n

n1 0,1
i 0 0,9 i n

0 0,1 0,1 h n

h
n1

soit Pn+1 = T Pn.

Si la suite (Pn) converge vers P, alors

P = TP
 b

Cherchons P = i tel que TP = P :
h

0,9b 0,9i b

0,1b 0,9h i
0,1i 0,1h h

De plus b + i + h = 1.
On en dduit :
81 9 1
b 0,890, i 0, 099, h 0, 011
91 91 91
 Remarque

On pourrait chercher des formules explicites pour

bn , in, hn .
De la relation de rcurrence Pn+1 = T Pn
on dduit une formule explicite : Pn = Tn P0.
Mais pour lexploiter il faudrait expliciter Tn.
Cest possible (valeurs propres ) mais ce nest pas
simple, et a dpasse largement le programme.
 Problme 2
Une ronde sur un triangle
Nous sommes au XIVe sicle, dans le chteau de
Poitiers.
Il est triangulaire, flanqu d'une tour chaque
angle : Est, Nord, Sud.
Partant de la tour Est, la sentinelle fait sa ronde sur
le rempart. A chaque angle, pour tromper l'ennemi
(et l'ennui), il jette une pice :
pile, il continue dans le mme sens ;
Face, il repart en sens inverse.
Pourra-t-il assurer une surveillance identique dans
toutes les directions ?
Graphe probabiliste : N 0,5

(en supposant la 0,5

0,5 0,5 E
pice quilibre) 0,5
0,5
S

Notons en (respectivement n, sn), la probabilit

quau bout de n tapes la sentinelle soit la tour
Est (respectivement Nord, Sud).
Ainsi e0 = 1, 0 = 0, s0 = 0.

35
 tape n tape n+1
Arbre :
1/2 N

S
E 1/2
en
1/2 E
n
Dbut N
1/2 S
sn
1/2
S E

1/2
N

e n 1 0,5 n 0,5 s n

Donc n 1 0,5 e n 0,5 s n

s n 1 0,5 e n 0,5 n
Exploration au tableur
ou la calculatrice
n en n sn
0 1 0 0
1 0 0,5 0,5
2 0,5 0,25 0,25
3 0,25 0,375 0,375
4 0,375 0,313 0,313
5 0,313 0,344 0,344
6 0,344 0,328 0,328
7 0,328 0,336 0,336
8 0,336 0,332 0,332
9 0,332 0,334 0,334
10 0,334 0,333 0,333
11 0,333 0,333 0,333
12 0,333 0,333 0,333
 Avec les matrices :
n1 0
e 0,5 0,5 e n


n1 0,5

0 0,5 n

0,5
0,5 0 s n
s
n 1

soit Pn+1 = T Pn.

Si la suite (Pn) converge vers P, alors

P = TP
 e

Cherchons P = tel que TP = P :
s

0,5 0,5s e

0,5e 0,5s
0,5e 0,5 s

De plus e + + s = 1.
On en dduit : e s 1
3
 Remarque
Ici on peut assez facilement trouver des formules
explicites :
e n1 0,5 n 0,5 s n 0,5( n s n)
0,5(1 e n) 0,5e n 0,5.

n
1 2 1

On en dduit : e n 3 3
2

n
1 1

1
Puis : n

sn 3 3 2 .

Cela dmontre la convergence.

 Problme 3
Les autocollants des tablettes de chocolat
Chaque semaine, Anna achte une tablette de
chocolat Cbon. Chaque tablette contient un
autocollant reprsentant soit une toile, soit un
cur, soit un trfle quatre feuilles. Anna les
collectionne pour dcorer son journal intime.

En supposant les trois motifs quirpartis entre

les tablettes,

Combien de tablettes suffit-il dacheter pour

tre sr plus de 95 % davoir les trois types de
dessin ?
 Graphe probabiliste
1/3 2/3 1

1 2/3
2 1/3
3

Notons respectivement un, dn, tn les probabilits

qu'au bout de n achats Anna ait respectivement
un seul type de dessin, deux types de dessin
exactement, les trois types de dessin.
Ainsi u1 = 1, d1 = 0, t1 = 0.
35
 achat n achat n+1
Arbre :
1/3 1

2
1 2/3
un
2/3 2
dn
Dbut 2
1/3 3
tn
1
3 3

1
u n 1 3 u n

Donc 2 2
d n 1
un 3 d n
3
1
t n 1 3 d n t n


Exploration au tableur
ou la calculatrice
n un dn tn
1 1 0 0
2 0,333 0,667 0
3 0,111 0,667 0,222
4 0,037 0,519 0,444
5 0,012 0,370 0,617
6 0,004 0,255 0,741
7 0,001 0,173 0,826
8 0,000 0,116 0,883
9 0,000 0,078 0,922
10 0,000 0,052 0,948
11 0,000 0,035 0,965
12 0,000 0,023 0,977
 Avec les matrices
n1 1/ 3
u 0 0 u n

n1 2 / 3
d 2 / 3 0d n

t
n1 0 1/ 3 1 t n

soit Pn+1 = T Pn.

Si la suite (Pn) converge vers P, alors
P = TP
 u
Cherchons P = tel que TP = P :
d
t
1
3 u u

2 2
u d d
3 3
1
3 d t t

De plus u + d + t = 1.
On en dduit :
u = 0, d = 0, t = 1.
Ce nest pas vraiment une surprise
 , la suite t n
1
Daprs la relation t n1 t n 3dn
est croissante, ce qui est conforme lintuition.

Or t 10 0,948 et t 11
0,965

Donc, partir de 11 achats, on est sr plus de

95 % davoir les trois types de dessin.
 Remarque
On pourrait (mais ce nest pas immdiat) trouver
des formules explicites :


n 1
1
u n
3

n 1 n 1
1 2
d n 2 2
3 3

n 1 n 1
1 1
2
2
t n 3 3

Cela dmontre la convergence
(mais pour notre problme on nen a pas besoin).
Un peu de thorie
Un processus alatoire (processus stochastique),
est une succession dpreuves alatoires o les
issues (tats possibles) quon suppose en
nombre fini - sont toujours les mmes, mais o
la rpartition de probabilit volue.
Une chane de Markov est un processus
alatoire o la rpartition de probabilit
volue selon des probabilits de transition
constantes.
Le futur dpend du prsent, mais pas du pass
On peut reprsenter une chane de Markov comme une
marche (promenade) alatoire sur un graphe :
- les sommets sont les tats possibles,
- les flches portent les probabilits de transition.

0,9 0,1
0,1 0,1

B 0,9
I 0,9
H

Pour toutes les flches partant dun mme sommet,

la somme des coefficients vaut 1.
Aprs avoir ordonn les tats, on peut lui associer une
matrice de transition T :
Les coefficients de T sont les probabilits de transition,
avec la convention suivante :
Lindice de colonne indique ltat de dpart,
lindice de ligne indique ltat darrive.
Cette convention, qui nest pas la plus usuelle, permettra
dutiliser des matrices colonnes pour les rpartitions de
probabilit.

Une matrice de transition a tous ses coefficients

positifs, et de somme 1 pour chaque colonne.
Si Pn est la matrice colonne indiquant la
rpartition de probabilit ltape n, le thorme
des probabilits totales permet dcrire
Pn+1 = T Pn.

On en dduit Pn = Tn P0.
Si on dispose dune formule explicite pour Tn, on
peut en dduire une formule explicite pour Pn.

Remarque : Pn+k = Tk Pn
Donc Tk est la matrice de transition pour k tapes.
 Thorme de Perron-Frobenius

Si T admet une puissance

sans aucun coefficient
nul, alors :
Il existe une
rpartition de
probabilit P stable,
cest--dire telle que
Georg Frobenius TP = P, et une seule ; Oskar Perron
(1849-1917)
La suite (Pn) converge (1880-1975)

vers P.
 Thorme de Perron-Frobenius
Dire que Tk na aucun coefficient nul signifie
quen k tapes on peut passer de nimporte quel
sommet du graphe nimporte quel autre.
Lobservation du graphe peut permettre de voir
si la condition est remplie (voir problme 1 et
problme 2).
Cest une condition suffisante, mais non
ncessaire, de convergence : par exemple, dans
le problme 3, cette condition nest pas
remplie, et pourtant il y a convergence.
 Thorme de Perron-Frobenius
Ide de la dmonstration (dans le cas o T elle-mme na aucun coefficient nul)

Dire que TP=P signifie que P est vecteur propre de T, pour la valeur propre 1.
Or une matrice de transition (matrice stochastique) admet 1 comme valeur
propre, et ses autres valeurs propres sont de module infrieur ou gal 1.
Si aucun coefficient nest nul, 1 est valeur propre simple, le sous-espace propre
associ est de dimension 1, et les autres valeurs propres sont de module
strictement infrieur 1.
On en dduit (par diagonalisation ou trigonalisation) que la suite (Tn) est
convergente. On dmontre que sa limite T* a ses colonnes identiques.
Donc la suite (Pn) converge vers une matrice P, gale T*P0.
Comme Pn+1 = T Pn pour tout n, la matrice colonne P vrifie P = TP.
P est unique, car parmi les vecteurs propres associs la valeur propre 1, cest
celui dont la somme des coefficients vaut 1.
Donc elle ne dpend pas de P0.
Matrices colonnes ou matrices-lignes ?
0,9 0,1
0,1 0,1
B 0,9
I 0,9
H
Matrices- colonnes Matrices-lignes
n1 0,9 0,9 0 b n 0,9 0,1 0

b
n1 0,1
i 0 0,9 i n bn1 i n1 hn1 b n i n h n 0,9 0 0,1



0 0,1 0,1 h n 0 0,9 0,1
h
n1

Avantage : la matrice de Avantage : cest la notation

transition est la matrice habituelle dans lenseignement
du systme. suprieur, et en spcialit de ES.
Mais cette double notation va poser des problmes aux
professeurs et aux rdacteurs de sujets dexamen !
Matrices colonnes ou matrices-lignes ?
 Problme 4
Pertinence dune page web

Serguei Brin et Larry Page, crateurs de Google

Le rseau Internet peut tre reprsent comme
un gigantesque graphe (non probabiliste), dont
les N sommets sont les pages, et les flches les
liens qui pointent dune page une autre.
Un moteur de recherche, pour tre utile, doit
classer les pages par ordre de pertinence.

Comment mesurer la pertinence dune page ?

Lalgorithme PageRank utilis par Google utilise

pour cela une mthode probabiliste.
Imaginons un internaute qui surfe au hasard.
Quand il est sur une page,
Soit, avec une probabilit 1-p, il clique au
hasard sur lun des liens disponibles depuis
cette page ;
Soit, avec une probabilit p, il choisit une page
au hasard dans lensemble du rseau.
Cette deuxime possibilit permet dassurer que
toute page peut tre atteinte : ainsi le thorme
de Perron-Frobenius sappliquera.
Exemple : un mini-web 4 pages

B C

D
Prenons p = 0,16.
Cela permet de transformer le graphe initial en graphe
probabiliste : 0,04

A
0,46
0,04
0,46 0,46

0,46
0,04 B 0,04
C 0,04

0,04 0,88 0,04

0,04
0,46 0,46

D
0,04
Matrice de transition :
0, 04 0, 04 0, 46 0,88

0, 46 0, 04 0, 04 0, 04
T
0, 46 0, 46 0, 04 0, 04

0, 04 0, 46 0, 46 0, 04
0 0 1/ 2 1 1/ 4 1/ 4 1/ 4 1/ 4

1/ 2 0 0 0 1/ 4 1/ 4 1/ 4 1/ 4
= 0,84 + 0,16
1/ 2 1/ 2 0 0 1/ 4 1/ 4 1/ 4 1/ 4

0 1/ 2 1/ 2 0 1/ 4 1/ 4 1/ 4 1/ 4

Le thorme de Perron-Frobenius sapplique.

Exploration au tableur :
n an bn cn dn
1 1 0 0 0
2 0,04 0,46 0,46 0,04
3 0,267 0,057 0,250 0,426
4 0,503 0,152 0,176 0,169
5 0,256 0,251 0,315 0,178
6 0,322 0,147 0,253 0,278
7 0,380 0,175 0,237 0,208
8 0,314 0,199 0,273 0,213
9 0,334 0,172 0,256 0,238
10 0,348 0,180 0,252 0,220
11 0,331 0,186 0,262 0,222
12 0,336 0,179 0,257 0,228
13 0,340 0,181 0,256 0,223
14 0,335 0,183 0,259 0,224
15 0,337 0,181 0,257 0,225
16 0,337 0,181 0,257 0,224
17 0,336 0,182 0,258 0,224
18 0,337 0,181 0,258 0,225
19 0,337 0,181 0,258 0,224
20 0,337 0,181 0,258 0,224
 0,337

0,181
P 20 0, 258 P

0, 224

Donc A > C > D > B

Avec une matrice T ayant plusieurs milliards

de lignes et de colonnes, quelques itrations
valent mieux quune rsolution de systme !
 Problme 5
Les urnes dEhrenfest

Paul Ehrenfest (1880-1933 ) et Tatiana Ehrenfest (1876-1964)

ont voulu modliser la diffusion dun gaz dune enceinte une autre
On dispose de deux urnes A et B, et 1

de N boules numrotes de 1 N. 2
A
3
B

Au dbut, toutes les boules sont dans lurne A.

A intervalles rguliers, on tire au hasard un

numro entre 1 et N, et on change durne la
boule correspondante.

Au bout de combien dtapes peut-on esprer

que toutes les boules soient nouveau dans
lurne A ?
 1
Etudions le cas o N = 3. 2 3
A B

Pour dcrire la rpartition des boules entre les

deux urnes, il suffit dtudier le contenu de
lurne A.
Notons zn (respectivement un, dn, tn) les
probabilits qu la n-me tape lurne A
contienne 0 boule (respectivement 1 boule, 2
boules, 3 boules).
Graphe probabiliste :
1 2/3 1/3
0 1/3
1 2/3
2 1
3

0 1/ 3 0 0

1 0 2/3 0
Matrice de transition : T
0 2 / 3 0 1

0 0 1/ 3 0

1/ 8

3 / 8
Rpartition stable : 3 / 8
= loi binomiale B(3, )

1/ 8
En fait le processus ne converge pas, pour une
raison de parit du nombre de boules dans A : ainsi
de t0 = 1 on dduit que tn = 0 pour tout n impair.

Nanmoins le dernier coefficient de P, gal 1/8,

peut sinterprter ainsi : sur un grand nombre
dtapes, le systme est dans ltat 3 en moyenne
une fois sur 8.
Autrement dit il y a en moyenne 8 tapes entre
deux passages successifs dans ltat 3.
Donc le nombre dtapes jusquau retour ltat
initial a pour esprance 8.
Dans le cas gnral de N boules, la rpartition
stable est la loi binomiale B(N,), donc le
dernier coefficient de P est 1/2N.

Son inverse 2N est lesprance du nombre

dtapes jusquau premier retour ltat initial
(N boules dans A).
Sil sagit de molcules de gaz, N est de lordre
du nombre dAvogadro, donc 2N est
gigantesque. En pratique on nobserve pas de
retour ltat initial.
 Quelques domaines dapplication
Linguistique (cf. ltude de Markov)
Physique statistique : mouvement brownien,
cintique des gaz (pb 5), mcanique
quantique
Gntique : volution gntique, dcryptage
du gnome
Assurance (pb 1)
Intelligence artificielle : reconnaissance de
formes, de sons
Quelques questions pdagogiques
Comparaison entre S et ES

Combien dtats ?

Trop ambitieux ?

Matrices colonnes ou matrices lignes ?

Une formule explicite pour Tn ?