MAP-PRB201 Chanes de Markov Universit Paris Saclay

Feuille dexercices n 1 : Irrductibilit, apriodicit, rversibilit.

Exercice 1. [Matrice de transition symtrique] Une matrice de transition P est dite symtrique
si pour tout x, y 2 , P (x, y) = P (y, x). Montrer que la mesure de probabilit uniforme sur
est une mesure stationnaire pour P . (On rappelle que est fini).
Correction. Il sut dobserver :
X X 1 1
(P )(y) = (x)P (x, y) = P (y, x) = = (y).
x2 x2
|| ||

On peut aussi noter que si (x) = (y) (cad si est uniforme), lquation de rversibilit
(x)P (x, y) = (y)P (y, x) est satisfaite, et conclure laide du cours.
Exercice 2. [Stricte positivit de la mesure stationnaire] Soit la mesure stationnaire dune
matrice de transition irrductible. Montrer que (y) > 0 pour tout y 2 .
Correction. tant une mesure de probabilit, il existe x 2 tel que (x) soit non nul, puis,
y tant donn, il existe un entier t tel que P t (x, y) > 0 par irrductibilit, do
X
0 < (x)P t (x, y) (z)P t (z, y) = (P t )(y) = (y).
z2

Exercice 3. Montrer que si P est une matrice de transition, Q = (P + I)/2 dfinit une matrice
de transition apriodique. On appelle la chane associe la chane lazy.
Correction. Il sut de remarquer que Q1 (x, x) I(x, x)/2 = 1/2 > 0, donc 1 2 T (x) et donc
pgcd(T (x)) = 1 pour tout x.
Exercice 4. [Priodicit du n-cycle] La matrice de transition de la marche alatoire (simple)
sur le graphe G = (V, E) est dfinie par
1{x,y}2E X
P (x, y) := si x, y 2 V, avec deg(x) = 1{x,y}2E .
deg(x) y2V

On considre le n-cycle, qui est le graphe (V, E) avec V = {0, . . . , n 1} et E = {{x, y}, |x y| =
1} [ {{0, n 1}}, et soit P la matrice de transition de la marche alatoire sur le n-cycle.
1. Justifier par un dessin du graphe lappellation n-cycle.
On pose T (x, y) = {t 0, P t (x, y)}. On dfinit un chemin de longueur t de x y comme une
collection de sommets (xs )0st 2 V t+1 tel que pour tout s 2 {0, . . . , t 1}, {xs , xs+1 } 2 E.
1. Montrer que t 2 T (x, y) ssi il existe un chemin de longueur t de x a y
2. Dans le cas n = 4, expliciter T (0, 0), T (0, 1), T (0, 2), T (0, 3) et dans le cas n = 5,
expliciter T (0, 0), T (0, 1), T (0, 2), T (0, 3), T (0, 4).
3. Dcrire T (x, y) dans le cas gnral en fonction des quantits k = |x y| et n k (par
exemple).
4. En dduire la priode de P si n est pair, si n est impair ?

1
 5. On suppose n impair. Trouver le plus petit entier t tel que pour tout x, y 2 V , P t (x, y) >
0.

Correction. On note que tous les degrs valent 2 dans le graphe G = (V, E), donc P (x, y) =
1/2 quand {x, y} 2 V . On appelle chemin de longueur t une suite de t + 1 sommets lis par des
artes, cest--dire une collection x0 , x1 , ..., xt 2 V tels que (0 s < t ) {xs , xs+1 } 2 E). De
la formule du produit matriciel, on a
X Y X
P t (x, y) = P (xs , xs+1 ) = 2 t = Nx,y (t)2 t
{xs }0st ,x0 =x,xt =y 0st 1 {xs }0st ,x0 =x,xt =y

o Nx,y (t) est le cardinal des chemins de longueur t de x y. Ainsi si lon pose T (x, y) = {t
0, P t (x, y) > 0}, on voit que t 2 T (x, y) ssi Nx,y (t) 6= 0.
Pour analyser quand Nx,y (t) 6= 0, on pourra commencer par prendre de petites valeurs de n pour
comprendre la forme des ensembles T (x, y). Par exemple pour n = 4, on voit que T (0) = 2N,
T (0, 1) = 1+2N, T (0, 2) = 2+2N, T (0, 3) = 1+2N. Pour n = 5, on voit que T (0) = 2N[5+2N,
T (0, 1) = 1 + 2N [ 4 + 2N, T (0, 2) = 2 + 2N [ 3 + 2N, T (0, 3) = 3 + 2N [ 2 + 2N
On se donne x, y 2 et on pose k = |x y|. Il sut dobserver que

{t 0, P t (x, y) > 0} = k + 2N [ n k + 2N.

Le reste en dcoule : si n est pair, alors avec k = 0, T (x) = {t 0, P t (x, x) > 0} = 2N[n+2N =
2N pour tout x et donc la priode vaut 2. Si n est impair, T (x) = {t 0, P t (x, x) > 0} =
2N [ n + 2N comprend tous les entiers partir de n : la priode vaut 1 pour tout x et la
chane est apriodique. Enfin, toujours dans le cas impair, n 1 est lentier cherch puisque :
si 2j < n 1, P 2j (x, x + 1) = 0 (prendre k = 1), et si 2j + 1 < n 1, P 2j+1 (x, x) = 0 (prendre
k = 0). Enfin, pour tout x, y, P n 1 (x, y) > 0 (n 1 pair, donc ok pour les sommets distance
paire ; pour les sommets distance impaire, on k 1 impair, donc n 1 2 n k + 2N).

Exercice 5. [Contraction] On tudie les proprits de P vu comme oprateur agissant par

multiplication gauche P : R ! R , f 7! P f .
1. Montrer que P est un oprateur contractant pour la norme k.k1 , kf k1 = maxx |f (x)| :

kP f k1 kf k1

2. Soit une mesure de probabilit stationnaire de P . Montrer que P P est un oprateur

contractant pour la norme k.k (induite par le produit scalaire hf, gi = x f (x)g(x)(x)) :

kP f k kf k

Correction. Pour la norme infinie tout dabord

X X X
|P f (x)| = | P (x, y)f (y)| P (x, y)|f (y)| kf k1 P (x, y) = kf k1
y y y

et on conclut en prenant le max sur x gauche.

2
En
p utilisant
p Jensen pour la fonction x 7! x (ou encore Cauchy Schwarz en crivant P (x, y)f (y) =
2 2

P (x, y) P (x, y)f (x, y)), et P = , on obtient :

X
kP f k2 = hP f, P f i = P f (x)2 (x)
x
XX
= ( P (x, y)f (y))2 (x)
x y
XX
( P (x, y)f 2 (y))(x)
x y
XX
= ( (x)P (x, y))f 2 (y)
y x
X
= f 2 (y)(y) = hf, f i = kf k2
y

Exercice 6. [Matrice de transition rversible et oprateur auto-adjoint] Montrer que P est

rversible par rapport ssi P est autoadjoint dans (R , h., .i ), cest--dire hP f, gi = hf, P gi
pour tout f, g 2 R .
Correction. Si P rversible par rapport alors
X
hf, P gi = f (x)P g(x)(x)
x
X
= f (x)P (x, y)g(y)(x)
x,y
X
= P (y, x)f (x)g(y)(y)
x,y
X
= P f (y)g(y)(y) = hP f, gi
y

Rciproquement, si P autoadjoint dans (R , h., .i ), alors la relation hP f, gi = hf, P gi avec

f = x et g = y donne P f (y)(y) = P g(x)(x) cest--dire (y)P (y, x) = (x)P (x, y).
Exercice 7. [Matrice de transition rversible] Soit P une matrice de transition sur rversible
par rapport une mesure de probabilit . Montrer que P 2 est encore rversible par rapport
.
Correction. Il sagit de faire le calcul suivant :
X
(x)P 2 (x, z) = (x)P (x, y)P (y, z)
y
X
= P (y, x)(y)P (y, z)
y
X
= (z)P (y, x)P (z, y)
y

= (z)P 2 (z, x),

et on observe que ce calcul se gnralise une puissance entire quelconque de la matrice. On
peut aussi utiliser lexercice 6 et crire
hP 2 f, gi = hP f, P gi = hf, P 2 gi

3
Exercice 8. [Unicit de la mesure stationnaire] Soit P une matrice de transition irrductible
sur . On cherche montrer quil existe une unique mesure de probabilit stationnaire pour
P . On note 1 et 2 deux mesures de probabilit stationnaires de P .
1. Soit y 2 qui minimise x 7! 1 (x)/2 (x), montrer que pour tout x tel que P (x, y) > 0,
on a 1 (y)/2 (y) = 1 (x)/2 (x).
2. Obtenir la mme conclusion pour tout x 2 puis conclure.
Correction. Notons 1 et 2 deux mesures stationnaires, et soit y comme dans lnonc. On
a:
1 (y) (1 P )(y) X 1 (x) X 2 (x) 1 (x)
= = P (x, y) = P (x, y)
2 (y) 2 (y) x2
2 (y)
x2
2 (y) 2 (x)

et, par dfinition de y, ceci est suprieur ou gal

1 (y) X 2 (x) 1 (y) (2 P )(y) 1 (y)
P (x, y) = =
2 (y) x2 2 (y) 2 (y) 2 (y) 2 (y)

Puisquon a galit entre les deux expression, ceci entraine 1 (x)/2 (x) = 1 (y)/2 (y) pour
tout x tel que P (x, y) > 0. Le cas de x 2 quelconque peut tre trait en choisissant t tel
que P t (x, y) > 0, puisque 1 et 2 sont encore des mesures stationnaires pour la matrice de
transition leve la puissance t. Enfin, ayant montr que lapplication x 7! 1 (x)/2 (x) est
constante, elle vaut ncessairement 1 puisque 1 et 2 sont des mesures de probabilit.
Exercice 9. [Principe du maximum] Soit une chane de Markov irrductible de matrice de
transition P , et B . On suppose que h est harmonique en tout point du complmentaire
B c = \ B. Montrer quil existe x 2 B tel que h(x) = maxy2 h(y).
Correction. Soit x0 tel que h(x0 ) = maxy2 h(y). Si x0 2 B il ny a rien prouver. Sinon,
/ B et pour tout b 2 B, on peut trouver (xi )1ir tel que P (xi , xi+1 ) > 0 pour tout 0 i
x0 2
r 1 et xr = b. On note s le plus petit entier tel que xs 2 B. On montre alors que h(xi ) = h(x0 )
pour tout i s par rcurrence (finie) sur lentier i. Cest vrai en i = 0. Si h(xi ) =Ph(x0 ) et i < s
alors, puisque xi 2/ B par dfinition, h est encore harmonique en xi , et h(xi ) = P (xi , y)h(y)
implique h(y) = h(xi ) pour tout y tel que P (xi , y) > 0, en particulier pour y = xi+1 . Ainsi
h(xs ) = h(x0 ) et xs 2 B convient.
Exercice 10. [Somme de Csaro et existence dune mesure stationnaire] Soit une mesure de
probabilit sur . On pose, pour n 2 N? ,
n 1
1X k
Qn = P et n = Qn
n k=0

la moyenne de Csaro des itres de P , et son application .

1. Vrifier que la mesure de probabilit n satisfait pour tout n 2 N?

|n P (x) n (x)| 1/n.

2. Justifier lexistence dune suite extraite (nk )k telle que pour tout x, la suite (nk )k
converge. On notera cette limite.
3. Montrer que la mesure limite est une mesure de probabilit stationnaire pour P .

4
Correction. On observe que (n P n )(x) forme une srie tlescopique :
Pn 1
(P k+1 P k )(x) P n (x) (x)
(n P n )(x) = k=0 =
n n
dont la valeur absolue nexcde pas 1/n. Puisque [0, 1] est un compact, on peut extraire de (n )n
une sous-suite qui converge. On note (nk )k lextraction obtenue, et la mesure limite. Il est
facile de voir quil sagit encore dune mesure de probabilit. Pour voir que est stationnaire,
on fixe x puis on observe que

|(P )(x)| |(P nk P )(x)| + |(nk Pnk )(x)| + |(nk )(x)|

P
puis on choisit k susammentPgrand pour que (1/nk ) P"/3 et x |(nk )(x)| P "/3. Cette
dernire condition implique | x (P nk P )(x)| = |( x,y ( nk )(y)P (y, x)| x,y |(
nk )(y)| "/3. Donc le membre de droite est infrieur ", qui est arbitraire : on conclut bien
que P = .

Exercice 11. [Somme de Csaro : convergence sans extraction] On reprend les notations de
lexercice 10. On veut maintenant montrer que (n )n converge. On note I la matrice identit,
et on considre loprateur I P qui agit par multiplication par la droite selon R ! R , 7!
(I P ) (noter que lon considre lespace vectoriel R plutt que le sous-ensemble des mesures
de probabilit.)
1. Calculer Qn dans le cas o 2 Im(I P ) puis dans le cas o 2 Ker(I P ). En
dduire que Ker(I P ) \ Im(I P ) = {0}, et conclure laide du thorme du rang
que Ker(I P ) Im(I P ) = R .
2. Soit 2 R . En dduire quil existe 0 , 1 2 R telles que = 0 (I P ) + 1 avec
1 (I P ) = 0. Calculer n en fonction de 0 et 1 et en dduire que n ! 1 quand
n ! 1.
3. Dduire des questions prcdentes que 1 = .
P
Pn Si
Correction. 1 est dans limage, 1 = 0 (I P ) pour un certain 0 alors 1 nk=01 P k =
0 (I P ) k=01 P k = 0 0 P n do 1 Qn ! 0. Si 1 est dans le noyau de I P , 1 (I P ) = 0
implique 1 = 1 P = 1 P k do 1 = 1 Qn . Si 1 appartient a lintersection, on a donc 1 =
1 Qn ! 0, soit Ker(I P ) \ Im(I P ) = {0} (la fonction nulle sur ). Du thorme du rang,
on sait que la somme des dimensions de ces deux sous-espaces est ||, donc les deux espaces
sont supplmentaires. Si est donn, on peut donc trouver 0 et 1 avec = 0 (I P ) + 1 , et
1 2 Ker(I P ). Alors, Qn = 0 (I P )Qn + 1 et par le mme raisonnement que ci-dessus,
on a 0 (I P )Qn ! 0. Ceci implique bien Qn ! 1 . Par ailleurs, Qnk ! , donc par unicit
de la limite, 1 = .
En rsum, on a toujours convergence des moyennes de Csaro sans condition dapriodicit
sur la chane, et sans condition dirrductibilit (mais les limites peuvent alors dpendre de la
mesure initiale choisie). Intuitivement, les fluctuations quon peut constater pour des chanes
priodiques se trouvent ici "moyennises".

Exercice 12. [Lemme de Schur, et application aux chanes apriodiques] Soit un sous-ensemble
S de N de pgcd g. On note N(S) lensemble des combinaisons linaires a coecients dans N de
S, et Z(S) lensemble des combinaisons linaires a coecients dans Z de S.

5
 1. Montrer que Z(S) = gZ (on pourra considrer le plus petit lment de Z(S) \ N? et
montrer quil est gal au pgcd g de S, en montrant que ces deux quantits se divisent).
2. Dans le cas o S a deux lments, montrer quil existe m 2 N tel que n m implique
gn 2 N(S) (en dautres termes, |(Z(S) \ N(S)) \ N| < 1)
On admet que la mme conclusion vaut encore dans le cas dun ensemble S infini, et on se
propose dutiliser ce rsultat pour montrer que si P est une matrice de transition irrductible
et apriodique, alors il existe un entier m (indpendant de x et de y) tel que si n m,
P (x, y) > 0 pour tout x, y 2 .
n

3. Soit x 2 . Montrer laide de la question prcdente quil existe m = m(x) 2 N tel

que n m implique n 2 T (x).
4. Conclure.

Correction. On pose h le plus petit lment de Z(S) dans N? , et on a alors que Z(S) = hZ.
Ensuite il sagit de montrer que h = g. On a que g divise h, car h est une combinaison linaire
dlments de S. On a aussi que h divise tout lment de Z(S) donc tout element de S, donc
aussi g.
Dans le cas o S est rduit deux lments S = {x, y}, on note , 2 Z deux entiers tels que
x + y = g et on suppose < 0. Il existe 2 N? . tel que x = g. On a que, pour 2 N,
x 2 N(S). Considrons donc x+kg, avec k 2 {0, ..., 1}. x+kg = ( +k)x+(k )y 2 N(S)
ds lors que + k 0 pour tout k 2 {0, ..., 1} ; ( 1) assure cela et le rsultat
suit.
Lapplication aux chanes de Markov est comme suit. Posons S = T (x). Puisque S est stable par
addition, N(S) = S. Aussi par hypothse, pgcd(S) = 1. Le rsultat prcdent entrane lexistence
de m(x) tel que si n m(x), n 2 (x) cst--dir P n (x, x) > 0. De plus, pour tout x, y, il existe
s = s(x, y) tels que P s (x, y) > 0. En choisissant, m0 = maxx m(x) et s0 = maxx,y s(x, y), on a
0 0 0 0
P s +n (x, y) P s(x,y) (x, y)P s s(x,y)+n (y, y) > 0 car s0 s(x, y) + n0 n0 . Ainsi lentier s0 + n0
convient.