Probabilits

1. Espace de probabilits 2
1.1 Espace des ralisations et vnements 1.2 La probabilit d'un vnement 1.3 Composition vnements 4 1.4 Probabilit conditionnelle 4 1.5 Indpendance statistique 5 1. 6 Loi de Bayes 6 1.8 La loi des grands nombres 6 2 3

2. Variables alatoires discrtes et continues 7 2.1 Fonction de rpartition 7 2.2 Densit de probabilit 8 2.3 Loi binomiale, de Poisson, de Gauss 8 2.4 Esprance d'une variable alatoire 11 2.5 Moments d'ordre 2 12 2.6 Loi des grands nombres 13 2.7 Distribution conjointe 13 2.7.1 Densit conjointe 2.7.2 Densit marginale 2.9 Variables alatoires indpendantes 16 2.10 Moments croiss 16 2.11 Vecteurs alatoires 16 3. Exercices 18

1. Espace de probabilits
La thorie des probabilits permet de modliser quantitativement l'incertitude. Intuitivement, la probabilit d'un vnement est une mesure normalise (entre 0 et 1) de la vraisemblance de que cet vnement se produise : une petite valeur de la probabilit indique qu'il est extrmement invraisemblable que l'vnement se vrifie, et les valeurs de probabilit prs de 1 indiquent un vnement presque certain. L'utilisation de la thorie des probabilits pour la dduction de certaines caractristiques d'un phnomne ne peut tre apprcie entirement sans un approfondissement de son tude. Cependant, l'exemple suivant permet dj d'apprcier le rle important de la notion de probabilit.
Un chercheur, aprs avoir tudi plusieurs rapports publis dans la dernire dcennie, trouva qu'environ 30% de la population dans le groupe 20-30 ans a un problme d'excs de poids. Le chercheur se demande si ce pourcentage a chang ou s'il reste approximativement constant. Pour essayer de rpondre cette question, il organisa une enqute dans laquelle il observa 100 personnes, ayant constat qu'au moins 45 de ces 100 personnes avaient un poids excessif. Face ce rsultat, est-ce possible d'admettre que le pourcentage de 30% se maintient? Evidemment, l'observation de plus de 45% de personnes avec excs de poids parmi un groupe de 100 personnes peut toujours se produire, indpendamment du pourcentage de personnes obses, et donc elle ne peut pas formellement invalider ou valider l'hypothse initiale, cest--dire, dmontrer ou contredire l'hypothse d'un pourcentage de 30% d'obses dans la population tudie. Cependant, cette observation permet d'associer un degr de possibilit la validit de l'hypothse : acceptons hypothtiquement que le pourcentage de 30% est correct. Alors, la thorie de probabilits nous permet de calculer quelle est la probabilit, pour une population avec 30% d'obses, d'en observer au moins 45 dans un ensemble de 100 personnes. Si la valeur de cette probabilit est trs petite (par exemple 0.005) alors, le chercheur aura observ un ensemble extrmement non reprsentatif de la population. Si le choix des personnes a t fait au hasard, alors l'observation contredit fortement l'hypothse de 30% d'obses et permet de la mettre en doute .

L'exemple prcdant est un exemple de problmes de dcision, o on doit choisir une parmi plusieurs hypothses (dans ce cas deux hypothses sont possibles: que le pourcentage de 30% est correct, contre l'hypothse de qu'il ne reprsente plus l'ensemble de la population), face aux rsultats d'une exprience alatoire (l'observation du nombre de personnes obses parmi un

groupe de 100 personnes prises au hasard). Il nous montre le besoin de savoir associer des vnements (dans le cas, l'observation d'au moins 45 personnes obses) la valeur de sa probabilit. Souvent, c'est le problme inverse qui est d'intrt: tant donn un ensemble de donnes sur une population, on souhaite dterminer ses caractristiques gnrales. In sagit dans ce dernier cas de problmes destimation de paramtres.

1.1 Espace des ralisations et vnements La notion de probabilit est approprie pour des situations o il existe une incertitude sur le rsultat d'une exprience avant qu'elle ne soit ralise. Par exemple, on peut considrer la probabilit pour qu'il pleuve demain. L'incertitude associe cet vnement disparatra la fin de la journe du lendemain. C'est encore un outil indiqu pour dcrire des expriences qui, rptes (apparemment) sous les mmes conditions, produisent des rsultats variables (par exemple la qualit de liaisons tlphoniques qui utilisent le mme quipement de communication, mais effectues des instants diffrents, ne sera pas la mme). On peut ainsi dire qu'une exprience alatoire est le moyen de dcrire des donnes produites par un phnomne qui prsente de la variabilit dans les rsultats engendrs. On introduit d'abord les notions d'espace des ralisations et dvnement. L'espace des ralisations est l'ensemble de tous les rsultats possibles d'une exprience alatoire, et sera reprsent par S. Chaque rsultat distinct possible est appel vnement simple, ou lmentaire, ou on dira encore qu'il est un lment de l'espace des ralisations.
On donne quelques exemples d'expriences alatoires ainsi que de l'espace des ralisations qui leur est associ: (a) Le sexe des deux premiers bbs qui seront ns demain Nice. S={FF,FG,GF,GG} o F et G reprsentent fille et garon, respectivement. (b) On donne boire 10 personnes du caf soluble et de lexpress, et on note le nombre de personnes qui prfrent le caf soluble. S={0,1,2,...,10}. (c) On administre des malades qui souffrent d'une maladie virale un antibiotique, jusqu' ce qu'un d'entre eux manifeste une raction nfaste. S={R, NR, NNR, NNNR, .....} o R et N reprsentent normale (sans raction) et raction, respectivement. (d) On donne un enfant une certaine dose de vitamines, et on enregistre la variation de son poids et sa taille au bout de 12 semaines. S={(x,y):x est non-ngatif et y est positif, nul ou ngatif} o x est la taille de l'enfant et y la variation de son poids

Les lments de l'espace des ralisations reprsentent la partition la plus fine que l'on puisse considrer de l'espace des ralisations. Chaque fois que l'on effectue une exprience, un et un seul vnement lmentaire peut se produire. Les vnements lmentaires peuvent, cependant, tre combins pour constituer des vnements composs, qui correspondent, de cette faon, un ensemble vnements lmentaires qui possdent une certaine proprit commune. Par exemple, si on considre l'exemple (a) antrieurement dcrit, vnement "naissance d'une seule fille" est un vnement compos A qui regroupe deux vnements lmentaires: A={FG,GF}. La complexit de l'espace des ralisations dpend de la nature de l'exprience considre. Dans les exemples (a) et (b) antrieurement prsents, l'espace des ralisations est fini. L'exprience (c) nous donne, par contre, l'exemple d'une situation o l'espace des ralisations est

dnombrable infini. Dans ces deux cas, on dit que l'espace des ralisations est discret. Finalement, le dernier exemple (d) nous montre une situation o l'espace des ralisations est continu. 1.2 La probabilit d'un vnement La faon la plus intuitive d'introduire la probabilit d'un vnement est donne par l'approche frquentielle. Elle consiste dterminer la probabilit d'un vnement comme la frquence limite de son occurrence dans la ralisation rpte d'un grand nombre d'expriences. On reprsente la probabilit associe lvnement A par P(A). N P ( A) ! A , N o N est le nombre d'lments de S et N A est le nombre vnements lmentaires qui vrifient lvnement A. Cette dfinition est base implicitement sur une hypothse dqui-probabilit des vnements lmentaires. Finalement, ces deux approches intuitives de la dfinition de probabilit ont t remplaces par une dfinition axiomatique d'espace de probabilits, qu'on prsente par la suite. Dfinition. Espace de probabilits (S,F,P) (Kolmogoroff, 1933) Un espace de probabilits formel consiste dans la dfinition de trois entits: (S, F, P) o (i) S est l'espace des ralisations; (ii) F est une famille vnements en S: F = _ A Sa, telle que: A| (a) A, B A B (b) A F A F . (iii) P est une mesure de probabilit dfinie sur les lments de F, qui satisfait les axiomes suivants: (a) P ( S ) = 1 (b) P ( A ) u 0 (c) A B = P ( A B ) = P ( A ) + P ( B ) 1.3 Composition vnements Le dernier axiome des probabilits indique comment on peut calculer la probabilit de l'union (opration logique ou) de deux vnements mutuellement exclusifs (dont l'intersection est vide). Cependant, on est souvent intress par le calcul de la probabilit de l'union ou de l'intersection (opration logique et) vnements qui ne sont pas ncessairement des sousensembles disjoints de l'espace des ralisations.
Quand on applique un stimulus un animal, il existe seulement deux rponses possibles: soit l'animal rpond la stimulation (R), soit il ne rpond pas (N). Considrons maintenant une exprience qui consiste stimuler trois animaux et observer leur rponse. Pour cette exprience, l'espace des ralisations est S = {NNN,NNR,NRN,RNN, NRR, RNR, RRN, RRR}. Trois vnements composs o l'on peut tre intresss sont y A: un seul animal rpond y B: le premier animal rpond y C: le deuxime et troisime animaux ne rpondent pas. On constate facilement que ces vnements sont donns par y A={RNN, NRN, NNR} y B={RNN, RRN, RNR, RRR}

y C={RNN, NNN} Dans cet exemple, les vnements A, B et C ne sont pas disjoints.

Les lois de composition associes l'opration logique ou (occurrence de l'un ou de l'autre vnement, qui correspond considrer l'union des ensembles qui dfinissent chaque vnement) et la ngation (absence d'une certaine proprit, qui correspond considrer l'ensemble complmentaire) sont facilement dduites du fait que la probabilit de l'union de deux vnements disjoints est la somme des probabilits des vnements originels. P ( A ) ! 1  P ( A)
P ( A B ) ! P ( A)  P ( B )  P ( A B ) o A reprsente le complment de A.

1.4 Probabilit conditionnell e La probabilit d'un vnement (le degr de vraisemblance de l'occurrence de cet vnement) est souvent modifie quand on apprend qu'un autre vnement s'est produit (par exemple, la probabilit d'entendre un tonnerre pendant un orage change soudainement si on voit un clair...). La nouvelle valeur de la probabilit d'un vnement, A quand on sait que l'vnement B s'est produit, est la probabilit conditionnelle d'A tant donn B, et est reprsente par P ( A| B ). En fait, lopration de conditionnement est quivalente une redfinition de lespace des ralisations, qui est contraint au sous-ensemble de lespace des ralisations initial o lvnement conditionnant est vrifi. Dans cette optique, il est clair que pour les vnements de ce nouveau espace des ralisations, la probabilit conditionnelle est une mesure de probabilit part entire, et satisfait donc toutes les proprits nonces dans la section 1.2.
Un groupe de cadres est class selon son poids et l'incidence d'hypertension. Les proportions dans les diffrentes catgories sont donnes par le tableau suivant: obses .10 .15 .25 normal .08 .45 .53 maigre .02 .20 .22 total .20 .80 1.00

hypertension pas d'hypertension. Total

Si l'on sait qu'une personne est obse, alors les catgories correspondantes la deuxime et troisime colonnes n'ont pas d'intrt. On peut conclure de ce tableau, par exemple, qu'tant donn qu'une certaine personne est obse, la probabilit pour qu'elle souffre d'hypertension passe de la valeur (nonconditione) de 0.2 0.1/0.25=0.4, cest--dire deux fois suprieures.

L'exemple prcdent illustre l'application de la formule qui dfini les probabilits conditionnelles: Dfinition Probabilit conditionnelle La probabilit conditionnelle de l'vnement A tant donn vnement B est, par dfinition: P ( A| B ) ! P ( A B ) / P ( B ) . On vrifie facilement que cette expression est en accord avec l'interprtation frquentielle des probabilits. Proprits 1. Si A B ( A| B ) ! 1 ( car A B ! B ) 2. Si A B ( A| B ) u ( A ) ( car A B ! A )

3. Les probabilits conditionnelles satisfont les axiomes de mesure de probabilit. La dernire proprit a comme consquence que chaque vnement A de la famille F dfini un nouvel espace de probabilit (S,F,P(.|A)). 1.5 Indpendance statistique Deux vnements sont indpendants si leurs probabilits ne changent pas quand on conditionne l'un l'autre. Dans ces conditions, l'information que B s'est produit ne change pas la vraisemblance de l'occurrence de A: ( A| B ) ! ( A ) ( B | A) ! ( B ) Dfinition Deux vnements A et B sont statistiquement indpendants si ( A, B) ! ( A B) ! ( A) ( B) . Proprit Si (A,B) sont statistiquement indpendants, alors ( A , B ) et ( A , B ) le sont aussi.
Exercice: On lance une pice deux fois. La pice est symtrique, et donc les lmentaires possibles sont quiprobables. On dfinit les trois vnements suivants: y Face dans le premier lancement y Pile dans le deuxime lancement y Mme rsultat (pile ou face) dans les deux lancements. Quels sont les pairs vnements indpendants? Rponse: Les 3 pairs vnements possibles sont indpendants.

On remarque que la notion d'indpendance statistique ne concide pas avec celle dvnements mutuellement exclusifs. En effet, si A et B sont mutuellement exclusifs, alors leur intersection est vide et donc ( A , B ) ! 0, ce qui entrane P ( A| B ) ! 0, ainsi, si B se produit, l'occurrence de A est impossible.
Exercice: S=
1 2

_e , e , e , e a quiprobables. Soient les vnements A ! _e , e a, B ! _e , e a et C ! _ , e a. Montrer que P ( A , B ) ! P ( A , C ) ! P ( B , C ) ! 1 / 4 et, donc, que pris deux e
3 4 1 2 2 3 1 3

Un

espace

de

ralisations

est

constitu de quatre vnements lmentaires

deux,

0 ! P ( A , B , C ) { P ( A ) P ( B ) P ( C ) ! 1 / 8 , et que, donc, si on considre les trois

les

vnements

sont

tous

statistiquement

simultanment, ils ne sont pas indpendants.

1. 6 Loi de Bayes La loi de Bayes lie les probabilits conditionnelles de deux vnements. Soient A, B , ( A ) { 0 , ( B ) { 0 . Alors, P ( B| A )P ( A ) P ( A| B ) P( B ) La loi de Bayes est un des rsultats statistiques les plus frquemment utiliss en traitement statistique du signal. 1.7 Loi de la probabilit totale
N

Soit _ i a!1 une partition de S, cest--dire, telle que A i (i) Ai A j ! , i { j

4 v nements

indpendants.

Vrifier

aussi

que

(ii) S =

U Ai . i = 1 ,...N
P(B) ! P(B,A i ) ! P(B|A i )P(A 1 ) .
i !1 i !1 N N

Alors, pour vnement en S,

1.8 La loi des grands nombres La loi des grands nombres tablit le lien entre les approches frquentielle et axiomatique de la thorie des probabilits. Thorme (Loi des grands nombres) Soit A un vnement en S et p sa probabilit : p=P(A). Soit n le nombre de fois que l'on rpte la mme exprience, et k le nombre d'occurrences de A. Alors, k I " 0,  p e I n pg p 0 . n Pour la dmonstration de ce thorme, voir Papoulis, Probability, Random Variables and Stochastic Processes, page 52.

2. Variables alatoires discrtes et continues

Une variable alatoire est un codage de l'espace des ralisations, qui fait correspondre chaque vnement lmentaire une valeur numrique (relle). On associe ainsi chaque rsultat possible s S d'une certaine exprience alatoire un nombre rel x ! X ( s ). De cette faon, on peut oublier la nature particulire de l'espace des ralisations et dire, au lieu que lvnement s s'est produit, que la valeur x de la variable alatoire s'est produite. Les variables alatoires hritent les caractristiques de l'espace des ralisations original, et seront discrtes ou continues selon que S est discret ou continu. Les variables alatoires discrtes sont beaucoup plus faciles caractriser que les variables alatoires continues, et on les tudiera avant d'aborder l'tude des variables alatoires continues. Une v.a. (variable alatoire) discrte X ! _ 1 ,, x 2 , x 3 ,.....aest caractrise par la dfinition de x la probabilit P ( xi ) de chaque valeur possible de la variable.
Exemple: un magasin solde 15 radios, dont 5 sont dfectueuses. Si on essaye trois radios diffrentes, prises au hasard parmi les 15, quelle est la distribution de probabilit de la variable alatoire X= nombre de radios dfectueuses dtectes ? Rponse: P(x=0)=24/91; P(X=1)=45/91; P(x=2)=20/91; P(x=3)=2/91. Exemple: la probabilit qu'un singe ait une raction positive pendant un certain test est 1/3. On effectue des expriences jusqu' ce que la raction soit positive, et on dfinit la variable alatoire X comme le nombre d'expriences ralises. Dterminer la distribution de probabilit de X. x 1 1 / 3. Rponse: P(X=x)= ( 2 / 3)

2.1 Fonction de rpartition Dfinition (Fonction de rpartition) La fonction de rpartition de la variable alatoire X est, par dfinition FX ( x ) ! P ( X e x )

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -6

cest--dire, la probabilit pour que la variable alatoire prenne des valeurs infrieures une certaine valeur x.
-4 -2 0

Des proprits des probabilits, rsultent un certain nombre de proprits de la fonction de rpartition: y FX ( x ) est une fonction non-dcroisssante de x. y FX (  g ) ! 0, F X ( g ) ! 1
Exercice: Dmontrer ces deux proprits partir des axiomes de la mesure de probabilit. Exemple. Considrons l'exemple de la page 5, et prenons la variable alatoire dfinie par:

X (obse) ! 0, X (normal) ! 1,
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -6

X (maigre) ! 2

Selon la table de la page 5, la fonction de rpartition de X est

-4

-2

La fonction de rpartition permet le calcul de la probabilit pour que la v.a. prenne des valeurs dans un intervalle: P ( x1 x e x2 ) ! FX ( x2 )  FX ( x1 ) .
P(0 X e 1. 5) !
X

(1. 5)  X ( 0 ) ! 0. 78  0. 25 ! 0. 53

Comme c'est vident de l'exemple antrieur, la fonction de rpartition n'indique pas directement quels sont les vnements les plus probables. Effectivement, ces vnements ne correspondent pas aux valeurs de x pour lesquelles F X ( x ) prend des valeurs plus leves, mais celles pour lesquelles la fonction de rpartition varie plus rapidement. L'exemple antrieur montre la fonction de rpartition d'une variable alatoire discrte. La nature de la variable alatoire est vidente d'aprs le graphe de la fonction de rpartition, qui est une fonction en chelle, avec des discontinuits sur les valeurs possibles de la variable alatoire. On considre maintenant le cas de variables alatoires continues, qui prennent des valeurs dans un intervalle, comme par exemple, les variables alatoires associes des mesures de temprature, prcipitation, temps d'attente devant un guichet, etc. Les fonctions de rpartition de ces variables sont des fonctions continues. Dans ce cas, on peut driver la fonction de rpartition, et obtenir ainsi directement des informations sur les valeurs les plus probables de ces variables. 2.2 Densit de probabilit

Dans le cas de l' exemple prcdent,

Dfinition Soit X une variable alatoire de fonction de rpartition F X ( x ) . La fonction de densit de probabilit de x, est, par dfinition, la drive de la fonction de rpartition: dF ( x ) . f X ( x) ! x dx De cette dfinition, et du fait que F X (  g ) ! 0 , on peut trouver la fonction de rpartition partir de la densit de probabilit:
FX ( x ) !
x g

f X (u )du .

Proprits y f X ( x) u 0
y

(fonction non-ngative) (surface normalise 1)

g

f X ( x ) dx ! 1

Exercice: dmontrer ces deux proprits des densits de probabilit, cest--dire, qu'elles sont des fonctions non-ngatives avec aire unitaire.

La probabilit d'un intervalle est aussi directement calculable par intgration de la densit de probabilit.
P ( x1 x e x 2 ) ! f X ( u )du .
x1 x2

Densit de probabilit de variables alatoires discrtes Etant donn que, comme on l'a vu, la fonction de rpartition des variables alatoires discrtes n'est pas continue, elles ne possdent pas, en sens strict, une densit de probabilit. Cependant, et si l'on accepte le symbole de Dirac comme la drive d'une fonction chelon, on peut crire la densit de probabilit des variables alatoires discrtes comme une somme de Diracs, centrs sur les valeurs possibles de la variable, et pondrs par la probabilit de la valeur correspondante: f X ( x ) ! H ( x  x i ) P ( xi ) .
i

Exemple: la densit de probabilit pour l'exemple prcdent est

0.6 0.5 0.4 0.3 0.2 0.1 0 -1 0 1 2 3

2.3 Loi binomiale, de Poisson, de Gauss On prsente dans cette section quelques types de variables alatoires souvent utiliss.

10

2.3.1 La loi binomiale La loi binomiale a t dj introduite dans un des exemples de la section prcdente. C'est une variable alatoire discrte qui peut tre dfinie comme le nombre x de succs observs quand on ralise n rptitions indpendantes d'une exprience (dont les rsultats possibles sont succs, avec probabilit p, ou chec avec probabilit 1-p). Comme les diffrentes rptitions sont indpendantes, la probabilit d'occurrence de x succs dans un total de n rptitions, par exemple pour x=3, n=5, la probabilit pour que la squence fssfs se produise est, videmment, p x (1  p ) n  x . n Comme il y a -- combinaisons de n x x -- diffrentes squences de taille n avec x succs, x la probabilit dsire est donne par n Px ( x ) ! p x (1  p) n  x . x o n n! . ! k k !(n  k )! Cette loi de probabilit est connue par le nom de loi binomiale, et prend son nom du fait qu'elle est base sur les coefficients de l'expansion binomiale n n (a  b) n ! a k b n  k k !1 k On peut dmontrer facilement que la valeur moyenne de cette loi est np. Sa variance est npq. 2.3.2 La loi de Poisson La loi de Poisson dcrit une variable alatoire discrte qui prend des valeurs dans les entiers positifs: Px , x=1,2,3,... PX ( x ) ! e  P x! La loi de Poisson peut tre drive comme la limite d'une loi binomiale, quand n p g et p p 0 de telle sorte que np p P . Pour cette raison, on dit que la loi de Poisson dcrit les vnements rares.
Exemple. Pour effectuer un contrle de qualit, on procde au tirage au hasard de 20 objets dans une fabrication industrielle. Supposons savoir que 5% des objets de cette fabrication sont dfectueux. Le nombre N d'objets dfectueux dans l'chantillon prlev suit alors une loi binomiale de paramtres n=20 et p=0.05. Comparer pour des valeurs de x entre 0 et 4 la qualit de l'approximation de la loi binomiale par une loi de Poisson de paramtre P ! np ! 1. Exercice: Montrer que le paramtre P de la loi de Poisson concide avec la valeur moyenne et la variance de cette loi.

2.3.3 La loi Gaussienne La densit Gaussienne de paramtres Q et W dcrit une variable alatoire continue avec valeurs en R donne par
px ( x) ! 1 2 e 2W 2 TW
 1 ( x Q)2

11

La fonction de rpartition correspondante cette densit peut tre trouve table dans de nombreuses rfrences. La loi de Gauss de paramtre Q =0 peut tre encore drive comme une limite de la loi binomiale de paramtres n et p quand n p g (Thorme de Moivre) 1 b  2 x2 x  np 1 2W P(a b) p e dx , a n 2T W o W 2 ! p (1  p ). 2.3.4 Densit uniforme La densit uniforme sur un intervalle rel fini a , b est constante sur cette intervalle et nulle en dehors: 1 / (b  a ) a e x e b f X ( x) ! 0 sinon Les erreurs de quantification sont en gnral bien dcrites par cette loi. 2.3.5 Loi exponentielle Les densits exponentielles dcrivent des variables alatoires qui ont leurs valeurs centres autour de zro: e  Px x u 0 P f X ( x) ! 0 x 0 Cette loi est par exemple couramment utilise pour dcrire le temps de transmission d'un message en systmes de communication. 2.4 Esprance d'une variable alatoire Dfinition L'esprance (ou valeur moyenne) d'une variable alatoire X admettant la densit f X ( x ) est dfinie par
E ? X A ! xf X ( x ) dx ,
g g

pour les variables alatoires continues, et par E X ! xi P ( xi ) ,

i

pour les variables alatoires discrtes. Lesprance de la variable alatoire est le centre de gravit de la fonction de densit de probabilit.
Exemple. Considrer encore l'exemple de la page 5. La valeur moyenne de la variable alatoire dfinie dans la page 8 est

E X ! 0 v 0. 25  1 v 0.53  2 v 0. 22 ! 0. 99
ce qui est bien en accord avec notre notion intuitive qui est que le plus probable est d'observer des personnes normales.

12

Exemple. Une urne contient des balles numrotes de 1 N. Soit X le plus grand numro dans un chantillon de dimension n obtenu avec remplacement. La probabilit de lvnement X e k est

k r( X e k ) ! . N
Cet vnement peut scrire comme lunion de deux vnements disjoints :

{ X e k} ! { X ! k} { X e k  1}
et donc

p k ! r( X ! k ) ! {k n  (k  1) n }N  n
On peut donc calculer
N N E[ X ] ! k p k ! N  n N n 1  ( k  1) n k !1 k !1

Pour N grand, cette expression peut tre approxime par

E[ X ] $

n N n 1

La valeur la plus leve peut ainsi tre utilise pour estimer la valeur inconnue N.

Proprit Soit T un oprateur linaire, c.a.d. qui vrifie le principe de superposition: T ax  by ! aT x  bT y . Alors, E T X !T E X .
Exercice: Dmontrer cette proprit.

2.5 Moments d'ordre 2 Lesprance d'une variable alatoire nous indique tout simplement la position de son centre de gravit, mais ne nous dit rien sur la forme de la densit. Les moments d'ordre 2 donnent une information sur la dispersion des valeurs de la variable alatoire. 2.5.1 Valeur quadratique moyenne La valeur quadratique moyenne d'une variable alatoire X qui admet une densit de probabilit f X ( x ) est par dfinition
E ?X 2 A ! x 2 f X ( x ) dx .
g g

Pour les variables alatoires discrtes, la dfinition correspondante est

i Exercice: dterminer la valeur quadratique moyenne de la variable alatoire dfinie dans la page 8.

E X 2 ! xi2 P ( xi ).

2.5.2 Variance La variance d'une variable alatoire X qui admet une densit de probabilit f X ( x ) est par dfinition
2 var( X ) ! W X ! E ?( X  E ? X A) 2 A! ( x  E ? X A) 2 f X ( x )dx . g g

On dmontre facilement que

W2 ! E X 2  E X X
2

13

Exercice: Dmontrer l'galit prcdente. Exercice: Dmontrer que pour une Gaussienne de paramtres

Q, W,

Q!E X W 2 ! var ( X ) ! E X 2  Q 2

Proprits (i) W 2 u 0 . X (ii) var ( X  a ) ! var ( X ) , o a est une constante. (iii) var ( aX ) ! a 2 var ( X ) , o a est une constante A la racine carre de la variance on donne le nom d'cart type. La moyenne, la valeur quadratique moyenne et la variance sont des cas particuliers de dfinitions plus gnrales, de moment d'ordre n et de moments centrs d'ordre n, qui sont dfinis par
g

Qn ( X ) ! E?X n A!

g g

x n f X ( x )dx

et par
1 n ( X ) ! E?( X  Q1 ( X )) n A! ( x  Q1 ( X )) n f X ( x )dx
g

respectivement. On constate facilement que

var ( X ) ! M 2 ( X ) .

2.6 Loi des grands nombres Les lois des grands nombres sintressent aux limites de sommes du type S n ! X 1  ....  X n quand le nombre de variables, n, est grand. Thorme : Loi (faible) des grands nombres Soient { X i } des variables alatoires indpendantes et identiquement distribues. Si la valeur moyenne E ( X i ) ! Q existe, alors, pour tout I " 0 , quand n p g ,
S Pr n  Q " I p 0. n
Dmonstration : On admet, sans perte de gnralit, que Q !

Si la variance des variables alatoires existe ( W ), le thorme est un cas particulier de lingalit de Chebyshev :
2

en prenant K ! nI , car dans ce cas E ( S n ) ! nW , et on a donc

2 2

0.

Pr _ n " K ae S

2 E(S n ) K2 2 E (S n )

K2

W2 p 0 . nI 2 n p g

14

Si W

nexiste pas, la dmonstration est base dans la mthode de troncation.

On a donc

et la loi des grands nombres sera dmontre si on peut montrer que pour tout I " H tel que

1 r U 1  ...  U n " In p 0 2
et

Soit

a ! E (| X i |) alors, on peut affirmer que

Les variables alatoires U i sont indpendantes et identiquement distribues, alors

1 n

Comme, par construction et donc

U k n pg p X k E (U k ) n pg p E ( X k ) ! 0
la variance concide avec la moyenne quadratique et par application de lingalit de Chebyshev, on obtient le rsultat prtendu :

1 8aH Pr U 1  ...  U n " I n e 2 2 I et il existe toujours une valeur de H qui rend le terme droit aussi petit que lon souhaite.
Pour lingalit concernant les variables Pour H "

r_ 1  ...  Vn { 0ae n r_ 1 { 0a V V .

Vk , remarquons que

0 arbitraire

V r_ 1 { 0a! r _X 1 " H na

qui tend vers 0 quand n tend vers

g.

Thorme Central Limite Soit { X i } une squence de variables alatoires indpendantes et identiquement distribues, et
W n tends en distribution vers une variable alatoire gaussienne de moyenne nulle et variance unitaire. Q ! E( X i ) g leur moyenne et W 2 ! Var ( X i ) g . Soit S n ! X 1  ...  X n .Alors S n  nQ

Les thormes qui viennent dtre noncs admettent que les variables sont identiquement distribues. En fait, la loi (faible) des grands nombres et le thorme central limite sont valables

Var (

 ... 

E(

2 i

) ! n Var (

r 1  ... 

Xk !

U k ! 0,

Pour tout n, soient

Uk ,

les variables alatoires dfinies par

Uk ! X k ,

! 0, X k e nH

! X k , X k " nH
k

 Vk

0 , on peut trouver un

"

1 In p 0 2

) e anH

) e a n2 H

15

dans des conditions plus gnrales, quand les variables { X i } suivent des lois distinctes. En particulier, la loi des grands nombres est vrifie si les { X i } sont uniformment bornes, cest dire, sil existe une constante A telle que X i
A,  i . Une condition suffisante est que la

variance de la somme doit tendre vers 0 plus vite que

1 . n

Loi (forte) des grands nombres La squence { X i } obit la loi forte des grands nombres si pour tous I " 0, H " 0 il existe un N tel que, avec probabilit plus grande ou gale 1  H , et pour tout r " 0 , toutes les r+1 ingalits suivantes sont satisfaites : S n  mn I , n ! N , N  1,... N  r n La loi forte implique quavec probabilit un la variable alatoire S n  n / n tend vers zro.

2.7 Distribution conjointe On a dfinit la probabilit conjointe de deux vnements comme la probabilit de son union. Admettons maintenant que X et Y sont deux variables alatoires dfinies sur une mme exprience alatoire ( le mme espace de ralisations). Dfinition (Fonction de rpartition conjointe ) La fonction de rpartition conjointe de deux variables alatoires dfinies sur une mme exprience alatoire est par dfinition FXY ( x , y ) ! P ( X e x et Y e y ) ! P ( X e x , Y e y ) . Proprits (i) FXY (  g , y ) ! FXY ( x ,  g ) ! 0. (ii) F XY ( g , g ) ! 1 p ( x1 X e x 2 , y1 Y e y2 ) ! FXY ( x2 , y 2 )  FXY ( x2 , y1 ) (iii)  FXY ( x1 , y 2 )  FXY ( x1 , y1 ) (iv) P ( x1 X e x2 , Y e y ) ! FXY ( x2 , y )  FXY ( x1 , y )
Exercice: dmontrer les proprits prcdentes.

2.7.1 Densit conjointe La densit conjointe de deux variables alatoires est, par dfinition, la drive de la fonction de rpartition conjointe x 2 F XY ( x , y ) f XY ( x , y ) ! . xxxy Proprits (i)  ( x , y ) R 2 , f XY ( x , y ) u 0.
g g

(ii)

gg

XY

( x , y )dxdy ! 1 .

16

2.7.2 Densit marginale On peut rcuprer la densit de probabilit de chacune des variables alatoires conjointement distribues partir de leur densit conjointe:
g g XY

f X ( x) !

g

( x , y ) dy

f Y ( y) !

g

XY

( x , y ) dx .

2.9 Variables alatoires indpendantes Deux variables alatoires sont indpendantes ssi FXY ( x , y ) ! FX ( x ) FY ( y ) f XY ( x , y ) ! f X ( x ) f Y ( y ) .
Exercice: vrifier l'quivalence des deux conditions de l'quation prcdente. Exercice: montrer que pour toutes f onctions g(x) et f(y), g(X) et f(Y) sont des variables alatoires indpendantes si X et Y sont elles-mmes des variables alatoires indpendantes.

2.10 Moments croiss On a dfinit les moments dordre n (et les moments centrs correspondants) d'une variable alatoire. Les moments croiss d'ordre n caractrisent l'occurrence simultane des valeurs de variables alatoires conjointement distribues. Covariance Soit X et Y deux variables alatoires conjointement distribues. Par dfinition, la covariance de X et Y est
g g

cov( X , Y ) ! E?( X  Q X )(Y  QY )A!

gg

(x  Q

)( y  QY ) f XY ( x, y )dxdy .

Coefficient de corrlation Le coefficient de corrlation de deux variables alatoires conjointement distribues, X et Y, est, par dfinition, cov( X , Y ) V( X , Y ) ! . W X WY Deux variables alatoires X et Y sont non-correles si leur moment crois centr d'ordre deux est nul: cov( X , Y ) ! 0. Deux variables alatoires X et Y sont orthogonales si leur moment crois d'ordre deux est nul: E ( XY ) ! 0 . 2.11 Vecteurs alatoires Un vecteur alatoire est un vecteur dont les entres sont des variables alatoires conjointement distribues. La fonction de rpartition d'un vecteur est, par dfinition, la fonction de T rpartition conjointe de ses composantes. Soit X ! x1 x 2 K x n , o x T dsigne le vecteur transpos de x. Alors: F X ( x ) ! F X 1 X 2 L X n ( x1 , x 2 , L x n )
f X ( x ) ! f X 1 X 2 L X n ( x1 , x 2 , L x n )

Vecteur Gaussien

17

Un vecteur est Gaussien (ou normalement distribu) ssi sa densit de probabilit a la forme suivante 1 1 f X ( x) ! exp ( x  Q ) T 7 1 ( x  Q ) n 2 (2T ) 7 o Q est le vecteur valeur moyenne et 7 est la matrice de covariance:
Q ! E ? X A ! E?X 1 AE?X 2 A E ?X n A T . var?X 1 A cov( X 1 X 2 ) . cov( X 1 X 2 ) var?X 2 A T 7 ! E ?XX A! / 1 cov( X 1 X n ) cov( X n X 2 ) .

cov( X 1 X n ) cov( X 2 X n ) / var?X n A

Exercice: montrer que la combinaison linaire de variables alatoires conjointement Gaussiennes est encore une variable alatoire Gaussienne. Exercice : Soit X et Y deux variables alatoires conjointement Gaussiennes. Dterminer la loi marginal de X et la densit conditionnelle de X sachant Y.

18

3. Exercices

1. Un inspecteur doit en visiter un parmi 20 tablissements de restauration rapide qui vendent des hamburgers, pour vrifier le niveau de bactries dans les hamburgers. Pour choisir au hasard l'tablissement visit, il crit leurs adresses sur 20 fiches, mlange-les, et tire une fiche au hasard de la pile sans regarder l'adresse. Admettez que, sans que l'inspecteur le sache, les hamburgers de 5 des tablissements ont un niveau de bactries lev. Quelle est la probabilit pour que l'inspecteur observe un taux de bactries lev dans l'endroit visit? 2. Un paysan a une bote qui contient 30 ufs, parmi lesquels 5 ont des tches de sang. Il vrifie 3 ufs, en les prenant au hasard, l'un aprs l'autre, de la bote. Quelle est la probabilit pour que les deux premiers ufs aient des tches de sang et le troisime soit propre? 3. Une maladie du sang existe sous une forme grave dans 2% de la population, sous une forme lgre dans 10%, et ne se prsente pas du tout pour les 88% restants. Un test clinique a un taux de dtection de 90% si la maladie est srieuse, et de 60% pour les cas lgers. La probabilit de dtection (fausse) pour les personnes non malades est de 10%. On applique ce test une personne slectionne au hasard dans la population et le rsultat est positif. Quelle est la probabilit pour que la personne soit gravement atteinte de la maladie? 4. Un systme a deux composantes (1 et 2) qui fonctionnent indpendamment. On admet que Pr(composante 1 en panne) = 0.1 Pr(composante 2 en panne) = 0.2 I Dterminer la probabilit pour que le systme fonctionne (a) quand les deux composantes sont connectes en srie (le systme est oprationnel seulement quand les deux composantes marchent). (b) quand les deux composantes sont en parallle (le systme marche quand au moins une des composantes fonctionne). II Combien de composantes lies en parallle, chacune avec une probabilit d'tre oprationnelle gale 0.9, faut il utiliser, pour que la probabilit que le systme fonctionne soit gale ou suprieur 0.99? 5. La probabilit pour qu'un singe ragisse positivement pendant une certaine exprience est de 1/3. On effectue des expriences jusqu' ce qu'une raction positive du singe soit obtenue. Soit x le nombre d'expriences effectues. Quelle est la fonction de rpartition de x ? 6. Dmontrer, partir des axiomes de probabilit, que P ( A B ) ! P ( A)  P ( B )  P ( A B ) 7. Dmontrer le thorme suivant: Si x et y sont des variables alatoires indpendantes, alors, pour toutes les fonctions g et f , g(x) et f(y) sont encore des variables alatoires indpendantes. 8. Dire sous quelles conditions on a: var (  y ) ! var ( )  var( y ) 9. Dmontrer les proprits suivantes du coefficient de corrlation: (a) V ( ax  b , cy  d ) ! V ( x , y )

19

(b) V ( x , y ) e 1 (c) dans quelles conditions l'ingalit antrieure est-elle vrifie avec galit? 10. (Mdiane) La mdiane d'une distribution est la valeur m0 de la variable alatoire telle que P ( x e m0 ) ! P ( x u m0 ) ! 0. 5. Dterminer la valeur moyenne et la mdiane des variables alatoires suivantes: (a) Pr( x ! x ) ! 0, x _ ,3,4,5,6a Pr( x ! 2 ) ! Pr( x ! 6) ! 0.1, Pr(x ! 3) ! Pr( x ! 4) ! 0.3, Pr( x ! 5) ! 0.2. 2 ; (b) Pr( x ! x ) ! 0, x _ ,1,2 ,3a Pr( x ! 0) ! 0.3, Pr( x ! 1) ! 0.4, Pr(x ! 2) ! 0.2 , Pr( x ! 3) ! 0.1. 0 ; 11. Dans une tude de la coexistence de deux types d'insectes, soient x et y le nombre d'insectes de type A et B respectivement, qui rsident sur une mme plante. A partir d'un grand nombre d'observations, on a obtenu la loi conjointe suivante: x\y 1 2 3 4 0 0.0 0.05 0.05 0.1 1 0.08 0.15 0.1 0.1 2 0.2 0.12 0.05 0.0 (a) Calculer la probabilit pour qu'il existe un nombre plus lev d'insectes du type B que du type A sur une plante. (b) Dterminer la valeur moyenne et la variance de x et de y et leur covariance. (c) Dterminer le coefficient de corrlation V( x , y ) . (d) Soit t le nombre total d'insectes des deux types qui vivent sur une mme plante: t=x+y. Dterminer la loi de t et l'utiliser pour calculer la moyenne et la variance de t. S'agit-il de variables alatoires indpendantes? 12. (Bernoulli) Une exprience alatoire rptitive est de Bernoulli si elle obit aux postulats suivants: (i) Dans chaque exprience, il y a uniquement deux vnements possibles: S (succs) et F (chec); (ii) dans chaque exprience, a probabilit de succs est la mme : p=P(S). La probabilit d'chec est reprsente par q=1-p; (iii) Les expriences sont indpendantes. La probabilit d'un succs dans une exprience ne change pas si on connat le rsultat des expriences antrieures. (a) Dterminer la probabilit d'avoir k succs quand on effectue N expriences (loi binomiale). (b) Obtenir la loi de probabilit de la variable alatoire n, dfinie comme le nombre dexpriences ralises jusqu l'observation d'un succs (loi gomtrique). 13. Soit p la probabilit (inconnue) pour quune voiture choisie au hasard soit rouge.Contez le nombre de voiture rouge dans le parking de lcole, et le nombre total de voitures qui y sont gares. (i) Utilisez la distribution binomiale pour dterminer la probabilit du nombre de voitures rouges observes pour diffrentes valeurs de p =0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9. Tracez graphiquement la courbe obtenue. (ii) A partir du graphe obtenu, dterminez la valeur de p qui maximize la probabilit de votre observation.

20

Note : La probabilit p inconnue est estime en utilisant lobservation du nombre de voitures rouges. Le principe illustr dans cet execice pour dterminer la valeur dun paramtre inconnu partir de donnes est appel la mthode du maximum de vraisemblance, et sera tudi dans un chapitre ultrieur.

14. Considrer la loi gomtrique obtenue dans le dernier problme: P ( n ! n) ! q n 1 p . (a) dterminer sa valeur moyenne et sa covariance. (b) considrer que la premire exprience avec succs a t la kme. Dterminer la probabilit conditionnelle de la variable alatoire z, dfinie comme le nombre d'expriences additionnelles jusqu' un nouveau succs. Le rsultat doit fournir une justification la proprit d'absence de mmoire usuellement associe aux variables alatoires gomtriques. 15. (Poisson) Un vnement S est de Poisson s'il vrifie les postulats suivants: (i) Indpendance : le nombre de fois que S se produit dans un intervalle de temps quelconque est indpendant du nombre de fois que S s'est produit dans n'importe quel autre intervalle disjoint. (ii) Absence de regroupement : la probabilit de deux ou plus occurrence simultane est nulle. (Iii) Taux constant : le nombre moyen d'occurrences par unit de temps est constant, Q , et ne change pas avec le temps. La loi de ces variables est
e QQn . n! (a) dterminer la valeur moyenne et la variance de la loi de Poisson. (b) soit t 0 un instant du temps fix, et t1 la premire occurrence aprs t 0 . On dfinit la variable x=t1-t 0 . Obtenir la densit de probabilit de la variable alatoire x (densit exponentielle). Montrer que la densit exponentielle possde une proprit d'absence de mmoire analogue celle de la loi gomtrique. P (n ! n) !

16. Soient x et y deux variables alatoires continues indpendantes, et z une variable alatoire dfinie par: z=x+y. Obtenir une expression pour la densit de probabilit de z en fonction des densits de x et de y. 17. (Gnralisation de lingalit de Chebyshev) Soit J (t ) " 0 , pour t " 0 une fonction monotone croissante. Dmontrer que si E (J (t )) ! 18. (Ingalit de Schwarz) Dmontrer que pour toutes variables alatoires avec variance finie
E ( XY ) 2 e E ( X 2 ) E (Y 2 ) .

existe, alors r_X u tae

J (t )

Suggestion : utiliser le fait que pour tout t le polynme E ((tX  Y ) 2 ) est positif.

"

21

19. Soient X 0 , X 1 ,..., X n des variables alatoires conjointement Gaussiennes, de moyenne nulle et matrice de covariance E ( X i X j ) ! +ij . Dmontrer que E ( X 0 | X 1 ,..., X n ) ! P i X i , et
i !1 n

dterminer les constantes P i en fonction des +ij . 20. (Ingalit de Jensen) Soit I un intervalle en R. Une fonction J (x) en I est convexe si pour tout x I , y I
J (tx  (1  t ) y ) e tJ ( x)  (1  t )J ( y ) .

Dmontrer que si Y est une variable alatoire avec domaine I et E | Y | g , alors pour J (x) convexe en I et E | J (Y ) | g
J ( EY ) e E (J (Y )).

Espace Hilbertien de Variables Alatoires

Dans cet appendix nous prsentons la structure despace Hilbertien qui peut tre dfinie dans lesemble des variables alatoires de moments dordre deux finis. Cette structure permet une interpretation gomtrique simples de beaucoup de problmes. Rappelons dabord la notion despace vectoriel rel. Un espace vectoriel rel H est constitu par un groupe ablien (V , ) , le corps des rels , et une multiplication entre les lments de V et , qui satisfait les axiomes suivants, u , v, w V , a, b Groupe ablien (i) u  v ! v  w V (u  v)  w ! u  (v  w) (ii) (iii)  0 V : 0  v ! v v  (  v ) V : v  (  v ) ! 0 (iv) Multiplication scalaire a (u  v) ! au  ab (v) (vi) (a  b )u ! au  bu a (bu ) ! (ab)u (vii) (viii) 1.u ! u Dfinition Un espace vectoriel rel H dans lequel on a dfini un produit interne est un espace pr-Hilbertien. Le produit interne , " est une application , " : H v H p qui satisfait les axiomes suivants u , v, w , a , b u , v "! v, u " (i) (ii) u , u " u 0, u , u "! 0 u ! 0 (iii) (au  bv, w "! a u , w " b v, w "

22

A partir dun produit interne, on peut dfinit une norme dans lespace vectoriel H de la faon suivante
u
2

! u, u "

qui satisfait les proprits suivantes u, v " e u v (i) (ii) (iii)

uv e u  v uv  u v
2 2

!2u

2v

Dfinition On dit quune application d (,) : H v H p ?0, g est une distance si d (u , v) ! d (v, u ) (i) d (u , u ) u 0, d (u , u ) ! 0 u ! 0 (ii) (iii) d (u , v) e d (u , w)  d ( w, v) A paritr dun produit interne on peut toujours dfinir une distance 1/ 2 d (u , v) ! u  v Pour une squence dlments de H _ n , n ! 0,1,2,...atend vers un lement u de H si la u squence relle d (u n , u ) p 0 en . Thorme Le produit interne est une fonction continue : x n p, y n p y x n , y n "p x , y " Dfinition Une squence est de Cauchy si d ( xn , x m ) p 0 quand n, m p g . Dfinition Un espace est complet sil contient le limite de toutes les squences de Cauchy. Dfinition Un espace Hibertien ets un espace vectoriel avec un produit interne et qui est complet pour la mtrique d ( x, y ) ! x  y , x  y " 1 / 2 ! x  y Dfinition On dit que M est un sous-espace de H si a, b , u , v M , au  bv M (ferm par rapport aux combinaisons linaires). Pour tout sous-ensemble S H on reprsente par Sp_ a lensemble de toutes les S combinaisons linaires des elments de S. Dfinition Deux lments u,v de H sont orthogonaux si u , v "! 0 uBv

23

On dit quun lment u de H est orthogonal un sous-ensemble S de H sil est orthogonal tout lment de S : uBS x S , uBx On dit que deux sous-ensembles S, P de H sont orthogonaux si tout lment de S est orthogonal tout lment de P : u S , v P , u B v Dfinition On dit que H est la somme directe de M H et de N H si NBM, et x H, x ! u  v, u M, v N H ! M N Thorme (de la Projection Orthogonale ) Soit H un espace de Hilbert et M un sous-espace de H. Soit x un lment de H. Alors, x peut tre dcompos dans la somme x ! u  v , u M , vB M La dcomposition est unique, et u est le point de M le plus proche de x : w M , d ( x, w) u d ( x, u ) avec galit ssi w=u. Dfinition Le point u dans le thorme prcdant est appel la projecttion orthognale de x sur M et on le reprsente par ( x | M ) . Soit (;, B, P ) un espace de probabilit, et considrons lespace de toutes les variables alatoires de variance finie (fonctions de carre intgrable) :
X : ; p : EX 2 ! X 2 ( w) dP ( w)
;

On peut facilement vrifier quil sagit dun espace vectoriel, avec le somme usuelle de fonctions (point point) et multiplication par un scalaire. Dfinissons sur cet espace vectoriel lapplication suivante x, y " 2 ( ; ,B ,P ) ! E ( xy ) Pour que cette application soit un produit interne, il faut que c est dire, identifier la variable alatoire qui prend identiquement la valeur zro toutes les variables alatoires de variance nulle. Ceci est encore quivalent dire que si pour deux variables x et y x  y, x  y " L2 (; , B , P ) ! 0 x ! y . On constant ainsi que pour obtenir une structure despace pr-Hilbertien, on doit considrer la partition de lespace des variables alatoires de variance finie obtenue avec la relation dquivalence dfinie par lquation antrieure. On dsigne cet espace par L2 (;, B,P ) . Throrme Lespace L2 (;, B, P ) est un espace Hilbertien (cest dire, il est complet pour la norme dfinie partir de , " L2 ( ;,B,P ) ).

x, x " L2 ( ;,B,P ) ! 0 x ! 0 ,

24

Ce thorme est fondamental pour interprter gomtriquement la structure des estimateurs derreur quadratique moyenne mininale, en mettant notre disposition les notions de projection orthogonale, dangle entre varaibles alatoires, despace engendr par un ensemble de variables alatoires, etc.

Appendice : Random Walks

On sintresse dans cette section des suites alatoires qui prennent des valeurs {-1,+1} et leurs sommes partielles s k ! I k  s k 1 , k ! 1,2,.... s 0 ! 0 illustrant lapplication de la thorie de la probabili ltude des proprits statistiques de suites alatoires. Dfinition On appellera chemin jusquau point (n,x) toute squence pour laquelle sn ! x Il y a 2 n chemins de longueur n. Soient p et q le nombre de fois que +1 et 1 se rptent dans un chemin jusquau point (n, x). Alors n=p+q x = p-q Le nombre de chemins diffrents jusquau point (n,x) est p  q p  q N n, x ! p ! q Lemme (principe de rflexion) Soient A=(a,E) et B=(b,F), b>a>0, et EF>0. Soit encore A=(a,-E) Le nombre de chemins de A jusqu B qui passent par zro est gal au nombre total de chemins de A jusqu B.
3

2.5

1.5

0.5

-0.5

-1 1

Dmonstration Soit s un chemin de A jusqu B et t le premier instant o il passe par zro. Alors le chemin

25

s ! (E , s a 1 , s a  2 ,...0, s t 1 ,...s b ) est un chemin de A jusqu B. On peut donc trouver une
correspondance entre tous les chemins de A B qui passent par zro et tous les chemins de A B.

Thorme Soient n et x des entiers positifs. Il existe exactement N n, x qui ne passent pas par zro.
Dmonstration Le nombre de chemins depuis lorigine jusqu B qui ne passent pas par zro est gal au nombre de chemins de (1,1) jusqu` B qui ne passent pas par zro, et encore gal au nombre de chemins depuis lorigine jusqu (n-1,x-1) qui ne passent pas par zro. Par le LEmma, le nombre de chemins depuis (1,1) qui passent par zro est gal au nombre total de chemins de (1,-1) jusqu (n,x). Finalement, ce dernier est gal au nombre de chemins depuis lorigine jusqu (n-1,x+1), et donc le nombre de chemins depuis lorigine jusqu B qui ne passent pas par zro est donn par

x chemins de lorigine jusqu (n,x) n

N n 1, x 1  N n 1, x 1
3

2.5

1.5

0.5

0 1 2 3 4 5 6 7

Lutilisation de la formule pour le nombre de chemins permet de trouver le rsultat du thorme.

La probabilit pour quun chemin passe par le point (n,x) est donne par n 2 n p n , x ! Pr( xn ! x) ! n x 2 le quotient entre N nx , et le nombre total de chemins de longueur n. Un retour lorigine peut se produire uniquement se n est pair, i.e. n=2R. On dfini 2R u 2R ! r( s 2R ! 0) ! 2  2R . R
Par la formule de Stirling, n!! 2T n n 1 / 2 e  n (1  I n ), I n n pg p 0 , on peut obtenir

26

. TR Un chemin a un premier retour lorigine linstant 2Rsi s1 { 0,....s 2R 1 { 0, s 2R ! 0 . On reprsente la probabilit pour un premier retour lorigine linstant 2R par f 2R . On peut reconnatre facilement que
u 2 n ! f 2k u 2 n 2 k
k !1 n

u 2R $

Lemme La probabilit pour quaucun retour lorigine arrive jusqu linstant 2 n est gale la probabilit pour quun retour lorigine se produise linstant 2n. r( s1 { 0,..., s 2 n { 0) ! r( s 2 n ! 0)
Dmonstration Noter que

Pr( s1 { 0,..., s 2 n { 0) ! Pr( s1 " 0,..., s 2 n " 0)  Pr( s1 " 0,..., s 2 n " 0) .
et les deux probabilits du membre droit soit gales, et donc,

u2n !

1 r( s1 " 0,..., s 2 n " 0) . 2

g

La probabilit prcdente peut scrire comme la somme sur tous les valeurs positives de s 2 n :

Pr( s1 " 0,..., s 2 n " 0) ! Pr( s1 " 0,...s 2 n 1 " 0, s 2 n ! 2 r )

r !1

et en utilisant le thorme de la page ? ? pour le nombre de chemins pour chaque valeur de r, on obtient

Pr( s1 " 0,...s 2 n 1 " 0, s 2 n ! 2 r ) !

1 g ( p 2 n1, x1  p2 n1, x1 ) 2 r !1

Le terme ngatif pour un r donn est annul pour le terme positif pour la valeur de r suivante et donc

1 1 p 2 n 1,1 ! u 2 n 2 2
ce que complte la preuve.

Lemme La probabilit pour que le premier retour lorigine soit linstant 2n est donne par f 2n ! u 2 n 2  u 2n .
Dmonstration Le premier retour lorigine est linstant 2n si

s1 { 0,..., s 2 n 2 { 0 et lvnement

s1 { 0,..., s 2 n { 0 ne se produit pas. Les deux vnements sont donc disjoints, et on peut crire

u 2 n ! u 2 n 2  f 2 n ,
ce qui conclue la preuve.

Thorme La probabilit pour que le dernier retour zro dans un chemin de longueur 2n soit linstant 2k est donne par E 2 k ,2 n ! u 2 k u 2n  2k
Dmonstration En admettant toujours que tous les chemins possible sont quiprobables, la probabilit est donne par le nombre de chemins qui vrifient la condition sur le nombre total de chemins de longueur 2n, qui est gal

2 2 n . Le nombre total de chemins qui passent par zro linstant 2k est gal 2 2 k u 2 k .

27

En prenant le point (2k,0) comme nouvelle origine, on peut conclure que le nombre de chemins pour les dernires 2n-2k instants qui sont toujours diffrents de zro sauf dernier 2n sont en nombre de

2 2 n 2k u 2 n 2 k . Ce thorme montre que le rsultat est fortement contradictoire avec ce que lintuition pourrait indiquer. En particulier, on constate que la distribution pour le dernier passage par zro est symtrique autour de n : en fait, les instants 2n-2k et 2k sont galement probables. Ce fait a comme consquence que avec probabilit il ny aura pas de changement pendant la dernire moiti de la squence. La distribution est concentre sur les extrmes : les valeurs les moins probables sont autour de n.