Escolar Documentos
Profissional Documentos
Cultura Documentos
LINFORMATION
1. 1
CHAPITRE 1: THORIE DE
LINFORMATION
K 1
PK = probabilit dobserver SK k P = 1
k =0
Quantit dinformation :
1. 2
Quantit moyenne dinformation :
K 1
I ( S ) = Pk I ( Sk )
k =0
K 1
= Pk log 2 ( Pk ) = H ( S )
k =0
Entropie de
la source S
(en bits)
Proprits :
0 H ( S ) log 2 ( K )
H ( S ) = 0 lorsque Pi = 1 et Pi j = 0
H ( S ) = log 2 ( K ) lorsque Pi = 1/ K , i
1. 3
1.2 Codage de source
compression de linformation
1.2.1 Gnralits
K 1
Longueur moyenne : L = Pk lk
k =0
avec lk , la longueur du code de S k
Efficacit : = H ( S ) / L
En gnral : H ( S n ) = nH ( S )
1. 4
Ingalit de Kraft-Mc Millan
1
2 lk
k =0
1. 5
1.2.2 Codes de Huffman
Procdure :
3. Deux groupes?
OUI : passer au 4.
NON : retourner au 2.
1. 6
k 1
(
Variance dun code : = Pk lk L )
2
2
k =0
1. 7
Stratgie de codage
Soit S = ( S0 , S1 ,L, S K 2 , S K 1 ) .
K 1 K 1 K 1
Pk log 2 (1/ Pk ) Pk lk < Pk log 2 (1/ Pk ) + Pk
144
k =0
42444 3 1 23 1444
k =0 k =0
424444 3
H (S ) L H ( S )+1
S0 S0 S 0 S1 S0 S 2 S0 S3
SS S1S1 S1S2 S1S3
Soit S 2 = 1 0
S 2 S0 S 2 S1 S2 S2 S 2 S3
S3 S 0 S3 S1 S3 S 2 S3 S3
H ( S 2 ) L2 H ( S 2 ) + 1
1. 8
De manire gnrale:
H ( S n ) Ln H ( S n ) + 1
nH ( S ) Ln nH ( S ) + 1
Ln 1
H (S ) H (S ) +
n n
Ln
et lim = H (S )
n n
1. 9
Codage dynamique de Huffman
Procdure :
1.10
1.2.3 Lalgorithme de Shannon Fano
Procdure
1.11
1.2.4 le codage arithmtique
Procdure
1.12
4.Tant quil reste un symbole dans la chane
coder :
Coder ABAC
1.13
1.2.5 Lalgorithme de Lemper-Ziv 77
Spcificit
Mthode de compression par dictionnaire
Trs efficace pour des textes longs
Principe
Utilisation dune partie du texte dj
comprim comme dictionnaire
Remplacement des squences du texte par
des pointeurs dans ce dictionnaire
Structure
Fentre coulissante de N caractres
ABCD ABCD..
N-F F
(dictionnaire) (tampon de lecture)
1.14
LZ77
1.15
1.2.5 Lemper Ziv 78
Algorithme
boucle
lire le caractre suivant j
si chane + j est dans le dictionnaire
alors chane = chane + j
sinon
sortir le code de chane
ajouter chane + j au dictionnaire
chane = j
fin_si
fin_boucle
1.16
Synthse sur les techniques de codage
Algorithme de Shannon-Fano :
simple mettre en oeuvre, faible temps de
calcul
surplant par lalgorithme de Huffman peu
utilis aujourdhui
1.17
Algorithme arithmtique:
1.18
LZ77 (base de pkzip, arj, gzip,...)
1.19
1.3 Canal de transmission
S (0,1) Y (0,1)
S Y
Pe Pe
0 0
1-Pe
1.20
Information mutuelle : Contribution du canal
I ( S ,Y ) = H ( S ) H ( S / Y )
= H (Y ) H (Y / S )
H(S) H(Y)
Entropie conjointe
H ( S , Y ) = H ( S ) + H (Y ) I ( S , Y )
= H ( S / Y ) + I ( S , Y ) + H (Y / S )
1.21
I ( S , Y ) dpend de S
=> la capacit de transmission du
canal dpend de lusage qui en est fait.
Capacit du canal :
C = I ( S , Y ) P =1/ K i
i
1.22
Interprtation de Shannon
Codeur
Source (dtection Canal
derreur)
k
: taux de codage
n
= fraction des bits du canal contenant
de linformation
k
Si C possibilit de transmission sans
n
erreur
Capacit en bit/s
1.23
Limite de Shannon
Signal x ( t ) Canal x (t ) + b (t )
Bruit b ( t )
Puissance du signal : x 2 ( t )
Puissance du bruit (blanc): b 2 ( t ) = B0W
x 2 (t )
CMAX = W log 2 1 + en bits/s
b (t )
2
1.24
Dfinition de diffrentes grandeurs lies la
ralisation dun vnement x :
Information h( x) = log 2 p( x)
Information conditionnelle
h( x / y ) = log 2 p( x / y )
p( x / y)
Information mutuelle i ( x, y ) = log 2
( )
p x
1.25
Dfinition de diffrentes grandeurs lies
une source discrte X
H ( X ,Y ) = E [h( X ,Y )]
= p ( xi , y j ) log 2 p ( xi , y j )
n m
i =1 j =1
Entropie conditionnelle
H ( X / Y ) = E [ h( X / Y )]
= p ( xi / y j ) log 2 p ( xi / y j )
n m
i =1 j =1
1.26
Information mutuelle moyenne
I ( X , Y ) = E [i ( X , Y ) ]
p ( xi / y j )
= p ( xi , y j )
n m
log 2
i =1 j =1 P ( xi )
p ( xi , y j )
= p ( xi , y j )
n m
log 2
i =1 j =1 P ( xi ) P ( yi )
1.27