Escolar Documentos
Profissional Documentos
Cultura Documentos
Teora de la Informacin
2 de mar de 2004 Codificacin de imgenes y video 2
El clima en el Ro de la Plata...
... N L N N L S N
... N L L T L L L
... N N L S N L L
... N S L S S T T
... S N N S S L N
... N S N T N N N
... L S T L N L N
p(N)=0.5, p(S)=0.25, p(L)=0.125, p(T)=0.125
N: nublado; S: soleado; L: lluvia; T: tormenta
2 de mar de 2004 Codificacin de imgenes y video 3
Motivacin
Para comunicar estos cuatro smbolos se acuerda usar
el siguiente cdigo:
C(N) = 00
C(S) = 01
C(L) = 10
C(T) = 11
Tpicamente uno se pasa usando el cdigo C(N)=00.
La pregunta es: existe otra codificacin ms
eficiente?
2 de mar de 2004 Codificacin de imgenes y video 4
Formalizacin
Se puede considerar al estado del tiempo como una
variable aleatoria discreta X, con un alfabeto
A={N,L,T,S}
y una funcin de probabilidad
p(x)=Probabilidad(X=x)
con x en A.
2 de mar de 2004 Codificacin de imgenes y video 5
Formalizacin: informacin
Dado que tpicamente esta nublado, el smbolo N
contiene poca informacin, es predecible, es ms
probable, no es noticia.
Informacin. Una medida de la informacin podra ser:
I(x) = -log
2
(p(x))
I(N) = 1, I(S) = 2, I(L) = 3, I(T) = 3
2 de mar de 2004 Codificacin de imgenes y video 6
Informacin
Qu pasa si supiramos que siempre est nublado (p
(N)=1)?. En este caso I(N) = 0, podemos predecir con
probabilidad 1 que va a estar nublado, no hay
incertidumbre, no hay informacin.
La situacin de mayor incertidumbre es cuando p(N)
=p(L)=p(S)=p(T)=1/4.
2 de mar de 2004 Codificacin de imgenes y video 7
Informacin
Si pudiramos elegir libremente (smbolos
equiprobables) entre 2 smbolos necesitaramos 1 bit,
para 16 smbolos necesitaramos 4 bits y en general
para N smbolos se necesitan log
2
(N) bits.
log
2
(N) = -log
2
(1/N), lo que nos dice que hay una
relacin entre informacin y cantidad de bits
necesarios.
2 de mar de 2004 Codificacin de imgenes y video 8
Entropa
La entropa H(X) es la media de la informacin de la
fuente:
Idea: La entropa mide la informacin media, y por
tanto, la cantidad media de smbolos necesarios.
{ }
= =
X
x p x p x I E X H ) ( log ) ( ) ( ) (
2
2 de mar de 2004 Codificacin de imgenes y video 9
Entropa
Se puede ver fcilmente H(X)>=0. Esto corresponde
al caso de menor incertidumbre
Adems, H(X)<=log(|A|), |A|=cantidad de elementos
A. Lo que corresponde al caso de mayor
incertidumbre, smbolos equiprobables.
2 de mar de 2004 Codificacin de imgenes y video 10
Entropa
Definicin: x es una variable aleatoria discreta
(V.A.D.) con probabilidad p(x) y un conjunto de
mensajes posibles A={x
1
,...,x
N
}.
Definicin: Entropa
Observacin: H(X) = E{ -log p(X) }
e
=
A x
x p x p X H ) ( log ) ( ) (
2 de mar de 2004 Codificacin de imgenes y video 11
Ejemplos de cdigos
111 11 0.125 Tormenta
110 10 0.125 Lluvia
10 01 0.25 Sol
0 00 0.5 Nublado
Cdigo 2 Cdigo 1 Probabilidad Evento
2 de mar de 2004 Codificacin de imgenes y video 12
Largo medio
El largo medio de estos cdigos es:
donde C(x) es el largo de x.
Para este caso
L1 = 2
L2 = 0.5 x 1 + 0.25 x 2 + 0.125 x 3 + 0.125 x 3 = 1.75
H(x) =1.75
Alcanzamos la entropa.
= =
X
x C x p x C E L ) ( ) ( )} ( {
2 de mar de 2004 Codificacin de imgenes y video 13
Largo medio: ejemplo
= =
) , ( log ) , (
)} , ( log { ) , (
y x p y x p
y x p E Y X H
) | ( ) ( ) , ( X Y H X H Y X H + =
2 de mar de 2004 Codificacin de imgenes y video 16
Entropa Condicional
Definicin: La entropa condicional de dos variables
(X,Y)~p(x,y) es:
Observacin: A(X) es el alfabeto de X
e e
e
= = =
) ( ) (
) (
) | ( log ) , (
) | ( ) ( ) | (
X A x Y A y
X A x
x y p y x p
x X Y H x p X Y H
2 de mar de 2004 Codificacin de imgenes y video 17
Kullback-Leibler
Definicin: La entropa relativa o distancia Kullback-
Leibler entre dos distribuciones de probabilidad p(x) y
q(x) se define como:
Teorema:
y la igualdad se cumple si p(x)=q(x)
e
)
`
|
|
.
|
\
|
=
|
|
.
|
\
|
=
A x
x q
x p
E
x q
x p
x p q p D
) (
) (
log
) (
) (
log ) ( ) || (
0 > ) || ( q p D
2 de mar de 2004 Codificacin de imgenes y video 18
Kullback-Leibler: Aplicaciones
Teorema: H(X) <= log(|A|)
Teorema: El condicionar reduce la entropa,
H(Y|X) <= H(Y)
y la igualdad se da si X e Y son independientes.
2 de mar de 2004 Codificacin de imgenes y video 19
Extensin de una fuente
Extensin de orden N
z
i
=(x
i1
, x
i2
, ... , x
iN
)
p(z
i
)= p(x
i1
) p(x
i2
)... p(x
iN
)
Teorema:
H(X
N
)=N.H(X)
2 de mar de 2004 Codificacin de imgenes y video 20
Extensin de una fuente: ejemplo
=
=
n
i
i i n
X X X H X X H
1
1 1 1
) ,..., | ( ) ,..., (
=
s
n
i
i n
X H X X H
1
1
) ( ) ,..., (
2 de mar de 2004 Codificacin de imgenes y video 22
Dependencia
Observando el estado del tiempo en das sucesivos se
ve que el estado del tiempo en un da depende del da
anterior y condiciona el siguiente.
No es simplemente una variable aleatoria sin
memoria.
2 de mar de 2004 Codificacin de imgenes y video 23
Formalizacin: Markov de orden k
Una fuente se dice Markov de orden k si smbolos
sucesivos son estadsticamente dependientes, i.e. cada
smbolo depende de los k anteriores
Una fuente MKS se especifica con:
k i X X x X p
k i i i
, ) , , | (
1
=
2 de mar de 2004 Codificacin de imgenes y video 24
MKS: Entropa
La entropa de una fuente markov se define a partir de
la entropa condicional
En general H
MKS
(X) < H
DMS
(X), por lo tanto, podramos
comprimir an ms!
Vale el resultado H(X
N
)=N.H(X)
= ) , , | ( ) , , ( ) (
1 1 k i i k i i MKS
X X X H X X p X H
= =
=
) , , | ( log ) , , | (
) , , | (
1 2 1
1
k i i i k i i i
k i i
X X x X p X X x X p
X X X H
e
=
T i
i i
x a x
Ejemplo: codificacin
predictiva de imgenes
2 de mar de 2004 Codificacin de imgenes y video 28
Ejemplo: codificacin
predictiva de imgenes
2 de mar de 2004 Codificacin de imgenes y video 29
La prediccin es =(a+b+c+d)/4.
Ejemplo: codificacin
predictiva de imgenes
2 de mar de 2004 Codificacin de imgenes y video 30
Imagen diferencia y su histograma
Ejemplo: codificacin
predictiva de imgenes
2 de mar de 2004 Codificacin de imgenes y video 31
3 2 1
j i I a j i I a j i I a I + + =
) 1 , 0 ( ) 0 , 0 ( ) 0 , 1 ( ) 1 , 1 (
) 1 , 1 ( ) 0 , 1 ( ) 0 , 0 ( ) 1 , 0 (
) 0 , 1 ( ) 1 , 1 ( ) 1 , 0 ( ) 0 , 0 (
3 2 1
3 2 1
3 2 1
R R a R a R a
R R a R a R a
R R a R a R a
= + +
= + +
= + +
Ejemplo: codificacin
predictiva de imgenes
2 de mar de 2004 Codificacin de imgenes y video 32
Cdigos
Definicin: Un cdigo de fuente C, para una V.A.D, es
un mapeo de A a D*, el conjunto de secuencias finitas
de smbolos de una alfabeto D.
Observacin: C(x) es el cdigo para x y l(x) su largo
Observacin: Tpicamente usaremos:
D =B = {0,1}
N
i
i
D D
1 =
= *
2 de mar de 2004 Codificacin de imgenes y video 33
Cdigos: Largo Esperado
Definicin: El largo esperado de un cdigo de fuente C
es:
Ejemplo:
A={N,S,L,T}
p(N)=1/2 p(S)=1/4 p(L)=p(T)=1/8
C(N)=0 C(S)=10 C(L)=110 C(T)=111.
l(N)=1 l(S)=2 l(L)=l(T)=3
L (C)=1,75
e
=
A x
x l x p C L ) ( ) ( ) (
2 de mar de 2004 Codificacin de imgenes y video 34
Cdigos no singulares
Definicin: Un cdigo se dice no singular si cada
elemento de A se mapea en un elemento diferente en
D*.
Definicin: La extensin C* de C es el mapeo de
secuencias de smbolos de A en secuencias de D,
C(x
1
x
2
...x
n
)=C(x
1
)C(x
2
)...C(x
n
)
2 de mar de 2004 Codificacin de imgenes y video 35
Cdigos de decodificacin nica
Definicin: Un cdigo se dice de decodificacin nica
si su extensin es no singular.
Definicin: Un cdigo es instantneo si ninguna
palabra de cdigo es prefijo de otra.
cdigos
singulares
no
singulares
unvocamente
decodificables
no
unvocamente
decodificables
instantneos
no
instantneos
2 de mar de 2004 Codificacin de imgenes y video 36
Desigualdad de Kraft
Teorema: Para cada cdigo instantneo sobre un
alfabeto de dimensin d=|D|, los largos de las palabras
del cdigo, l
i
, deben satisfacer:
Dados l
i
que cumplen lo anterior, existe un cdigo
instantneo con esos largos.
1 s
i
l
i
d
2 de mar de 2004 Codificacin de imgenes y video 37
Cdigos ptimos
Teorema: El largo esperado (L) de cualquier cdigo
instantneo (C) para una V.A.D cumple
y se da la igualdad si y solo si d
-li
= p
i
(1er. Teorema de Shannon)
( ) ( ) X H C L >
2 de mar de 2004 Codificacin de imgenes y video 38
Cotas para el L ptimo
Motivacin para
Teorema: Sean l
i
* los largos de los cdigos ptimos y
L* el largo esperado asociado entonces:
1 ) ( * ) ( + s s X H L X H
( )
|
|
.
|
\
|
x p
1
log
2 de mar de 2004 Codificacin de imgenes y video 39
Codificacin en bloques
Que pasa si juntamos smbolos?
C(x
1
...x
n
), l(x
1
...x
n
)
Definicin: Largo esperado por smbolo
Corolario: Para Xi I.I.D
= ) ... ( ) ,..., (
1
1 1 n n n
x x l x x p
n
L
n
X H L X H
n
1
) ( ) ( + s s
2 de mar de 2004 Codificacin de imgenes y video 40
Cdigos de Huffman
Podemos llegar a codificar con H(X) bits?
Idea: Usar cdigos ms cortos para smbolos ms
probables (Cdigo Morse).
Ejemplo. C(N)=0, C(S)=10, C(L)=110, C(T)=111.
Cmo encontrar el cdigo ptimo de forma
sistemtica?
2 de mar de 2004 Codificacin de imgenes y video 41
Algoritmo de Huffman
p(N)=0.5
p(S)=0.25
p(L)=0.125
p(T)=0.125
p(X)=0.25
p(Y)=0.5
p(N)=0.5 p(N)=0.5
p(S)=0.25
0
10
11
0
10
110
111
1
0
0
10
110
111
2 de mar de 2004 Codificacin de imgenes y video 42
Run Length Encoding
til cuando smbolos consecutivos son idnticos. Cada
smbolo es seguido por el nmero de repeticiones.
Zero run length coding