Entropía Condicional y conjunta

• Usando:
p(xi) = probabilidad de entrada
p(yj) = Probabilidad de Salida
p(yj/xi)= probabilidad de Transición
p(xi,yi) = Probabilidad conjunta

• Se pueden definir varias funciones de Entropía para un canal con N entradas y M salidas.
Ellas son:
Incertidumbre promedio
n
H ( x)   p( xi ) log 2 p( xi )
de la fuente
i 1 Incertidumbre promedio
m
de la recepción de un
H ( y )   p( y j ) log 2 p( y j )
i 1
símbolo
Entropía Condicional y conjunta
Incertidumbre promedio
n m
respecto de qué símbolo
H ( y / x )    p( xi , y j ) log 2 p( y j / xi ) recibiremos dado que se ha
i 1 j 1
transmitido x
n m
H ( x, y )    p( x i, y j ) log 2 p( xi , y j )
i 1 j 1
Incertidumbre promedio del
– Otra Entropía útil es: sistema de comunicaciones
como un todo
n m
H ( x / y )    p( x i, y j ) log 2 p( xi / y j )
i 1 j 1

Incertidumbre promedio de que símbolo

Entropía de
transmitiremos después de haber recibido
Equivocación
un símbolo
Entropía Condicional y conjunta
– Dos relaciones importantes, que se obtienen de las definiciones de entropía
son:

H ( x, y)  H ( x | y)  H ( y) (2)
H ( x, y)  H ( y | x)  H ( x) (3)

Incertidumbre promedio del

sistema de comunicaciones
como un todo
 Entropía Condicional y conjunta
• Consecuencia: Considere un observador a la salida de un canal.
• La incertidumbre promedio del observador respecto de la entrada del canal tendrá
un determinado valor antes que se reciba una salida, y la incertidumbre promedio
de la entrada disminuirá cuando la salida es recibida. Es decir:

H(X | Y)  H(X )
Entropía de Incertidumbre promedio
Equivocación de la fuente

• La disminución en la incertidumbre promedio del observador con respecto a la

señal transmitida (cuando la salida es recibida) es una medida del promedio de la
información transmitida.
• Esto se define como Transinformación o Información Mutua I(X;Y).
 Capacidad de Canal

Incertidumbre
I ( X ;Y )  H ( X )  H ( X | Y ) promedio de la - Entropía de
Equivocación
fuente

• Teniendo presente (2) y (3), se puede escribir: Incertidumbre promedio

Incertidumbre
I ( X ; Y )  H (Y )  H (Y | X )
respecto de que símbolo
promedio de la
salida
- recibiremos dado que se
ha transmitido x
• Se observa que la “transinformación” es una función tanto de las
probabilidades de las fuentes como las probabilidades de transición del canal.
• La Capacidad de Canal se define como: el valor máximo de la
transinformación, que es la información promedio máxima por símbolo que
puede ser transmitido a través del canal. Por lo tanto:
C  máx I  X ;Y 
 Capacidad de Canal
– Se observa que la maximización de la capacidad de
canal es con respecto a las probabilidades de la
fuente puesto que las probabilidades de transición
son fijadas por el canal.
– Sin embargo, la capacidad de canal es una función
solamente de las probabilidades de transición del
canal, puesto que el proceso de maximización
elimina la dependencia sobre las probabilidades de
la fuente.
 Capacidad de Canal
• Ejercicio: Encuentre la capacidad del canal ideal (sin ruido), en un canal discreto
de fuente equiprobable
Comenzamos con:
I ( X ;Y )  H ( X )  H ( X | Y )
y escribimos:
n n
H ( x / y )    p( x i, y j ) log 2 p( xi / yi )
i 1 j 1

– Para un canal sin ruido se tiene: p( xi , yi )=p( xi | yj )=0 excepto si i=j.

– Para i=j, p( xi | yj )=1 => H(x|y)=0
– Luego: I ( X ; Y )  H ( X )
– Sabemos que la entropía de una fuente es máxima, si todos los símbolos de
la fuente son igualmente probables. Así:

I  X ; Y     1  log 2 n
n
C  máx
i 1 n C  log 2 n
 Capacidad de Canal
• Ejercicio: Encuentre la capacidad del canal, en un canal binario simétrico.
– Nota: Este problema tiene una importancia tremenda en el área de la comunicaciones
digitales binarias.
p
P( x1 )   x1 y1
q q

P( x2 ) 1   x2 y2
p
– Determinaremos la capacidad, maximizando:

– Donde: I ( X ; Y )  H (Y )  H (Y | X )
2 2
H ( y / x )    p( x i, y j ) log 2 p( y j / xi )
i 1 j 1
 Capacidad de Canal
• Usando las probabilidades de:
P( x1 )   x1
p y1
q q

P( x2 ) 1   x2 y2
p
• Se obtiene:
H (Y / X )   p log 2 p  (1   ) p log 2 p   q log 2 q  (1   )q log 2 q

•ó
H (Y / X )   p log 2 p  q log 2 q

• Así:
I ( X ; Y )  H (Y )  p log 2 p  q log 2 q
 Capacidad de Canal
I ( X ; Y )  H (Y )  p log 2 p  q log 2 q

– Es máxima cuando H(Y) es máxima.

– Cuando el sistema de binario, H(Y) es máxima cuando cada salida tiene
probabilidad=1/2 y es cuando las entradas son equiprobables.
– La capacidad de un canal binario simétrico tiene una gráfica:

• Si p=0 ó 1 la salida del canal está completamente determinado por la entrada del
canal, y la capacidad es 1 bit por símbolo.
• Si p=1/2, un símbolo en la entrada nos lleva a cualquier salida con igual
probabilidad y la capacidad es cero.
 Sistemas de Comunicaciones
543 246
Tópicos de Cuantización digital
Dr. Luis Arias Parada
Departamento Ingeniería Eléctrica
luiarias@udec.cl
 Cuantización
• Proceso que sigue del muestreo de señales análogas
• Consiste básicamente en representar una señal en el
tiempo discreto, en que cada muestra es representada por
un número finito de bits.
• Intuitivamente, el proceso de cuantización es un proceso
de “redondeo”, en el que cada valor proveniente de la señal
muestreada es redondeada al “valor mas cercano” de un
set finito de posibles niveles de cuantización
• El siguiente paso es la “codificación” a una representación
binaria.
 Cuantización
• Cuantización Escalar Uniforme
– Cada muestra tomada en el tiempo i, xi es cuantizada a
uno de los finitos valores de niveles de cuantización x̂k
– En este caso, el set de números reales es particionado en N
regiones denotadas por k, tal que 1kN
– La función de cuantización escalar es definida por:

Qx   xˆi » Para todo x  k

Cuantización escalar

La Fig. muestra un
ejemplo de
cuantización de 8
niveles. En este
esquema se han
definido 8
regiones:
1=(-,a1],
2=(a1,a2], …, y
8=(a7,+),
 Cuantización Escalar
• Note que en el proceso de “redondeo” existe una
distorsión (pérdida inherente de información).
• En la medida que el set de números reales es
particionado en un número N de regiones k mayor (tal
que 1kN), entonces esa pérdida inherente de
información es menor.
• Una función que define el promedio de distorsión
resultante producto de la cuantización es el squared-
error-distortion, definida como x  x 2
• En esta función, x es la señal muestreada y x^ es la señal
cuantizada, esto es, xˆ  Qx
 Cuantización escalar
• La medida de distorsión
(squared error distortion)

se obtiene entonces como: d x, x   x  Qx   ~
2
x2

• Dado que por definición, el

mensaje es una variable
aleatoria, entonces el promedio
de distorción (mean squared
error) está dado por:

D  Ed x, x   E x  Qx 
 2

Cuantización Escalar. Ejemplo cálculo de
distorsión

• Una fuente x(t) es una fuente gaussiana estacionaria con

media cero y densidad espectral de potencia igual a:
2 f  100 Hz
Sx  f   
0 otherwise

• La fuente es muestreada a la frecuencia de Nyquist y

cada muestra es cuantizada usando un cuantizador de
N=8 regiones, tal que a1=-60, a2=-40, a3=-20, a4=0,
a5=20, a6=40, a7=60 y
       
x1  70, x2  50, x3  30, x4  10, x5  10, x6  30, x7  50, x8  70

• ¿Cuál es la distorsión resultante?

Cuantización Escalar. Ejemplo cálculo de
distorsión

• Para encontrar la distorsión, debemos evaluar Ex  Qx2 

para cada muestra. Así, tenemos:
   x  Qx  f xdx

D  E x  Qx  
2 2
x

8
D  

 x  Qx   f x x dx
2

i 1 i

a1 7 
 2
D   x  x1   f x x dx   
i
x  xi 2  f x x dx   x  x8 2  f x x dx
 i 2 a8

Tal que fx es la función de distribución gaussiana

Cuantización Escalar. Ejemplo cálculo de
distorsión


 x  x 2
f x x  
1 2
e
2

Tal que, por definición, es de media cero. La varianza se

obtiene, sabiendo que:

  E x    x    0   S x  f df   2df 400
100
2 2
i
 100

Por lo tanto, evaluando cada integral para encontrar D,

tenemos que D33.38
 Cuantización escalar. SQNR
• Una medida de desempeño que permite
cuantificar las distorsiones de cuantización es
la Signal-to-Quantization noise ratio SQNR, la
cual se define como:

SQNR 
 
E x2

E x  Qx 
2

• (veamos para el ejemplo anterior!)
 Codificación
• El proceso de codificación consiste en asignar
una secuencia de bits a los diferentes niveles
de cuantización.
• Si existe un total de regiones N=2v entonces v
bits son necesarios para codificar.
Ej. Codificación
• 8 niveles de
cuantización
• v=log2N=log28=3bits
 Teorema de codificación de fuentes
• Una fuente con entropía H puede ser codificada con
una probabilidad de error arbitrariamente pequeña,
a una tasa R promedio (bits/simbolos) siempre y
cuando RH.
• Este teorema, propuesto por Shannon (1948) solo
indica las condiciones suficientes y necesarias para la
existencia de codigos de fuentes, sin proveer un
algoritmo específico de codificación.
Algoritmo de Huffman para codificación de
fuentes

• Veamos un ejemplo para deducir el algoritmo:

Asuma que las posibles salidas de una fuente de información son: {a1,a2,a3,a4,a5} cuyas
correspondientes probabilidades de encontrarse con ellas son: {1/2,1/4,1/8,1/16,1/16} .
Obtenga su codificación Huffman.
Primero calcularemos la Entropía y compararemos con el largo promedio de bits/simbolo
(Rmean), el cual se calcula como:
5
 bits 
Rmean   P(ai )  l ai   
i 1  simb 

5
15  bits 
 log 2 2  log 2 4  log 2 8  log 2 16  log 2 16  
1 1 1 1 1 1
H (a)   P(ai ) log 2 
i 1 P(ai ) 2 4 8 16 16 8  simb 

1 1 1 1 1 15  bits 
Rmean  1   2   3   4   4   
2 4 8 16 16 8  simb 
 Algoritmo de Huffman para codificación de
fuentes (Ej.)
Código Huffman de largo variable Desventaja de Huffman: Asociado a probabilidades de los elementos de la fuente.

Ordene en orden de
0 a1 1/2 0 probabilidad decreciente los
elementos.
Agrupe los 2 elementos
0 menos probables.
10 a2 1/4
Continúe agrupando los dos
elementos menos
1/2
probables hasta llegar a un
0 número de elementos de 2
110 a3 1/8 1
Asigne 0 y 1 a las ramas.
1 Concatene, y listo !
5
15  bits 
 log 2 2  log 2 4  log 2 8  log 2 16  log 2 16  
1 1 1 1 1 1
0 H (a)   P(ai ) log 2 
1110 a4 1/16 1/4
i 1 P(ai ) 2 4 8 16 16 8  simb 

1 1 1 1 1 1 15  bits 
Rmean  1   2   3   4   4   
1/8 2 4 8 16 16 8  simb 
1
1111 a5 1/16
 Otros Ejs. de Codificación
• Natural Binary Code
Nivel Orden de NBC Gray
Cuantización Nivel Code Code
x̂1 0 000 000
NBC x̂2 1 001 001
x̂3 2 010 011
• Gray Code x̂4 3 011 010
x̂5 4 100 100
x̂6 5 101 111

x̂7 6 110 101

x̂8 7 111 100