Escolar Documentos
Profissional Documentos
Cultura Documentos
Práctico 6
Teorı́a de la Información
Cada ejercicio comienza con un sı́mbolo el cuál indica su dificultad de acuerdo a la siguiente
escala: ✦ básica, ★ media, ✷ avanzada, y ✹ difı́cil. Además puede tener un número, como 3.1-4
que indica el número de ejercicio del libro del curso, Communication Systems, 3th. edition.
Bruce A. Carlson.
✦ Ejercicio 1
Un teclado numérico tiene los números 0, 1, 2 . . . 9. Se asume que cada tecla es
utilizada en forma equiprobable. Calcule con qué cadencia deben ser oprimidas
las mismas para generar un flujo de información de 2 bit/s.
✦ Ejercicio 2 (15.1-2)
de corazones
una figura
una figura de corazones
(b) Cuánta información se necesita para identificar la carta si, se sabe que es
roja.
✦ Ejercicio 3 (15.1-8)
Calcular la tasa de información de una fuente telegráfica que utiliza dos sı́mbolos,
el punto y la raya. El punto tiene una duración de 0.2s. La raya tiene el doble
de duración pero es la mitad de probable.
✦ Ejercicio 4
Para una fuente binaria:
(a) Mostrar que la entropı́a, H, es máxima cuando la probabilidad de enviar
un 1 es igual a la probabilidad de enviar un 0.
(b) Hallar el valor máximo de la entropı́a.
1
★ Ejercicio 5
Se tiene una fuente S con sı́mbolos {s1 , s2 , . . . , s6 }, con probabilidades 0.4, 0.3,
0.1, 0.1, 0.06 y 0.04 respectivamente.
(a) Hallar la entropı́a de la fuente.
(b) Considerar una codificación binaria con largo de palabra fijo. Indicar el
mı́nimo largo de palabra para que la codificación sea adecuada.
(c) Considerar una codificación de Huffman. Calcular el largo medio del código
obtenido.
✦ Ejercicio 6
Considerar un canal con la propiedad de que xi y yj son estadı́sticamente inde-
pendientes para todo i, j. Mostrar que
★ Ejercicio 7
Canal Binario Simétrico. Considerar el modelo de un canal binario simétrico,
representado en la figura:
1-alfa
x1 y1
alfa
alfa
x2 y2
1-alfa
★ Ejercicio 8
Obtener analı́ticamente las caracterı́sticas de la figura siguiente, correspondien-
te a un canal analógico de ancho de banda B, contaminado con ruido blanco
gaussiano aditivo, de densidad espectral de potencia
G(f ) = η/2.
2
20
15
10
S/hR, dB
R=C
5
R>C
0
-1.6 dB
0.1 0.2 0.5 1 2 5 10 20
B/R
★ Ejercicio 9 (15.3-11)
★ Ejercicio 10
Se pretende transmitir imágenes de televisión digital a partir de una fuente que
genera una matriz de 480 × 500 elementos de imagen (pixels), donde cada pixel
puede tomar 32 valores de intensidad. Suponga que se generan 30 imágenes por
segundo. (Esta fuente de imágenes digitales es similar a los estándares adoptados
para TV digital.) Todos los pixels se consideran independientes, y los niveles de
intensidad equiprobables.
(a) Hallar la velocidad de transferencia de información R(bit/s).
(b) Suponer que la imagen de TV se transmitirá por un canal de 4, 5M Hz
de ancho de banda con una relación señal a ruido de 35dB. Hallar la
capacidad del canal (bit/s). (4, 5M Hz es el ancho de banda utilizado para
transmitir una imagen de TV analógica.)
(c) Discutir cómo pueden ser modificados los parámetros de la parte (a) para
permitir la transmisión de TV color sin incrementar el valor requerido de
R. (Nota: en TV cromática se debe enviar información de luminancia y
cromas; la luminacia es una señal que lleva la información de brillo y las
cromas son dos señales que llevan la información de color.)
3
Solución
Ejercicio 1
La tasa de sı́mbolos r se relaciona con la entropı́a H y con la tasa de información
R según la expresión:
R = rH
1
La probabilidad de cada una de las teclas es : P (T ecla) = 10 . Por lo que la
entropı́a de la fuente S={0,1,2, ... 9} es:
X 1 X 1
H(S) = p(xi )log2 = log2 10 = log2 10 bits/simb
p(xi ) 10
xi S xi S
Despejando r se tiene:
R 2 bits/seg
r= = = 0, 6 simb/seg
H log2 10 bits/simb
Ejercicio 2
(a)
de corazones
13 1
La probabilidad de una carta de corazones es 52 = 4, entonces la infor-
mación es I(corazones) = log2 4 = 2 bits.
una figura
12 3
La probabiidad de una figura es 52 = 13 , entonces la información es
I(f igura) = log2 13
3 = 2, 1154 bits.
Ejercicio 3
La cadencia media de sı́mbolos esta dada por:
1 30 simb
r= seg 2 seg 1 =
0, 2 simb .3 + 0, 4 simb . 3 8 seg
4
La entropı́a es:
2 3 1 bits
H= log2 + log2 3 = 0, 9183
3 2 3 simb
Por tanto,
bits
R = r.H = 3, 44
seg
Ejercicio 4
(a) Sea p la probabilidad de enviar un uno. La probabilidad de enviar un 0
será entonces 1 − p, y la entropı́a queda planteada de la siguiente forma:
1 1
H(p) = p.log + (1 − p).log
p 1−p
Para saber cuándo es máxima sólo falta derivar respecto a p:
1 p2 1 1−p 1−p
H ′ = log − − log + (1 − p). = log
p p2 1−p (1 − p)2 p
1
p=
2
Falta verificar que efectivamente es un máximo (H ′′ < 0):
p −p − (1 − p) −1
H ′′ (p) = . = = −4
1−p p2 (1 − p)p
(b)
1 1 bits bit
H( ) = 2. .log2 = log2 2 =1
2 2 simb simb
Ejercicio 5
(a) H(S) = P1 log2 s11 + P2 log2 1
s2 + P3 log2 1
s3 + P4 log2 1
s4 + P5 log2 1
s5 +
P6 log2 s16 = 2.1435 bits/sı́mbolo.
5
Fuente original Fuente reducida
Sı́mbolos Prob. Código S1 S2 S3 S4
s1 0.4 1 0.4 1 0.4 1 0.4 1 ◦0.6 0
s2 0.3 00 0.3 0 0.3 00 ⋄0.3 00◦ 0.4 1
s3 0.1 011 0.1 011 ⋆0.2 010⋄ 0.3 01◦
s4 0.1 0100 0.1 0100⋆ 0.1 011⋄
s5 0.06 01010* *0.1 0101⋆
s6 0.04 01011*
Ejercicio 6
Aplicando la definición:
X 1
H(X|Y ) = P (xi , yj ).log2
P (xi |yj )
X,Y
Como xi y yj son independientesse cumple queP (xi , yj ) = P (xi ).P (yj ) y que
P (xi |yj ) = P (xi ), por lo que:
XX 1 X X 1
H(X|Y ) = P (xi )P (yj ).log2 = P (yj ) P (xi ).log2
P (xi ) P (xi )
Y X Y X
X 1
H(X|Y ) = P (xi ).log2 = H(X)
P (xi )
X
X P (xi ) X X
I(X, Y ) = P (xi )P (yj ).log2 = P (xi )P (yj ).0 = 0=0
P (xi )
X,Y X,Y X,Y
Ejercicio 7
(a)
X P (xi , yj ) X P (yj /xi )
I(X, Y ) = P (xi , yj ).log2 = P (xi , yj ).log2
P (xi )P (yj ) P (yj )
X,Y X,Y
6
Sustituyendo queda:
(1 − α) α
I(p, α) = p(1−α).log2 +(1−p)α.log2 +...
p(1 − α) + (1 − p)α p(1 − α) + (1 − p)α
α 1−α
...pα.log2 + (1 − p)(1 − α).log2
pα + (1 − p)(1 − α) pα + (1 − p)(1 − α)
Ejercicio 8
La ley de Hartley-Shannon nos dice que:
C = B log2 (SN RR + 1)
Ejercicio 9
Si el ancho de banda del mensaje es W y la relación señal a ruido en detección
es SN RD = 106 , la tasa de transferencia de información es:
C = B log10 (SN R + 1)
7
Ejercicio 10
(a) La velocidad de transferencia de información es:
M bit
C = B log2 (SN RR + 1) = 4, 5 M Hz log2 (103,5 + 1) = 52, 32
seg
Por lo que este ancho de banda serı́a suficiente para enviar TV blanco y negro
con 32 niveles por pixel.