Escolar Documentos
Profissional Documentos
Cultura Documentos
Introducción:
A continuación veremos el diagrama de bloques de un sistema de transmisión digital:
Se dice que los símbolos son generados por una fuente y a la conversión se le llama codificación
de fuente (por ejemplo PCM o DPCM). El codificador de fuente también se puede encargar de
codificar eficientemente los datos binarios, asignando, por ejemplo, mas bits a los símbolos
menos probables y menos bits a los mas probables. Por su parte, el codificador de canal
introducirá bits redundante de una manera controlada, con el fin de fortalecer la información
frente al ruido o a la interferencia que pueda conseguir en el canal.
Luego de pasar por un canal que, entre otras cosas, agrega ruido, el receptor se encarga de
realizar todas las operaciones inversas a fin de rescatar el mensaje original.
Teoría de Información:
La teoría de información puede ser vista como una rama de la teoría de probabilidad
aplicada y, dentro del área de comunicaciones, pretende dos objetivos: a) Desarrollo de los
límites teóricos de desempeño que se pueden alcanzar en cuanto a la transmisión de una fuente,
a través de un canal determinado utilizando cierto tipo de codificación b) Desarrollo de nuevos
esquemas de codificación que logren un desempeño razonablemente bueno comparado con el
límite teórico.
Una transmisión digital ideal es aquella en donde no ocurren errores. Sin embargo en el
sistema existe ruido que aumenta la probabilidad de error. Una forma de reducir la probabilidad
de error sería aumentar la energía por bit Eb; para esto, o se aumenta la potencia de transmisión
S, o se reduce la velocidad de transmisión Rb (Eb=S/Rb). Antes de 1948 se pensaba que era
imposible transmitir sin errores. Shannon estableció que:
Ejemplo 2:
Supongamos dos mensajes posibles (0 y 1) equiprobables. Requeriríamos 1 solo bit para
enviarlos
Supongamos 4 mensajes (00, 01, 10 y 11) equiprobables. Requeriríamos 2 bits para
enviarlos
En este último caso se tardaría el doble de tiempo que en el primer caso en enviar 1
mensaje y tiene dos veces mas información.
Si tenemos n mensajes probables, requeriríamos log2n dígitos binarios para
transmitirlos.
En este caso la probabilidad de cada mensaje es 1/n
La información contenida en un mensaje con probabilidad P es proporcional a log 1/P es decir
I=k log2n
Si se toma k=1
I= log2(1/P) bits (binary units o binary digits)= log2n bits
Resultado al que ya habíamos llegado antes intuitivamente.
La interpretación de esto es que hacen falta I bits para codificar los mensajes.
Ejemplo:
Supongamos una fuente que emite 4 posibles mensajes
m1; P(m1)=0.5; m2; P(m2)=0.3; m3; P(m3)=0.15; m4; P(m4)=0.05
Entonces
I(m1)=log2(1/P(m1))=3.32log10(1/P(m1))=0.99
I(m2)=log2(1/P(m2))=3.32log10(1/P(m2))=1.73
I(m3)=log2(1/P(m3))=3.32log10(1/P(m3))=2.73
I(m4)=log2(1/P(m4))=3.32log10(1/P(m4))=4.31
Si llegasen estos 4 mensajes uno tras otro(m1m2m3m4), asumiendo independencia, la
información total de este nuevo mensaje sería igual a 9.76 bits. Si todos fuesen equiprobables
P(m1)= P(m2)= P(m3)= P(m4)=1/4, la información de uno de los mensajes sería 2 bits, número
necesario para representarlo. Para 4 seguido daría 8 bits.
Ejercicio: Compare la cantidad de información de una imagen de 8 niveles de grises de 500
pixels x 500 pixels con la de 1000 palabras, asumiendo un vocabulario de 100000 palabras
igualmente probables.
Entropía:
Llamaremos entropía H a la cantidad de información promedio por mensaje.
Consideremos una fuente de información de n símbolos, sin memoria, es decir donde cada
mensaje mi con probabilidad de ocurrencia Pi no tiene ninguna relación con los mensajes
anteriormente enviados.
La información contenida en cada mensaje mi será
I= log2(1/Pi) bits
Sabemos que la información promedio de la fuente será la sumatoria de las informaciones de
cada mensaje multiplicada por su probabilidad. Así:
n
H = ∑ I i Pi
i =1
Entonces podemos decir que la entropía de una fuente es una medida de las
probabilidades de los mensajes.
Si la fuente tiene una distribución de probabilidades que genera la máxima
incertidumbre (todos los mensajes son equiprobables), ésta será una fuente de máxima entropía.
Ejemplo: n mensajes equiprobables (P=1/n) daría una entropía igual a
H= log2n
Teorema de Shannon
Para una fuente de M mensajes igualmente probables los cuales se transmiten a una tasa R, si se
envían por un canal con una Capacidad de Canal igual a C, entonces si R es menor que C
siempre será posible transmitir sin errores. Si, en cambio R es mayor a C entonces la
probabilidad de errores tenderá a 1.
Si una fuente consta de n mensajes discretos y estos son enviados por un canal no ruidoso, cada
mensaje podrá identificarse en el receptor. La máxima entropía de la fuente será
n
1
H =∑ log 2 (1 / Pi ) = log 2 ( n)
i =1 n
Ejemplo (Tomado del Lathi): Una imagen tiene 300000 pixels y cada uno puede tener 10
niveles de grises. Determine la información de cada posible imagen
I= log2(10300000)=300000log2(10)=3,32x 300000=996000 bits
Si se transmiten 30 cuadros por segundo, determine la tasa de información
R=(30)(996000)= 29,9 Mbps
Ejemplo: (Tomado del Carlson)Determine la información que llevan 1000 palabras que
pertenecen a un vocabulario de 100000 palabras.
I=1000log2(100000)=
3,32x1000x log10(100000)=16600 bits
La capacidad del canal tiene que ver con aspectos físicos como el medio de transmisión, el tipo
de señal, el tipo de receptor, ya que todos ellos afectan la transmisión de la información. Si se
define Cs como la máxima cantidad de información transmitida cuando se transmite una
muestra, símbolo o dígito, para k símbolos, entonces kCs será la máxima tasa de transmisión de
información por segundo o capacidad del canal.
Pensemos en una fuente de señal gaussiana x(t) que es transmitida por un canal sin
memoria y contaminada con ruido blanco gaussiano n(t). La salida la llamaremos y(t)
Supongamos que la fuente emite los caracteres {x1,x2,....,xn}. Del receptor se rescatarán
entonces los caracteres {y1,y2,...,yn} que podrían o no ser iguales a los enviados.
En un canal sin ruido lo lógico sería que yi=xi. Sin embargo el ruido presente en un
canal proporciona cierta incertidumbre sobre el mensaje recibido.
Si se habla de P(xi / yi) como la probabilidad de haber transmitido x i dado que se recibió
yi , se puede estimar la incertidumbre de haber enviado xi cuando se ha recibido yi como
1
log 2
xi
P( )
yi
Si se promedia sobre todos los pares posibles xi,, yi se obtiene:
1
H ( x / y ) = ∑∑P ( xi , y j ) log 2
i j P ( xi / y j )
Esto es una incertidumbre que cambia la cantidad de información en el receptor cuando recibe y
La DEP de ruido n(t) es constante para toda f, al ser limitada por un canal de tipo
pasabajo de ancho de banda apropiado a la señal, la nueva DEP es como una ventana
rectangular cuya autocorrelación es igual a BSinc(2 B ), esto implica que las muestras
tomadas a razón de Nyquist están decorrelacionadas (R( =k/2B)=0) y, por ser gaussiano eso
implica que son también independientes. La potencia se puede calcular como la autocorrelación
en cero y por eso resulta igual a B lo cual también es la varianza.
Antes de continuar con la búsqueda de la capacidad del canal comentaremos el
procedimiento que se sigue para maximizar la entropía de una fuente de una señal continua,
aleatoria x(t).
Para mensajes discretos la entropía resultó máxima cuando eran equiprobables (máxima
incertidumbre). Para el caso de x(t) continuo, hay que maximizar H(x), la cual para el caso de
x(t) continuo será:
∞ 1
H ( x ) = ∫ p( x ) log dx
p( x )
−∞
∫ p( x )dx = 1
Este problema se puede resolver usando el teorema del cálculo de variaciones, el cual se
plantea, en general, como sigue:
∞
Sea H = ∫ F ( x , p)dx
−∞
Con las restricciones
∞
∫ φ1( x , p)dx = λ1
−∞
∞
∫ φ2 ( x , p)dx = λ2
−∞
Para maximizar H hay que resolver la siguiente ecuación
∂F ∂φ ∂φ2
+ α1 1 + α2 =0
∂p ∂p ∂p
En nuestro caso
1
∂ ( p log )
p ∂ ( x 2 p)
+ α1 + α 2 =0
∂p ∂p
− (1 + log p) + α1 + α 2 x 2 = 0
2
p = e (α1 −1)eα 2 x
Ejemplo: Propuesto en el Haykin. Una imagen tiene 300000 pixels y cada uno puede tener 10
niveles de grises. Si se transmiten 30 imágenes por segundo cuando la relación señal a ruido es
30 dB
Determine el mínimo ancho de banda requerido para transmitir la señal de video
I= log2(10300000)=300000log2(10)=3,32x 300000=996000 bits
Si se transmiten 30 cuadros por segundo, determine la tasa de información
R=(30)(996000)= 29,9 Mbps=C
Para S/N= 30 dB, es decir S/N=1000, entonces B=C/log2(1001)=
29,9 x106/3,32(log(1001))= 3 MHz
Ejemplo: Qué velocidad se puede alcanzar en un canal telefónico de 3,4KHz de ancho de banda
si la relación señal a ruido es de 30 dB?
S
C = B log 1 +
N
Otra forma de llegar al Teorema de Shannon es la siguiente: Considere una señal que tiene
ancho de banda B muestreada a Nyquist (R=2B muestras/seg.). Aunque la señal x(t) es continua
la modelaremos como una señal cuantificada con un paso de cuantificación igual al voltaje r.m.s
del ruido, o sea N donde N es la potencia del ruido. El número de posibles niveles de
cuantificación debieran estar distanciados ese valor para ser discernibles. Entonces
S+ N
M=
N
En ese caso la entropía resultaría, suponiendo equiprobabilidad, igual a
M −1 1 S S
H = ∑ log 2 M = log 2 M = log 2 1 + = 0.5 log 2 (1 + )
k =0 M N N
La tasa de transmisión debe ser 2B muestras por segundo (Nyquist) por lo tanto la capacidad del
canal será
S
C = B log 1 +
N
así:
C=1.443(S/ )
La única forma entonces de aumentar C es aumentando la potencia de transmisión. Si la
potencia está limitada, también lo estará la capacidad del canal.
En aplicaciones donde no se puede contar con una alta potencia de transmisión y hay poca
restricción respecto al ancho de banda este resultado es muy útil
Codificación de fuente
Esta es entonces la longitud de las palabras código requeridas para codificar N mensajes en una
secuencia.
Por lo tanto el número de bits promedio(dígitos promedio por mensaje) se consigue dividiendo
esa cantidad entre N resultando justamente el valor de la entropía de la fuente. Este valor es el
mínimo posible que permite representar el código.
Esto ha sido para dígitos binarios. Para dígitos M-arios (desde 0 hasta M-1)
n
H M (m) = −∑Pi log 2 Pi
i =1
Códigos compactos
La longitud de una palabra código es igual al número de dígitos de esa palabra código. Para una
longitud promedio de H, tenemos que codificar una secuencia de N mensajes (cuando N tiende
a infinito); pero las secuencias largas no son convenientes, son difíciles de generar y consumen
mucho tiempo de transmisión.
Si se codifican los mensajes directamente se tienen que usar al menos H bits en promedio por
cada palabra.
y resulta H=1,64
En general la longitud promedio de los códigos será
N
L = ∑ pi li
i =1
donde pi es la probabilidad de ocurrencia del i-ésimo símbolo y li es la longitud del código que
le fue asignado.
A fin de que todos los códigos sean descodificables, sus longitudes li deben satisfacer la
desigualdad de Kraft, que establece lo siguiente:
N
∑2
i =1
− li
≤1
donde N es el número total de palabras codificadas. Por ejemplo no se puede obtener un sistema
de 4 códigos con longitudes 1,2,2,3, ya que la sumatoria resulta igual a 1.125
Además el Teorema de codificación de fuente establece que, en promedio, los símbolos de
entrada no pueden ser representados con menos dígitos que la entropía
N
L = ∑ pi li ≥ H
i =1
Para utilizar codificación de longitud variable es importante conocer muy bien la estadística de
la señal ya que si no las asignaciones pueden generar un aumento en L. También hay que
entender que un error en un dígito de un símbolo codificado puede alterar la detección de varios
símbolos. Otro problema es que el código puede tener problemas de ambigüedad a la hora de
descodificar. Ejemplo:
Codificación de Shannon-Fano:
El primer código entrópico fue diseñado casi al mismo tiempo por dos personas: Shannon
(AT&T) y Fano (MIT). El método se basa en conocer las probabilidades de cada símbolo y
entonces de acuerdo a esto asignarle códigos de longitud variable que cumplan la condición del
prefijo.
El procedimiento es el siguiente:
1) Se hace una tabla con los símbolos y sus probabilidades en orden decreciente de estas
2) Se divide la tabla en dos partes de manera que las probabilidades de la parte superior e
inferior sean lo mas cercanas posibles
3) Se le asigna 0 a los símbolos de la mitad superior y 1 a los de la mitad inferior
4) Se repite 2 y 3 añadiendo un nuevo dígito binario hasta que no se pueda dividir mas.
m3 .15 1 10 100
m4 .12 1 10 101
m5 .10 1 11 110
m6 .08 1 11 111
La entropía resulta
n
H ( m) = −∑Pi log 2 Pi = 2.418bits
i =1
Recuerde que la entropía da la mínima cantidad posible de bits por mensaje para un mensaje
muy largo (N tiene a infinito)
Para diseñar códigos compactos M-arios se usa un procedimiento similar pero en vez de agrupar
los mensajes de 2 en dos se agrupan de M en M, hasta que queden solo M mensajes.
Por ejemplo para cuaternario habría que ir asignado los dígitos 0,1,2,3
Aplicando este método es posible que no se termine con M mensajes al final. Si esto ocurre
entonces se rellena el conjunto original con mas mensajes de probabilidad cero
Se requerirán M+k(M-1)= n mensajes originales donde k es entero.
Por ejemplo
K=1, cuaternario
4+3= 7 mensajes
k=2, cuaternario
4+6=10 mensajes
Cuando un mensaje que pertenece a una fuente con entropía H se codifica usando H bits, la
redundancia resultante es nula. En este caso
=H/L=1
= 1- = 0
Esto implica que si ahora transmitimos ese mensaje por un canal ruidoso entonces algunos
digitos se recibirán con errores. La redundancia es importante para combatir el ruido