Escolar Documentos
Profissional Documentos
Cultura Documentos
La información se recibe por medio del mensaje, que está
compuesto por símbolos.
Si un suceso tiene una probabilidad grande de ocurrencia su
conocimiento proporciona poca información. La cantidad de información
se podría obtener como:
1
CS
P( s)
Pero se elige, como medida de la cantidad de información, el logaritmo
de esta cantidad:
1
I log( )
P(s)
Dependiendo de la base del logaritmo tenemos:
2 → bit
10 → Hartley
e → nat 2/18
Fuentes de Información
Son los dispositivos que generan información. Esta aparece como
consecuencia de la variación de características físicas de la fuente.
El soporte físico del mensaje es el signo o señal, éste puede ser un
sonido, distintos niveles de intensidad luminosa, variaciones de tensión,
etc.
Las señales pueden ser discontinuas (digitales) o continuas (analógicas).
En el primer caso están formadas por un conjunto discreto de elementos
o signos distintos entre sí que se llaman símbolos o caracteres.
Es aquella en la que dos símbolos emitidos son estadísticamente
independientes (no hay memoria). Se describe mediante su alfabeto:
S1, S2, S3, …, Sn y las probabilidades con las que se presentan cada uno de
sus símbolos: P(S1), P(S2), P(S3), …, P(Sn).
Si los símbolos presentan la misma probabilidad de aparición, la
cantidad de información por símbolo es:
1
I i log 2 ( ) log 2 ( P( S )) bits
P( Si )
Se define como entropía H(S) de la fuente de memoria nula a la cantidad
media de información por símbolo:
1
H ( S ) P( Si ) log 2 ( ) P( Si ) I ( Si ) bits / símbolo
i P( Si ) i
4/18
Extensión de una fuente de memoria nula (I)
Si en lugar de transmitir símbolos aislados se trabaja con grupos de
símbolos, ejem.: 000, 001, 010, 011, 100, …, 111. La fuente primaria
podría considerarse como una fuente de ocho símbolos.
Para una fuente de memoria nula con alfabeto S1, S2, .. Si, … Sn, en la que
Pi es la probabilidad de emitir el símbolo Si, la extensión de orden q de S,
Sq, es una fuente de memoria nula de nq bloques (G1, G0, … Gnq).
Al bloque Gi le corresponde una secuencia de q símbolos de los n que
tiene el alfabeto.
( S i1 , Si2 ,...........S i q )
La probabilidad de que se presente el bloque Gi, P(Gi), es la probabilidad
de la secuencia anterior.
5/18
Extensión de una fuente de memoria nula (II)
Esta secuencia es una de las n
( S i1 , S i2 ,...........S i q ) q variaciones con repetición
que se pueden construir con los n símbolos de la fuente primitiva. La
probabilidad del grupo Gi será:
P (Gi ) ( Pi1 Pi2 ........... Piq )
La entropía de la fuente H(sq) tendrá un valor de:
H ( S q ) qH ( S )
La información media de un bloque es q veces (el número de símbolos del
bloque) la de un símbolo de la fuente inicial.
6/18
Fuentes de Markov
En este tipo de fuentes la presencia de un símbolo depende de la secuencia de
símbolos emitidos anteriormente, son fuentes de memoria no nula.
Las fuentes de Markov quedan definidas por su alfabeto (S1, S2, .. Si, .., Sn), el
orden m y el conjunto de probabilidades condicionales.
Una fuente de Markov tiene orden m cuando la probabilidad de que se emita
el símbolo Si es función de los m símbolos precedentes.
Una forma de representar una fuente de Markov es mediante su diagrama de
estados.
0.2
Las probabilidades condicionales para
la fuente de la figura son:
0.8 1 0 0.5
P(0/0)=0.5 P(1/0)=0.5
0.5
P(1/1)=0.8 P(0/1)=0.2
7/18
Fuentes de Markov Ergódicas (I)
Una fuente de Markov es ergódica cuando observada un tiempo
suficientemente amplio, emite con probabilidad 1 una secuencia típica de
símbolos.
En una fuente de Markov, después de generarse un número suficiente de
símbolos, se llega a una distribución de probabilidades estacionaria para el
conjunto de estados de la fuente, siendo además única. Esto quiere decir, que
los distintos estados irán apareciendo con una frecuencia que sólo depende
de la fuente. Puesto que la distribución estacionaria no depende de la
distribución inicial con que los estados son escogidos, puede calcularse
directamente a partir de las probabilidades condicionales de los símbolos.
Las probabilidades de estado de la distribución estacionaria se pueden
calcular resolviendo:
Pi Pj Pi / j
j
1 Pi
i
8/18
Fuentes de Markov Ergódicas (II)
La entropía de la fuente de Markov ergódica viene dada por:
H ( S ) P ( S j1 , S j 2 ,....., S jm ) H ( S i / S j1 ,....., S jm )
Sm
q
1
H ( S ) P( S j1 , S j 2 ,.....S jm ) P ( S i / S j1 ,....., S jm ) log 2 ( )
Sm i 1 P( S i / S j1 ,....., S jm )
1
H ( S ) P ( S j1 , S j 2 ,.....S jm , S i )P ( S i / S j1 ,....., S jm ) log 2 ( )
S m1 P ( Si / S j1 ,....., S jm )
9/18
Fuente Afín
Se puede comprobar que una fuente de Markov proporciona menor cantidad
de información que otra de memoria nula del mismo alfabeto.
H (S ) H (S )
10/18
Valores de Entropía
El sentido de aumento de la entropía en función del tipo de fuente es
el siguiente:
Aumento de la entropía
11/18
Redundancia
Sea una fuente de alfabeto:
S {S1 , S 2 ,....., S r }
Con probabilidades:
P1 , P2 ,....., Pr
Si la fuente es de símbolos equiprobables:
1 1
H ( S ) H max ( S ) P ( Si ) log 2 r P( Si ) log 2 log 2 (r )
i P( Si ) P( Si )
Si no lo son:
H ( S ) log 2 (r )
Se define como redundancia absoluta de la fuente a la diferencia:
H max ( S ) H ( S )
12/18
Redundancia y velocidad media de información
13/18
Capacidad de un sistema (I)
La transmisión de señales por un canal está limitada por tres causas
fundamentales:
• Está limitada la potencia máxima del canal, lo que se traduce en una
limitación en el valor máximo del voltaje que se puede emplear.
• Está limitada la velocidad de variación de la señal.
• Los sistemas reales no permiten distinguir o separar un número
indefinido de niveles de amplitud.
Estas restricciones imponen un límite superior a la velocidad media de
información que puede transmitirse por un canal real, consecuencia de:
• Todos los sistemas tienen elementos que almacenan energía,
existiendo un límite para la variación de ésta.
• En todos los sistemas existen fluctuaciones de tensión debidas al
ruido, que aunque muy pequeñas, no nos permiten subdividir
indefinidamente las amplitudes distinguibles de la señal.
14/18
Capacidad de un sistema (II)
Como consecuencia de lo anterior, hay un mínimo de tiempo , necesario
para la variación de la energía y un máximo número de niveles
reconocibles de la amplitud señal n (función del valor máximo y del nivel
de ruido).
La cantidad de información
Niveles
transmitida por este canal durante
n
un tiempo T será función de los
parámetros n y .
V
El número de combinaciones de
1 amplitud de señal diferentes y
reconocibles que podemos
t
transmitir en el intervalo T serán:
T
T
N n
15/18
Capacidad de un sistema (III)
La cantidad de información que suministra la fuente se relaciona con el
número de mensajes que puede generar la fuente (N).
Si suponemos que los mensajes son equiprobables, la entropía será
máxima con un valor de:
T T
H max ( S ) log 2 n log 2 n
bit / mensaje
La fuente más el canal se puede considerar como una fuente equivalente
en destino, y en este caso se puede definir la capacidad del canal como la
velocidad máxima de la fuente equivalente:
1
C log 2 n bit / segundo
El parámetro está muy relacionado con el ancho de banda del canal y n
con la relación señal/ruido del mismo.
16/18
Fórmula de Shanon (I)
Shanon obtuvo el valor de la capacidad de un canal como función de la
relación señal/ruido y la anchura de banda disponible. La relación entre el
ancho de banda y el valor de es:
1
B
2
Por otra parte en recepción la señal viene mezclada con el ruido, lo que
hace difícil percibir exactamente la verdadera amplitud. La habilidad para
recibir la información se denomina resolución.
Si en el ancho de banda considerado hay una potencia media de ruido N y
de señal S, la amplitud recibida será de . En esta amplitud se pueden
N S
distinguir saltos de voltios, luego el número medio de niveles diferen‐
N
tes será de:
N S
N
Cualquier amplitud o diferencia de amplitud de señal inferior a N no
podrá distinguirse del ruido.
17/18
Fórmula de Shannon (II)
Finalmente la capacidad la podemos expresar como:
1 S S
C log 2 n 2 B log 2 ( 1 ) B log 2 (1 ) bit / seg
N N
Esta es la velocidad máxima de transmisión de la información que
se puede obtener de un determinado canal con ancho de banda B y
relación señal ruido S/N.
C es la capacidad en bits/seg.
B es el ancho de banda en Hz.
S/N es la relación señal ruido (adimensional).
18/18