OCW UC3M TC Diapos T5 Limites 2p

Teora de la Comunicacion
Grado en Ingeniera en Tecnologas de Telecomunicacion
C API TULO 5
LI MITES FUNDAMENTALES EN LOS SISTEMAS DE
COMUNICACIONES DIGITALES
Marcelino Lazaro
Departamento de Teora de la Senal y Comunicaciones
Universidad Carlos III de Madrid
Creative Commons License
1 / 50
Indice de contenidos
Modelado de fuentes de informacion
Modelos probabilsticos de canal

Medidas cuantitativas de informacion
Capacidad de canal
I Capacidad de un canal digital
I Capacidad de un canal gausiano
Lmites en un sistema digital de comunicaciones
c Marcelino Lazaro, 2014

Teora de la Informacion 2 / 50
de un sistema de comunicaciones
Definicion
Finalidad de un sistema de comunicaciones:
I de informacion
Transmision
Informacion
Informacion
transmitida recibida
Fuente de s(t)- Medio de r(t)- Destino de

Informacion
Transmision
Informacion
de la informacion
Cuantificacion
I
Medidas cuantitativas de informacion
I
Analisis de un sistema de comunicaciones
F Cantidad de informacion generada
F L de informacion
mites fundamentales en la transmision
del captulo:
Organizacion
I
Modelos (probabilsticos) para las fuentes de informacion
I Modelos (probabilsticos) del sistema (de canal)
I Medidas cuantitativas de informacion
I Lmites fundamentales en los sistemas de comunicacion

Modelado de fuentes de informacion

Salida de la fuente: flujo de informacion
I x(t)
En tiempo continuo: senal
I x[n]
En tiempo discreto: senal

Modelo de la salida de la fuente (informacion)
I Proceso aleatorio, X(t), o X[n]

Modelo para fuentes en tiempo continuo (analogicas)
I Proceso aleatorio en tiempo continuo X(t)
F densidad espectral de potencia SX (j!)
Caracterzacion:
- Normalmente son procesos limitados en banda
- Refleja el comportamiento espectral medio de la fuente
Modelo para fuente en tiempo discreto
I Proceso aleatorio en tiempo discreto X[n]
I Tipos de alfabeto de la fuente
F
Continuo (e.g., senales muestreadas)
F Discreto (fuentes digitales)
- Modelo mas simple: fuente discreta sin memoria
Fuente discreta sin memoria
DMS : Discrete Memoryless Source
Proceso aleatorio en tiempo discreto X[n]
I Alfabeto discreto de MX valores
I Sin memoria: {X[n]} son variables aleatorias independientes

e identicamente distribuidas (i.i.d.)
del proceso (caracterizacion
Descripcion estadstica)
I Variable aleatoria X (al ser X[n] i.i.d., la estadstica es la
misma para todo n)
F Alfabeto AX = {x0 , x1 , , xMX 1 }
F Probabilidades pX (xi ) = P(X = xi ) para i = 0, 1, , MX 1

Ejemplo: fuente binaria simetrica
BSS: Binary Symmetric Source
I Alfabeto AX = {x0 , x1 }, tpicamente x0 = 0, x1 = 1
I Probabilidades pX (x0 ) = pX (x1 ) = 12


-
Bb [`] ! B[n]
Codificador -
A[n]
Modulador
s(t)
Modulador Digital ?
Canal
Bb [`]
B[n] q[n] r(t)
Decisor Demodulador
Demodulador Digital

I probabilstica entre la informacion
Establecen la relacion recibida y la transmitida
en distintos puntos de este modelo general del sistema de comunicaciones
F Distintos niveles de abstraccion en la definicion
de canal
F
Modelo probabilstico: Entrada X , salida Y , distribucion fY|X (y|x)
Modelos definidos
I Canal gaussiano
F Representa el canal fsico: Y r(t) | X s(t)
I Canal gaussiano con entrada digital

F Representa el canal discreto equivalente: Y q[n] | X A[n]
I Canal digital
F | A[n])
| X B[n] (o A[n]
de smbolos: Y B[n]
Representa la transmision
I Canal digital binario
F Representa la transmision b [`] | X Bb [`]
de bits: Y B

Modelos probabilsticos de canal - Representacion
Bb [`] B[n] A[n] s(t)

Codificador Modulador
Canal
b [`]
B
B[n] q[n] r(t)
Decisor Demodulador
Canal digital Canal gausiano Canal gausiano

Canal digital con entrada digital
binario

Canal gaussiano
entrada / salida
Relacion
I Entrada: X s(t), para un instante dado t
I Salida: Y r(t), para el mismo instante dado t
Modelo canal gaussiano

r(t) = s(t) + n(t)
I N0 N0
n(t): proceso aleatorio blanco y gaussiano con Sn (j!) = 2
, Rn ( ) = 2
( )
de la potencia de ruido - Filtrado a la entrada del receptor
Limitacion
I de ancho de banda B Hz (W = 2B rad/s)
Senal
F Filtro g(t) ideal de ancho de banda B Hz: potencia de ruido N0 B
s(t)- f - r(t)-
g(t) / G(j!)
6
n(t)
de los valores de la senal
Distribucion r(t) dada la senal
s(t) en un
Y|X cuando Y r(t) y X s(t))
cierto instante t (distribucion
I de Y cuando X = x = s(t)
Distribucion
I Gaussiana, de media s(t) en el instante dado y varianza 2 = N0 B
1 (y x)2
fY|X (y|x) = p e 2 2
2
Canal gaussiano con entrada digital
Es el equivalente al canal discreto equivalente
entrada / salida
Relacion
I Entrada: X A[n], para un instante dado n
F Vector de N variables aleatorias discretas
F Si A[n] = a ! X = x
i i
I Salida: Y q[n], para el mismo instante dado n
F Vector de N variables aleatorias continuas
Modelo del canal gaussiano con entrada digital

q=A+z
I de los N elementos del vector de ruido

Distribucion
F V.A.s Independientes, gaussianas, media nula, varianza N0 /2
de la salida dada la entrada
Distribucion
I Gaussiana de media el smbolo transmitido (xi ai )
1 ||q ai ||2 1 ||y xi ||2
fq|A (q|ai ) = e N0
! fY|X (y|xi ) = e N0
(N0 )N/2 (N0 )N/2
Canal digital
entrada / salida
Relacion
I Entrada: X B[n], para un instante dado n

I Salida: Y B[n], para el mismo instante dado n
F Alfabeto de X e Y
- M elementos del alfabeto de B[n]: {xi = yi bi }M
i=0
1
Modelo probabilstico: canal discreto sin memoria

DMC:Discrete Memoryless Channel
X - p (y, x) Y-
Y|X
I estadstica del canal discreto sin memoria

Definicion
1 Alfabeto de entrada
AX = {xi }, i = 0, , MX 1
2 Alfabeto de salida
AY = {yj }, j = 0, , MY 1
3
Conjunto de probabilidades condicionales (de transicion)
pY|X (yj |xi ), 8i, j
de las probabilidades de transicion
Representacion
Matriz de canal
2 3
pY|X (y0 |x0 ) pY|X (y1 |x0 ) pY|X (yMY 1 |x0 )
6 pY|X (y0 |x1 ) pY|X (y1 |x1 ) pY|X (yMY 1 |x1 )
7
6 7
P=6 .. .. .. .. 7
4 . . . . 5
pY|X (y0 |xMX 1) pY|X (y1 |xMX 1) pY|X (yMY 1 |xMX 1 )
I Elementos de una fila suman 1

Diagrama de flechas
x0 sXX s y0
pY|X (y0 |x0 )
- p (y0 |x1 )
Z X. X
Y|X
:

Z .. X X

X
s Xs y1
Z
X pX
pY|X (y1 |x1 ) X Y|X (y1 |x0 )
z
x1 H .Z - X
Z
.
H.
Hj Z

pY|X (yMY 1 |x1 ) H
HZZ
H
pY|X (y0 |xMX 1 )
> * HHZ
pY|X (yM 1 |x0 )
~ Y
... pY|X (y1 |xMX 1 ) HZ
s Zs yMY 1
HZ H
xMX 1 - H
pY|X (yMY 1 |xMX 1)
I Flechas que salen de un mismo nodo suman 1

del DMC al canal digital

Aplicacion
Alfabetos de X e Y
I M smbolos del alfabeto de B[n], {b0 , b1 , , bM 1}
xi bi , yj bj , MX = MY = M, i, j 2 {0, 1, M 1}

Probabilidades de transicion
pY|X (yj |xi ) pB|B

(bj |bi ) = pA|A
(aj |ai )
I / diagrama de flechas
Valores ideales: matriz de transicion
2 3 x0 r 1
- r y0
x1 r r y1
1 0 0
6 7 1
-
6 0 1 0 7
P=I=6 .. .. .. 7
4 . . 1 . 5
0 0 1
xM 1 r 1
- r yM 1


Calculo - Ejemplo
de las probabilidades de transicion
1
M = 4, smbolos equiprobables pA (ai ) = 4
I a0 = 3, a1 = 1, a2 = +1, a3 = +3
Constelacion:
I umbrales qu1 = 2, qu2 = 0, qu3 = +2
Regiones de decision:
I0 = ( 1, 2], I1 = ( 2, 0], I2 = (0, +2], I3 = (+2, +1)
I0 I1 I2 I3
- - - -
t t t t
a0 a1 a2 a3
q
3 2 1 0 +1 +2 +3
(matriz de canal)
Probabilidades de transicion
2 3
1 Q p1 Q p1 Q p3 Q p3 Q p5 Q p5
6 No /2
No /2 No /2
No /2 No /2 7 No /2
6 7
6 p1 7
6 Q 2Q p 1 1 Q p1 Q p3 Q 7p3
6 No /2 N
o /2 No /2 No /2
N o /2 7
P=6 7
6 p3 7
6 Q Q p1 Q p3 2Q p 1 1 Q p1 7
6 No /2 No /2 No /2 N
o /2 No /2 7
4 5
Q p5 Q p3 Q p5 Q p1 Q p3 1 Q p1
No /2 No /2 No /2 No /2 No /2 No /2

Elementos de la primera fila: pY|X (yj |x0 ), 8j

..
. .
...................................................
..... ...................
...... ...................................
..... .................................................
..... ..............................................................
.............................................................................
.........................................................................................
................................. ....
a0 ..........................................................................................................................................................................................................
t .................................................................................................. ..................................................
3 2 1 0 +1 +2 +3 q
- - - -
I0 I1 I2 I3
fq|A (q|a0 ): gaussiana de media a0 y varianza N0 /2
Distribucion
!
1
pY|X (y0 |x0 ) =1 Pe|a0 = 1 Q p
N0 /2
! !
1 3
pY|X (y1 |x0 ) =Pe|a0 !a1 = Q p Q p
N0 /2 N0 /2
! !
3 5
pY|X (y2 |x0 ) =Pe|a0 !a2 = Q p Q p
N0 /2 N0 /2
!
5
pY|X (y3 |x0 ) =Pe|a0 !a3 = Q p
N0 /2
Elementos de la segunda fila: pY|X (yj |x1 ), 8j
. . .. .
................................................
. . .. ............................ ......................
.....................................
. . .
....................................
. . . .
.................................................... .................................................
. . .
. .
.. .
.
. .
. . . . . . . .
. .
. . .
. .
. .
. . .
. . .
. .
. ...........................................................
. . . . . . . . . . . .
........................................................................... . . .........................................................................................
.. . . .
........................................................................................... .................................................................................
. .. . .. .
. .
. ......................................................................................................
.................................................................................................................................................................
t
...............................................................................................................................................
............................................ ....................................................... . .
3 2 1 0 +1 +2 +3 q
- - - -
I0 I1 I2 I3
Distribucion
!
1
pY|X (y0 |x1 ) =Pe|a1 !a0 = Q p
N0 /2
!
1
pY|X (y1 |x1 ) =1 Pe|a1 = 1 2Q p
N0 /2
! !
1 3
pY|X (y2 |x1 ) =Pe|a1 !a2 = Q p Q p
N0 /2 N0 /2
!
3
pY|X (y3 |x1 ) =Pe|a1 !a3 = Q p
N0 /2
Elementos de la tercera fila: pY|X (yj |x2 ), 8j

.. . .
. .................................................
.
.
.. . .
. ............................
.
.
.....................
....................................
. . . . .
. . . .
. . .
. . .
. . .
.
. . . .
. . . . . . .
.............................................. . ...................................................
.. .
. .
............................................................. ................................................................
.. . . . . .
............................................................................ ..................................................................................
. . .. .
. . . .
.............................................................................................. ......................................................................................
. ...................................................................................................................... a2 ........................................................................................................................................................
. . . .
t
.
... .... .
.
. .
....
.
........................................................................................................................................... ................................................................................
3 2 1 0 +1 +2 +3 q
- - - -
I0 I1 I2 I3
Distribucion
!
3
pY|X (y0 |x2 ) =Pe|a2 !a0 = Q p
N0 /2
! !
1 3
pY|X (y1 |x2 ) =Pe|a2 !a1 = Q p Q p
N0 /2 N0 /2
!
1
pY|X (y2 |x2 ) =1 Pe|a2 = 1 2Q p
N0 /2
!
1
pY|X (y3 |x2 ) =Pe|a2 !a3 = Q p
N0 /2
Elementos de la cuarta fila: pY|X (yj |x3 ), 8j
. . .. .
..............................................
........................... ......
. . .
.. . ......
. .. .. . .
. .
. .
. .
. .
. .
. .
. .
. .
. .
. .....
.. . .
. .
. .
. .
. .......................... .....
.. .. .....................................
. . .....
. . .
. .
. .
. . .
. .
. .
. .
. .
. . .
. . .
. .
. . .
. . .
. .
. .
. . .
.
.. . .. ............................................................................................................
.. . ...
. .........................................................................................................................................
.
t
.. . . . .
................................................
...........................................................................................................................................................................................................................
3 2 1 0 +1 +2 +3
- - - -
I0 I1 I2 I3
Distribucion
!
5
pY|X (y0 |x3 ) =Pe|a3 !a0 = Q p
N0 /2
! !
3 5
pY|X (y1 |x3 ) =Pe|a3 !a1 = Q p Q p
N0 /2 N0 /2
! !
1 3
pY|X (y2 |x3 ) =Pe|a3 !a2 = Q p Q p
N0 /2 N0 /2
!
1
pY|X (y3 |x3 ) =1 Pe|a3 = 1 Q p
N0 /2
Canal digital binario

entrada / salida
Relacion
I Entrada: X Bb [`], para un instante dado `
I b [`], para el mismo instante dado n
Salida: Y B
F Alfabeto de X e Y: Bits x0 = y0 0, x1 = y1 1
Modelo probabilstico
I del DMC para M = 2
Particularizacion
I Probabilidades condicionales pY|X (yj |xi )
F Probabilidades de acierto de bit (j = i)
F Probabilidades de error de bit (j 6= i)
I Habitualmente, se asume que la probabilidad de error de bit
es igual para los dos bits (0, 1)
F
Canal binario simetrico (BSC:Binary Symmetric Channel)
F Probabilidad de error de bit (BER): BER = "
x0 rH 1
-" r y0
HH
H *" pY|X (y0 |x0 ) pY|X (y1 |x0 ) 1 " "
HH P=
pY|X (y0 |x1 ) pY|X (y1 |x1 )
=
" 1 "
j
HH"
r H r y1
HH
x1 -
1 "
M EDIDAS C UANTITATIVAS
DE

I NFORMACI ON


Autoinformacion
contenida en un suceso aislado
Medida de la informacion
de una variable aleatoria discreta (X = xi )
Requerimientos para esta medida
1 IX (xi ) depende de la probabilidad del suceso
IX (xi ) = f (pX (xi ))
2 decreciente de la probabilidad
Debe ser una funcion
pX (xi ) > pX (xj ) ! IX (xi ) < IX (xj )
3 continua de la probabilidad
Debe ser una funcion
F Sucesos con probabilidades similares tienen una informacion similar
4 Para sucesos independientes X = xi , Y = yj ( pX,Y (xi , yj ) = pX (xi ) pY (yj ))
IX,Y (xi , yj ) = IX (xi ) + IY (yj )
que cumple estas propiedades - Autoinformacion

Funcion
IX (xi ) = logb (pX (xi ))
I La base del logaritmo define las unidades de la medida
F Base 2 : bits
F Base e (logaritmo natural o neperiano ln): nats
NOTA: Relacion logb (x) = ln(x)/ ln(b)
Entropa
Medida de la incertidumbre contenida en una variable aleatoria
(discreta)
de cada suceso
I Promedio de la autoinformacion
F Alfabeto: AX = {x0 , x1 , , xMX 1 }

F Probabilidades: {pX (x0 ), pX (x1 ), , pX (xMX 1 )}
MX
X 1 MXX 1
1
H(X) = pX (xi ) log pX (xi ) = pX (xi ) log
pX (xi )
i=0 i=0
0 log 0 = 0
NOTA: Por convencion:
I Unidades: bits/smbolo o nats/smbolo

Valores lmite de la entropa de variables aleatorias discretas
1 H(X) 0
Ya que 0 pX (xi ) 1 y, consecuentemente, log(1/pX (xi )) 0
F H(X) = 0 cuando no hay incertidumbre en X
pX (xi ) = 1, pX (xj ) = 0 8j 6= i
2 H(X) log(MX )
La igualdad se produce unicamente
si los smbolos son
1
equiprobables, pX (xi ) = MX

F Maxima situacion de incertidumbre
Ejemplo - Entropa binaria

Variable aleatoria binaria
I Alfabeto: {x0 , x1 }
I Probabilidades: {pX (x0 ) = p, pX (x1 ) = 1 p}
H(X) = p log(p) (1 p) log(1 p)

1 1
=p log + (1 p) log Hb (p)
p 1 p
1
......................................
0.9
..
...... .....
....
0.8
... ....
.. ...
. ...
Entropia binaria Hb (p)
0.7
... ...
0.6
.. .
. ...
0.5 ... ...
. ...
0.4
.... ...
0.3 ... ...
0.2 . . ...
.. ...
0.1 .. ...
0 ... ..
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Probabilidad p
Entropa conjunta
Medida de la informacion conjunta de dos (o mas) variables
aleatorias
M
X X 1M
XY 1
1
H(X, Y) = pX,Y (xi , yj ) log
i=0 j=0
pX,Y (xi , yj )
Variables aleatorias independientes
I Probabilidad conjunta: pX,Y (xi , yj ) = pX (xi ) pY (yj )
I Entropa conjunta
MX
X 1 MX
Y 1
1
H(X, Y) = pX (xi ) pY (yj ) log
i=0 j=0
pX (xi ) pY (yj )
MX
X 1 MX
Y 1 MXX 1 MX
Y 1
1 1
= pX (xi ) pY (yj ) log + pX (xi ) pY (yj ) log
i=0 j=0
pX (xi ) i=0 j=0
pY (yj )
MX
X 1 MXY 1
1 1
= pX (xi ) log + pY (yj ) log
i=0
pX (xi ) j=0
pY (yj )
=H(X) + H(Y)

Entropa condicional
Mide la incertidumbre en una variable aleatoria cuando se
conoce el valor de la otra
I Promedio de H(X|Y = yj ) para cada valor del alfabeto de Y
M
XY 1
H(X|Y) = pY (yj ) H(X|Y = yj )

j=0
M
XY 1 M
XX 1
1
= pY (yj ) pX|Y (xi |yj ) log
j=0 i=0
pX|Y (xi |yj )
M
XX 1M
XY 1
1
= pX,Y (xi , yj ) log
i=0 j=0
pX|Y (xi |yj )
I Para variables aleatorias independientes

H(X|Y) = H(X)

entre entropa conjunta y condicional
Relacion
MX
X 1M
XY 1
1
H(X, Y) = pX,Y (xi , yj ) log
pX,Y (xi , yj )
i=0 j=0
MX
X 1M
XY 1
1
pX (xi ) pY|X (yj |xi )
i=0 j=0
MX
X 1M
XY 1 MX
X 1M
XY 1
1 1
= pX,Y (xi , yj ) log + pX,Y (xi , yj ) log
i=0 j=0 i=0 j=0
MX
X 1 MX
X 1M
X Y 1
1 1
= pX (xi ) log + pX,Y (xi , yj ) log
i=0 i=0 j=0
=H(X) + H(Y|X)
H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)

mutua
Informacion
que aporta una variable aleatoria X
Mide la informacion
sobre el conocimiento de otra variable aleatoria Y
MX
X 1M
XY 1
pX,Y (xi , yj )
I(X, Y) = pX,Y (xi , yj ) log
pX (xi ) pY (yj )
i=0 j=0
Propiedades
1 I(X, Y) = I(Y, X) 0
La igualdad se cumple en el caso de que X e Y sean independientes
2 I(X, Y) mn(H(X), H(Y))
3 mutua condicional
Se puede definir informacion
MX
Z 1
I(X, Y|Z) = pZ (zi ) I(X, Y|Z = zi )
i=0
I(X, Y|Z) = H(X|Z) H(X|Y, Z)

4 mutua es
La regla de la cadena para la informacion
I((X, Y), Z) = I(X, Z) + I(Y, Z|X)
I((X1 , X2 , , XN ), Y) = I(X1 , Y) + I(X2 , Y|X1 ) + + I(XN , Y|X1 , , XN 1)
5 de informacion
A partir de la definicion mutua se obtiene la definicion
de entropa
I(X, X) = H(X)
mutua y entropa
Relaciones informacion
MX
X 1 MX
Y 1
pX,Y (xi , yj )
I(X, Y) = pX,Y (xi , yj ) log
i=0 j=0
pX (xi ) pY (yj )
MX
X 1 MX
Y 1
pX|Y (xi , yj )
i=0 j=0
pX (xi )
MX
X 1 MX
Y 1 MXX 1 MX
Y 1
1
= pX,Y (xi , yj ) log + pX,Y (xi , yj ) log(pX|Y (xi , yj ))
i=0 j=0
pX (xi ) i=0 j=0
MX
X 1 MX
X 1 MX
Y 1
1 1
= pX (xi ) log pX,Y (xi , yj ) log = H(X) H(X|Y)
i=0
pX (xi ) i=0 j=0
pX|Y (xi , yj )
I(X, Y) = H(X) H(X|Y) = H(Y) H(Y|X) = H(X) + H(Y) H(X, Y)

mutua y entropa (II)

Relaciones informacion
I(X, Y) = H(X) H(X|Y) = H(Y) H(Y|X) = H(X) + H(Y) H(X, Y)
en un diagrama de Venn
Representacion
I mutua representadas por areas
Entropas e informacion
H(X, Y)
............................................. .....................................................................
............ ......... ................ ............
..
............. ........................... ..........
... .. ..
....... ......
........
...... .. .
. ... ....
.......
......
.
.. .... ....
..... .... .... ....
.. ... ... ....
.. .. .. ...
... ...
.. .. ...
. . ...
... ... .. ...
..
.. .. .. ..
.. .. ..
..
..
..
..
...
H(X|Y) ..
I(X, Y)
...
.
... ...
.
.
.
.
H(Y|X) .
.
.
..
.
... ... .. ..
... ... .. ..
... ....
. . ... ......
.... ..... . ...
.... ....... ... ....
.... ....... ....... ......
...... ...........
. ..
............
....... . .. ..
.......... ....... ....................... ..........
................. .......... .......................
...................................................
.............
................................
H(X) H(Y)

mutua
Diagrama de Venn - Entropas e informacion
H(X, Y)
H(X): +
H(Y): +
H(X|Y) I(X, Y) H(Y|X) H(X, Y): + +
H(X|Y):
H(Y|X):
I(X, Y):
H(X) H(Y)

Entropa diferencial
de las definiciones de entropa a variables aleatorias
Extension
continuas Z 1
1
h(X) = fX (x) log dx
1 fX (x)
de entropa diferencial conjunta
Definicion
Z 1Z 1
1
h(X, Y) = fX,Y (x, y) log dx dy
1 1 fX,Y (x, y)
Lo mismo se hace para la entropa diferencial condicional

Z 1Z 1
1
h(X|Y) = fX,Y (x, y) log dx dy
1 1 fX|Y (x|y)
alternativa pero equivalente

A menudo se utiliza la definicion
Z 1 Z 1
1
h(X|Y) = fY (y) fX|Y (x|y) log dx dy
1 1 fX|Y (x|y)

mutua - Relaciones
Entropa diferencia e informacion
de la informacion
Definicion mutua
Z 1Z 1
fX,Y (x, y)
I(X, Y) = fX,Y (x, y) log dx dy
1 1 f X (x) fY (y)
Se mantienen las mismas relaciones que para variables

discretas
h(X, Y) = h(X) + h(Y|X) = h(Y) + h(X|Y)
I(X, Y) = h(Y) h(Y|X) = h(X) h(X|Y) = h(X)+h(Y) h(X, Y)

LI MITES F UNDAMENTALES
EN
S ISTEMAS DE C OMUNICACIONES

fiable sobre canales no fiables - Ejemplo
Transmision
sXX s
1
a 00 -
2
a 00
z
X
XXX
XXX >
sXX Xs
1 1
2 1 X
XX2
b 01 -
2
b 01
XXX
z
X
X
1XXX
sX Xs
1
2
-
2 XX
c 11 XX
X
z c 11
XXXX
s Xs
1
2 1 XXX
d 10 -
2 X d 10
por uso del canal
4 smbolos 2 bits de informacion
El canal no es fiable - Se comenten errores
I Probabilidad de error de smbolo es Pe = 1/2
I Con asignacion binaria de Gray BER = 1/4
I Los errores se producen porque dada una salida no es
posible identificar de forma unvoca el smbolo transmitido
F Por ejemplo: si se observa a, esto puede ser porque
- Se ha transmitido a (sin error)
- Se ha transmitido d (con error)
fiable sobre canales no fiables - Ejemplo (II)

Transmision
para transmitir informacion
Opcion de forma fiable
I Transmitir un subconjunto de los smbolos
F Smbolos que generen salidas sin solapamiento
I ayc
Ejemplo: transmitir solo
Fa puede dar como salidas a o b
Fc puede dar como salidas c o d
Dada una salida no hay incertidumbre en el smbolo transmitido !!!
sobre este canal con
Es posible transmitir informacion
probabilidad de error nula
I fiable
Coste de la transmision
F Por cada uso del canal se transmite menos informacion
- En este caso: 2 smbolos 1 bit por uso del canal
Los canales habituales no permiten esto de forma directa
I
Alternativa: forzar un comportamiento similar - Codificacion
F No se busca probabilidad de error nula (sin solapamientos)
F Se busca poder reducir la probabilidad de error de forma
arbitraria
- Solapamientos con probabilidad arbitrariamente baja

Codificacion
Se utiliza el canal n veces de forma conjunta
I Definicion de smbolos extendidos: grupo de n smbolos
Se busca un subconjunto de smbolos (2k ) que produzcan bajo
solapamiento en la salida
por cada n usos del canal
I Se transportan k bits de informacion

Ejemplo: canal binario simetrico (BER = ") con n = 3
000 ..s..........................................................................................................................................................................................................................................s 000
s s 001
.............................. .................. . .
..................... ......... .................. ............................
............... ...... ......... ............................................................. ........................................................
s s 0
............... ..... ..................... .......................... .............
1 -" 001
............................. ......... .... ... . . . . .
.. . .. ...... . . . ....
....................................................................................................................................................................................................................................................................
........................................................ ................ .............. ...... ...........................................
.. .
.
0
s s 010
HH .............................. ... ..................................... .......................................... ....................................
................................................... ...... ........................................... ....... ...............................................
........................... ......................................... ........................................ ........................
...................................... ...................... ..................... .........................................
H *" 010 ............................................................................................................................................................................................................................................................................................................
HH ................................................. .................... .................... .................................................
s s 011
......................... ...... ............................ ............. ........... .................................... .......................
...................................... ........................................................... ....................................
H ...................................... ..................................................... ............. ........... ...........
................................................................................................................... ..........................................................................................................................
HH " . . . . .
. ..
............................................................................................................................................................................................................................................................................................................................
.
j
H 011 ................................................ .......................... ......................... ......... .....................................
s s 100
H
........................ .... ......................................... ................ .................................... .......................
s Hs
.......................................... ............................................................... ........................................
HH . . . .. .... . . ... . ... . . . .. .. . . .
............................ ....................................... .......................................... ...........................
.................................................................................... ................................................. ................................................ ...............................................................................................
. . .
- . .
1 1 100 . .
..............................................................................................................................................................................................................................................
............................................... .......................... ...................... .......... ..................................
s s 101
.................... .... ....................... ............ ............. .................................. ....................
..................................... ........................................................... .........................................
1 " ................. ................ ................................................................................................ .................. .................
............................................................................................. ....................................... ..........................................................................................................................................
101 .................................................................................................................................................................................................
.................................. ............ ..................... ...................... ............ .... ............................
s s 110
.............. .................. ........ ....... ...... ................................. ...........
.......................... ......................................... . ............................................ .............................
. . ..............................................................................................................................................................................................................................................
................................................ ............. . ..
............. ..... ................. ......................
. .
............................................................................................................................................................................................................................................................................
110 ..... . .. ..
.............................................................................
.. .......... ..... .......................
s s 111
............................. ................
.. . .. .. .. ................................ ........... .........................
...................... ........... ........ ......................... ............................................
.................................. ..................... ..........................................
........................................................... ... .. ....
. ............................................................................................................................................
111
(II)
Codificacion
probables (para " razonablemente bajo)
Situaciones mas
I 0 errores o 1 error sobre 3 bits - 4 ramas/smbolo (en negro)
Situaciones menos probables
I 2 errores o 3 errores sobre 3 bits - 4 ramas/smbolo (en verde)
Subconjunto de 2k (k < n) elementos con bajo solapamiento
000 ..q.....................................................................................................................................................................................................................................q 000 q q q q
I Ejemplo: 000 y 111 (k = 1)
q
.....................................................................................................................................................................................q q q q q
000 ..............................................................................................
.........................................
.............................. ................. ... 000 000 .............................................................................................
.................................
...... ........... ....................
000
....................................... ....................................... ...
.q.............................................................................................................................................................................................................q q q q q
......................... ........... .... ...... ........... .................
.............. ....... ......... ........................... ... .......
001 ........................................................................................................................................................... 001
. 001 ............... ...... .......... .. ...
......... ..... ....... .......... ... 001 001 ......
...... ..................
...... ..........
001
............................................ ............................................ ......... ..... ....... .............
q............................................................................................................................................................................................................................q q q q q
...... .... ..... ...... ... ... ......... ...... ..........
...
010 ................................................................................................................................................................ 010
. 010 ... ... ... ..... ........ .. ...
... ... ... ...... ... ........ ...
... ... ... ..... .. ........
010 010 ......
......
......
010
............... ....................... ..........................................
.q................................................................................................................................................................................................................................q q q q q
... .... ...... ........ ... ...... ......
... ... ........ ....... .....
011 ............................................................................................................................................................................................ 011
.. 011 ... ..... .... ....... ......
... . . .. . ... .. 011 011 ...... ......
............ 011
............... ...................... ...................................... ..... ..... ...... ......... .....
.q......................................................................................................................................................................................................................q q q q q
....................... ............... ........... ......... .........
100 ................................................................................................................................................................................ 100
. 100 ..
.................................. ............... 100 100 . .
....... 100
................... .................. .................... ................... .. .. .. .... ... ...... .. ......
.q............................................................................................................................................................................................q q q q q
...... ... ...... ......... ... .... ......
101 ........................................................................................................................................................... 101
. 101 ........................ ............. ...... .................... 101 101 . ...... ........ 101
. .
. . . .. .. .... . ...... .........
.......................................... ....................... ................... ............... ........ ........... ..... ...... ...... ..........
..q............................................................................................................q q q q q
. ....
............... ....... .......... .. . . ...
...... ..........
... .....
110 .................................................................................................................................. 110
. 110 . ...................................................... ................................... 110 110 ...... ........... ....................
.............. 110
.
........................................ ......................................
. . ............................ .................. ...
. ........................................................
......................................................................................................................... . . .....
................................................................................
111 111 111 111 111 111
Despreciando los enlaces de baja probabilidad no hay solapamiento

I Probabilidad de error: Pe = 3 "2 (1 ") + "3
F Ejemplo A: " = 0,1 ! Pe = 0,028 Ejemplo B: " = 0,01 ! Pe = 0,000298
I transmitida: 1 bit (k) de informacion
Informacion por cada 3 (n) usos del canal
F Tasa R = k/n = 1/3
aumentando n y k (con k/n constante) se puede reducir mas

Intuicion:
I Existe un lmite: Capacidad de canal
de canal para proteccion
Codificacion frente a errores
de redundancia estructurada para reducir la
Introduccion
probabilidad de error
I (conjunto de ndices)
Bloques de k smbolos de informacion
se transforman en bloques de n bits (paralbras del codigo)
F
Diccionario del codigo

Ejemplo de diccionario del codigo
para dos codigos binarios

Conjunto de ndices Palabras codigo Conjunto de ndices
Palabras codigo
0 000 00 00000
1 111 01 10101
10 01110
11 11011

Codigo de ejemplo C(1, 3)
Codigo de ejemplo C(2, 5)
Codificador Decodific.
DMC DMC
B[l]
- ..... ..... X[i]
- Y[i]
- .....
-
..... B[l]
DMC
12 k 12 n 12 n 12 k

de canal
Teorema de codificacion
C = max I(X, Y)
pX (xi )
de canal (Shannon 1948):

Teorema de codificacion
1 R es menor que C, entonces para cualquier
Si la tasa de transmision

> 0 existe un codigo con una longitud de bloque n suficientemente
larga cuya probabilidad de error es menor que
2
Si R > C, la probabilidad de error de cualquier codigo con cualquier
longitud de bloque esta limitada por un valor no nulo
3
Existen codigos que permiten alcanzar la capacidad del canal R = C
Codificador Decodific.
DMC DMC
B[l]
- ..... ..... X[i]
- Y[i]
- .....
-
..... B[l]
DMC
12 k 12 n 12 n 12 k
k

Tasa del codigo: R=
n
Capacidad de canal

Maxima que se puede transmitir de
cantidad de informacion
de un canal de comunicaciones en un
forma fiable a traves
sistema digital de comunicaciones
I se produce una distorsion
En la transmision
F
Potencial perdida
de informacion
I fiable - Definicion
Transmision
F Transmision sin perdida

potencial de informacion
F
En la practica: capacidad para reducir la probabilidad de
error tanto como sea necesario
I Capacidad de canal
F Lmite en el numero
de smbolos con solapamiento
arbitrariamente bajo cuando el numero
de usos del canal
tiende a infinito
I al concepto de codificacion
Introduccion de canal
F fiable
Mecanismo que permite una transmision
los siguientes casos:
Se estudiaran
I Canal digital
F El canal digital binario se considera un caso particular
I Canal gaussiano
de la informacion
Capacidad de canal a traves mutua
mutua entre la entrada y la salida de un DMC
Informacion
I(X, Y) = H(X) H(X|Y)

Analisis para un BSC con BER = " en dos casos extremos
I
Caso optimo: "=0
F H(X|Y) = 0 ! I(X, Y) = H(X)
I Peor caso: " = 1/2
F H(X|Y) = H(X) ! I(X, Y) = 0 ! X e Y independientes
Se pueden extraer las siguientes conclusiones
1 La informacion mutua entre entrada y salida del canal se puede ver como la
cantidad de informacion que pasa de la entrada a la salida cuando el canal es
utilizado. En el caso en que la probabilidad de error es nula, pasa toda la
informacion (I(X, Y) = H(X)), y en el caso en que la entrada y la salida son
estadsticamente independientes se pierde toda la informacion (I(X, Y) = 0).
2 H(X|Y) puede interpretarse como la informacion que se pierde en el canal, y
que atraviesa el canal, I(X, Y), es igual a la informacion
as la informacion que
hay a la entrada, H(X), menos la que se pierde, H(X|Y). Cuando la probabilidad de

error es nula la perdida es nula, y cuando la entrada y la salida son
estadsticamente independientes, la perdida es total, es decir, igual a la
informacion a la entrada del canal.
Capacidad de canal para un canal digital
formal para un DMC
Definicion
C = max I(X, Y)
pX (xi )
Sus unidades son bits (o bits por uso de canal)

I es respecto de las probabilidades de los
La maximizacion
smbolos de entrada
F Hay que buscar las pX (xi ) que maximizan I(X, Y)
Valores lmite
I C 0, ya que I(X, Y) 0
I C log MX , ya que C = max I(X, Y) max H(X) = log MX
I
C log MY , por la misma razon


Ejemplo - Canal binario simetrico
Modelo para canal digital binario con BER = "

Calculo mutua entrada / salida
de la informacion
1
X
I(X, Y) =H(Y) H(Y|X) = H(Y) pX (xi ) H(Y|X = xi )
i=0
2 3
1
X 1
X
=H(Y) pX (xi ) 4 pY|X (yj |xi ) log pY|X (yj |xi )5
i=0 j=0
1
X
=H(Y) pX (xi ) [ " log(") (1 ") log(1 ")]
i=0
1
X
=H(Y) pX (xi ) Hb (") = H(Y) Hb (")
i=0

Calculo de la capacidad de canal

I Se busca el maximo mutua
de la informacion
F
Para este canal, se obtiene cuando H(Y) es maxima
F
H(Y) es maxima cuando los smbolos de salida son equiprobables
F Para este canal, ocurre cuando los smbolos de entrada son equiprobables
C=1 Hb (")
1
I Probabilidades de X que maximizan I(X, Y): pX (x0 ) = pX (x1 ) = 2
con restricciones
Capacidad: problema de maximizacion

El problema del calculo de la capacidad de un canal digital se
puede plantear como un problema de maximizacion de una
con restricciones
funcion
I a maximizar
Funcion
F mutua entre entrada y salida del canal I(X, Y)
Informacion
I Variables sobre las que se maximiza
F Probabilidades de los smbolos de entrada {pX (xi )}M X
i=0
1
I Restricciones
F Valor de cada probabilidad
0 pX (xi ) 1, para i 2 {0, 1, , MX 1}
F Suma de todas las probabilidades

MX
X 1
pX (xi ) = 1
i=0
analtica puede ser difcil

En general encontrar una solucion
I para canales sencillos
Soluciones analticas solo
I
Calculo
mediante metodos
numericos utilizando ordenadores
en un canal digital
Lmites para la transmision
Un canal digital tiene una capacidad C bits/uso
I
Si se utilizan codigos de canal, los codigos
practicos
(aquellos que permiten reducir la probabilidad de error de
tener una tasa de codificacion
forma arbitraria) deberan
menor que dicha capacidad
R<C
practica
Limitacion
en terminos
de velocidad de transmision
para proteccion
efectiva cuando se utiliza codificacion
frente a errores
I
Sistema disenado para transmitir a Rb bits/s
Refectiva
b
= R Rb bits de infomacion/s
F efectiva
Lmite en la tasa de transmision
Refectiva
b
< C Rb bits de infomacion/s
Capacidad de canal para el canal gausiano
entrada salida en un canal gausiano
Modelo de relacion
Y =X+Z
Z es una variable aleatoria gausiana, de media nula y varianza PZ
Capacidad de canal en las siguientes condiciones:
I Potencia transmitida: PX watt.
I Ancho de banda: B Hz
F Potencia de ruido: PZ = N0 B watt.

Calculo de la informacion
a traves mutua
C= max I(X, Y)
fX (x) | E[X 2 ]PX
E[X 2 ] PX dada por la limitacion

Restriccion en potencia
Resultado
PX
C = B log 1 + bits/s
N0 B
Se obtiene para fX (x) gausiana
Capacidad de canal para canal gausiano (II)

Capacidad sobre canal gausiano en
las siguientes condiciones:
Potencia transmitida: PX watt.
Ancho de banda: B Hz
I Potencia de ruido: PZ = N0 B watt.
Hiper-esferas n-dimensionales
p
de radio nPZ Capacidad obtenida a partir del nume-

x ro de secuencias sin solapamiento
y=x+z
n/2
PX
Mss = 1+
PZ

log Mss 1 PX
C= = log 1 +
n 2 PZ

Hiper-esfera n-dimensional de 1 PX
p C = log 1 + bits/uso
radio n(PX + PZ ) 2 N0 B

PX
C = B log 1 + N0 B bits/s

de la capacidad de canal
Evolucion
Capacidad del canal gausiano

PX
C = B log 1 + bits/s
N0 B

Depende de dos parametros
I transmitida, PX
Potencia de la senal
I Ancho de banda disponible en Hz, B
de la potencia transmitida PX
Capacidad de canal en funcion
lm C = 1
PX !1
I Se puede aumentar C de forma arbitraria aumentando PX

I Aumento lineal de C requiere aumento exponencial de PX
del ancho de banda (B Hz)

Capacidad de canal en funcion
P P
lm C = log2 (e) = 1,44
B!1 N0 N0
I El incremento de B no permite un incremento arbitrario de C
en un canal gausiano
Lmites para la transmision
Algunas definiciones
I binaria: Rb bits/s
Tasa de transmision
I Relacion a ruido: SNR = PPXZ = NP0XB
senal
I Tasa binaria (eficiencia) espectral: = RBb bits/s/Hz
I Energa media por bit: Eb = PRXb
I Eb /N0 : NEb0 = RPb NX 0 = NP0XB RBb = SNR
Relacion

Sistema de comunicaciones practico
Rb < C ! Rb < B log (1 + SNR) bits/s
I Dividiendo por B en ambos lados y reordenando

Eb
< log (1 + SNR) , < log 1 +
N0
Eb 2 1
SNR > 2 1, >
N0
Eb
Cuando ! 0 N0 = ln2 = 0,693 1,6 dB
Tasa binaria espectral frente a Eb /N0
Eb Eb 2 1
Se representa sobre el plano vs N0 la curva N0 =
I
Divide el plano en dos regiones: sistemas con Rb > C (practicos) y con Rb > C
Rb
= B bits/s/Hz
Rb > C
10+1
Rb < C
1
5 10 15 20 Eb
(dB)
N0
1
10
1,592
senal
Relacion a ruido normalizada
Cota inferior para SNR
SNR > 2 1
de SNR normalizada
Definicion
SNR
SNRnorm =
2 1
Cota inferior sobre SNRnorm
SNRnorm > 1 (0 dB)


OCW UC3M TC Diapos T5 Limites 2p

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

OCW UC3M TC Diapos T5 Limites 2p

Enviado por

Direitos autorais:

Formatos disponíveis

Teora de la Comunicacion

Grado en Ingeniera en Tecnologas de Telecomunicacion

Creative Commons License

c Marcelino Lazaro, 2014

Fuente de s(t)- Medio de r(t)- Destino de

c Marcelino Lazaro, 2014

Modelos probabilsticos de canal

Modelos probabilsticos de canal

I Canal gaussiano con entrada digital

Bb [`] B[n] A[n] s(t)

Canal digital Canal gausiano Canal gausiano

c Marcelino Lazaro, 2014

Modelo canal gaussiano

Modelo del canal gaussiano con entrada digital

I de los N elementos del vector de ruido

Modelo probabilstico: canal discreto sin memoria

I estadstica del canal discreto sin memoria

I Elementos de una fila suman 1

I Flechas que salen de un mismo nodo suman 1

del DMC al canal digital

pY|X (yj |xi ) pB|B

c Marcelino Lazaro, 2014

I0 = ( 1, 2], I1 = ( 2, 0], I2 = (0, +2], I3 = (+2, +1)

c Marcelino Lazaro, 2014

Elementos de la primera fila: pY|X (yj |x0 ), 8j

Elementos de la tercera fila: pY|X (yj |x2 ), 8j

Canal digital binario

c Marcelino Lazaro, 2014

que cumple estas propiedades - Autoinformacion

F Alfabeto: AX = {x0 , x1 , , xMX 1 }

I Unidades: bits/smbolo o nats/smbolo

Ejemplo - Entropa binaria

c Marcelino Lazaro, 2014

H(X|Y) = pY (yj ) H(X|Y = yj )

I Para variables aleatorias independientes

c Marcelino Lazaro, 2014

H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)

c Marcelino Lazaro, 2014

I(X, Y|Z) = H(X|Z) H(X|Y, Z)

I(X, Y) = H(X) H(X|Y) = H(Y) H(Y|X) = H(X) + H(Y) H(X, Y)

c Marcelino Lazaro, 2014

mutua y entropa (II)

I(X, Y) = H(X) H(X|Y) = H(Y) H(Y|X) = H(X) + H(Y) H(X, Y)

c Marcelino Lazaro, 2014

c Marcelino Lazaro, 2014

Lo mismo se hace para la entropa diferencial condicional

alternativa pero equivalente

c Marcelino Lazaro, 2014

Se mantienen las mismas relaciones que para variables

h(X, Y) = h(X) + h(Y|X) = h(Y) + h(X|Y)

I(X, Y) = h(Y) h(Y|X) = h(X) h(X|Y) = h(X)+h(Y) h(X, Y)

c Marcelino Lazaro, 2014

c Marcelino Lazaro, 2014

fiable sobre canales no fiables - Ejemplo (II)

aumentando n y k (con k/n constante) se puede reducir mas

c Marcelino Lazaro, 2014

de canal (Shannon 1948):

Sus unidades son bits (o bits por uso de canal)

c Marcelino Lazaro, 2014

0 pX (xi ) 1, para i 2 {0, 1, , MX 1}

F Suma de todas las probabilidades

analtica puede ser difcil

E[X 2 ] PX dada por la limitacion