1

Canales discretos sin memoria

Canal discreto: modelo estadstico con una entrada X, una salida Y que es una versin ruidosa de
X.

Discreto porque los alfabetos de entrada y salida tienen elementos finitos.
Sin memoria porque la salida en un instante dado depende exclusivamente de la entrada en ese
mismo instante.
Descripcin:
- Mediante un diagrama de transicin
- Mediante una matriz de transicin.
Ejemplo: Canal binario simtrico.
Cada rengln de la matriz corresponde a una entrada y cada columna corresponde a una salida
La suma de probabilidades a lo largo de un rengln siempre vale 1.
1. Las probabilidades:
- De la fuente de entrada (a priori)
- De la fuente de salida (directas o marginales)
- Probabilidades conjuntas
- Probabilidades condicionales hacia delante ( de transicin)
- Probabilidades hacia atrs ( a Posteriori)
2. Entropas:
a. Entropas de las fuentes
b. Entropa condicional hacia delante y hacia atrs
c. Equivocacin
2

La equivocacin representa la cantidad de incertidumbre que queda acerca de la fuente de
entrada cuando se conoce la salida del canal.
La diferencia entre la entropa de la fuente y la entropa condicional debe representar la
incertidumbre en torno a la entrada que se resuelve al observar la salida del mismo.
3. La informacin mutua.
Propiedades:
- Es simtrica
- Es siempre positiva
- Relacin entre la informacin mutua y la entropa conjunta de la entrada y la salida
( ) ( ) ( ) ( ) Y X H Y H X H Y X I , ; + =
Diagrama de Venn.
4. Capacidad del canal
Canal con alfabeto de entrada X y alfabeto de salida Y con informacin mutua ( ) Y X I ,



Se requiere conocer las probabilidades de entrada ( )
j
x P para conocer la informacin mutua, la
cual depende no solo del canal si no de la manera en la cual se usa.
Como ( )
j
x P no depende del canal se puede maximizar la informacin mutua del canal con
respecto a ( )
j
x P , lo cual lleva a definir la capacidad del canal de un canal discreto sin memoria
como la informacin mutua mxima en cualquier uso simple del canal (intervalo de transmisin de
seales) donde la maximizacin es en todas las distribuciones de probabilidad de entrada posibles
( )
j
x P .
3

( ) { }
( ) Y X I C
j
x P
; max = Bits por uso del canal o bits por transmisin.
Ej.: canal binario simtrico.
Calculemos la informacin mutua de un BSC con matriz
(

P P
P P

Dnde . Admitiendo que las probabilidades de transmitir un 0 y un 1 sean
respectivamente y , la informacin mutua puede escribirse en la forma

Fcilmente se comprueba que las probabilidades de que

son iguales a y
, respectivamente. Por lo tanto,

( ) Se expresa como sigue, en funcin de la entropa
( ) ( ) ()
Puesto que est comprendido entre y , ( ) (), y por tanto la
informacin mutua es positiva. En el grfico de la informacin mutua se observa que se obtiene
un valor mximo de () para y se anula para y .
4


5. Teorema de codificacin del canal
Se agrega redundancia en el codificador del canal de tal manera que a la salida se pueda
reconstruir la secuencia fuente original lo ms exactamente posible.

En un cdigo de bloques se hace corresponder una secuencia de k bits de entrada con un bloque
de n bits con n>k.
Tasa de cdigo:
n k r / =
La reconstruccin exacta en el receptor requiere una probabilidad de error de smbolo
arbitrariamente baja.
Pregunta: Existe un esquema de codificacin de canal tal que la probabilidad de que el mensaje
sea errneo sea menor que cualquier nmero positivo c y que aun as el esquema de codificacin
de canal sea eficiente en cuanto a que no sea necesario que la tasa de cdigo sea demasiado
pequea?
5

La respuesta la da el segundo teorema de Shannon en trminos de la capacidad del canal.
Supongamos que la fuente discreta sin memoria de la figura tiene el alfabeto de fuente y
entropa ( ) H bits por smbolo y que cada smbolo se emite cada

segundos. Esto da una tasa

de informacin promedio de ( )
s
T H / bits por segundo.
El decodificador entrega smbolos decodificados a la misma velocidad.
El canal discreto sin memoria tiene una capacidad igual a C bits por uso del canal y suponemos que
se puede usar una vez cada
c
T segundos. De este modo la capacidad del canal por tiempo
unitario es
c
T C/ bits por segundo, lo que representa la tasa mxima de transferencia de
informacin por el canal.
TEOREMA DE CODIFICACION DE CANAL PARA UN CANAL DISCRETRO SIN MEMORIA:
Considere una fuente discreta sin memoria con un alfabeto con una entropa ( ) H bits por
smbolo y que cada smbolo se emite cada
s
T segundos. Sea un canal discreto sin memoria con
capacidad C y que se usa una vez cada
c
T segundos. Entonces, si
( )
c s
T C T H / / s
Existe un esquema de codificacin para el cual la salida de la fuente puede transmitirse por el
canal y reconstruirse con una probabilidad de error arbitrariamente baja. El parmetro
c
T C/ se
denomina tasa crtica.
Inversamente si ( )
c s
T C T H / / >
No es posible transmitir informacin por el canal y reconstruirla con una probabilidad de error
arbitrariamente pequea.
El teorema no indica cmo construir un buen cdigo y tampoco da un resultado preciso para la
probabilidad de error de smbolo a la salida del decodificador.
Aplicacin a canales BSC.
En un una fuente sin memoria discreta que emite smbolos binarios con probabilidades a priori
iguales se tiene una tasa de informacin de fuente ( )
s s
T T H / 1 / = bits por segundo. La
secuencia de la fuente se aplica a un codificador de canal con tasa de cdigo r.

6

El codificador del canal produce una tasa de smbolos codificados de
c
T / 1 smbolos por segundo.
El codificador del canal ocupa el canal una vez cada
c
T segundos y por lo tanto la capacidad del
canal por unidad de tiempo es de
c
T C/ bits por segundo donde C se determina por la
probabilidad de transicin del canal P y por lo tanto segn el segundo teorema de Shannon
c s
T C T / / 1 s
La proporcin
s c
T T r / = es la tasa de cdigo de codificacin del canal y por tanto
C r s

Ejemplo: Cdigo de repeticin
Se hace una interpretacin grfica del teorema de codificacin del canal y se muestra un aspecto
sorprendente del teorema mediante un esquema de codificacin simple.


7



8




Entropa diferencial e informacin mutua:
Para fuentes continuas se define la entropa diferencial
( ) ( )
( )
}

= dx
x f
x f X h
X
X
1
log
2

Esta entropa diferencial sale de discretizar una variable aleatoria continua y calcular la entropa
discreta de esta variable y luego llevar al lmite.

9

Ejemplos:
- Distribucin uniforme
( )

< <
=
caso otro en 0
0 para
1
a x
a x f
X

En este caso
( ) ( ) a X h log =
- Distribucin gaussiana
( )
( )
|
|
.
|

\
|

=
2
2
2
2
1
x
x
x
X
e x f
o

o t

En este caso la entropa diferencial est dada por
( ) ( )
2
2
2 log
2
1
x
e X h o t =
o Para una varianza finita, la variable aleatoria gaussiana tiene la entropa
diferencial ms grande alcanzable por cualquier variable aleatoria
o La entropa de una variable aleatoria gaussiana X depende exclusivamente de su
varianza. Es independiente de su media.

- Informacin mutua de variables aleatorias continuas
Se define as
( ) ( )
( )
( )
dxdy
x f
y x f
y x f Y X I
X
X
Y X
} }

=
/
log , ;
2 ,


10

- Esta informacin mutua tiene las siguientes propiedades:
o Es simtrica
o Es positiva
o
( ) ( ) ( )
( ) ( ) x y h y h
y x h x h Y X I
/
/ ;
=
=

Teorema de la capacidad de informacin
En este caso se halla la capacidad de un canal gaussiano sin memoria en tiempo discreto.
Este canal modela muchos sistemas de comunicacin, incluso los enlaces de radio y los satlites.
La capacidad de informacin se define como el mximo de la informacin mutua entre la entrada
k
X y la salida del canal
k
Y sobre todas las distribuciones relativas a la entrada
( ) ( ) { }
( ) x f
k k k
k
x
P X E Y X I C = =
2
: ; max
En ste caso se demuestra que la capacidad est dada por
|
|
.
|

\
|
+ =
2
2
1 log
2
1
x
P
C
o
Bits por transmisin
Si se usa el canal K veces para la transmisin de K muestras del proceso ( ) t X en T segundos, la
capacidad por tiempo unitario ser K/T veces el valor de la capacidad. Para el caso del muestreo se
tiene que K es igual a 2BT, de tal manera que la capacidad est dada por
|
|
.
|

\
|
+ =
B N
P
B C
0
2
1 log
Esto conduce al tercer teorema de Shannon, el teorema de la capacidad de informacin.
La capacidad de informacin de un canal continuo de ancho de banda B Hz , perturbado por ruido
blanco gaussiano aditivo de densidad de potencia 2 /
0
N limitado en ancho de banda a B Hz est
dado por
|
|
.
|

\
|
+ =
B N
P
B C
0
2
1 log

11

Este teorema muestra la interrelacin entre tres parmetros claves del sistema:
- Ancho de banda del canal
- Potencia transmitida
- La densidad espectral de potencia de ruido a la salida del canal.
El teorema establece que es posible transmitir a una rata inferior a C con una probabilidad de
error tan pequea como se quiera empleando esquemas de codificacin lo suficientemente
complejos.
Codificacin de control de errores
Introduccin
La tarea de un diseador es proveer un sistema de comunicaciones a un costo conveniente y a
una velocidad y confiabilidad y calidad aceptables. Los parmetros con que cuenta el diseador
son la potencia y el ancho de banda. Adicionalmente la densidad espectral de potencia de ruido
determina la relacin Eb/No lo que determina la probabilidad de error. Por consideraciones
prcticas se tiene lmite en esta relacin lo que hace que no se pueda en muchos casos
proporcionar la calidad de datos aceptable y por lo tanto la nica opcin disponible consiste en la
codificacin de control de errores o codificacin de canal. Otra motivacin es la de tener una
Eb/No menor para una rata de errores fija lo que reduce la potencia a transmitir o el tamao de
antena necesarias.
Mtodos de codificadores de canal:
- FEC (Forward Error Correction): Se adiciona redundancia controlada en el transmisor tal
que el receptor pueda con esa redundancia detectar y corregir los errores y sea que la
transmisin sea exitosa o no, no se realiza ningn proceso adicional en el receptor. Esto hace
que no se requiera comunicacin en las dos direcciones.
- ARQ (Automatic Repeat request): La redundancia se utiliza exclusivamente para que el
receptor detecte si hay errores o no. Si se detecta un error el receptor solicita una transmisin
repetida de la palabra de cdigo corrompida y por tanto se necesita comunicacin
bidireccional.
- Si la comunicacin es semi-duplex se habla de ARQ stop and wait en donde el
transmisor enva un bloque de datos y se pone a esperar hasta recibir un
reconocimiento (ACK) en el caso en que el bloque haya llegado bien o un NACK. En
este ltimo caso el transmisor reenva el bloque completo o de lo contrario el
transmisor enva el siguiente bloque.
- Otro mtodo que reduce la ineficiencia del mtodo anterior se llama ARQ
continua con retirada. En este caso el transmisor enva bloques continuamente y
12

cuando se detecta un NAK para un bloque particular entonces el transmisor
empieza a retransmitir toda la informacin a partir del bloque no reconocido.
- Otro mtodo se denomina ARQ continua con repeticin selectiva en donde se
retransmite solamente el bloque que no fue reconocido.
- Ver http://www.youtube.com/watch?v=XLEBBBYnE8U
Aunque ARQ se utiliza ampliamente en la comunicacin de computadores, FEC es la ms utilizada
por requerir enlaces de una sola va y porque adems la complejidad en la implementacin de los
algoritmos de codificacin ya no es un problema debido a que estos se pueden implementar en
Hardware de costo relativamente bajo.
NOTACION:
En los cdigos que se trabajan que son binarios las operaciones necesarias son la suma mdulo 2 y
la multiplicacin que consisten en la operacin de OR EXCLUSIVA y AND. Por esta razn la suma y
la resta son la misma operacin.
Cdigos de bloque lineales
Un cdigo es lineal si la suma de cualesquiera dos palabras de cdigo est en el cdigo.
Un cdigo de bloques lineal (n, k) tiene k bits idnticos a los del mensaje y n-k bits de verificacin
de paridad calculados a partir de los bits del mensaje.
Cdigos sistemticos: son los que transmiten los k bits del mensaje de forma inalterada.
En un cdigo de bloques lineal ( ) se tiene un conjunto de
k
2 mensajes diferentes.
Los bits del cdigo se nombran como
1 1 0
, , ,
n
c c c y se organizan de la siguiente forma:
Bits de paridad Bits de mensaje

De acuerdo con esto es posible escribir

En donde

Lo cual se puede escribir en forma matricial
13

Y los coeficientes se definen as:

Estos coeficientes se eligen de tal manera que los renglones de la matriz generadora sean
linealmente independientes y las ecuaciones de paridad sean nicas.
Matricialmente se puede describir la estructura matemtica del cdigo as:
[

]
[

]
El vector de paridad

es la matriz de coeficientes de k por n-k

]
Y los
j i
P
,
son ceros o unos. A partir de estas ecuaciones podemos escribir lo siguiente:
[

]
[

]
En donde
k
I es una matriz identidad de k por k

[








]
Se define la matriz generadora de por as:

]
14

La matriz G ser cannica si sus filas son linealmente independientes.
Usando la definicin de la matriz generadora se tiene

El conjunto completo de palabras cdigo se obtiene a partir de esta ecuacin permitiendo que el
vector tome todos los valores posibles
Propiedad de cerradura:

Hay otra manera de expresar los bits de mensaje y los bits de verificacin de paridad. Sea

una
matriz de (n-k) por n definida as:

]
T
P es una matriz de (n-k) por k
k n
I

es una matriz identidad de (n-k) por (n-k)
Se verifica lo siguiente:

] [

Esta suma en mdulo dos da la matriz

y por lo tanto

De igual manera

Post multiplicando por

la ecuacin generadora de los cdigos tenemos
15

Por esta razn

se conoce como la matriz verificadora de paridad y esta ecuacin se denomina la

ecuacin de verificacin de paridad.

Ejemplo: Cdigos de repeticin
Los cdigos de repeticin representan los tipos ms simples de cdigos bloque lineales. En
particular un bit de mensaje es codificado en un bloque de n bits idnticos, produciendo un cdigo
bloque (n, 1). Tal cdigo permite provisin de una cantidad variable de redundancia. Hay
solamente dos palabras de cdigo en el cdigo: una todo ceros y una todo unos.
Considere, por ejemplo, el caso de el cdigo de repeticin con y . En este caso
tenemos cuatro bit de paridad que son los mismos que el bit de mensaje, luego la matriz idntica

, y la matriz de coeficientes consiste de un vector de 1 por cuatro que tiene 1 en todos sus
elementos. Correspondientemente, la matriz generadora es un vector fila de todos unos, como se
muestra

[
]
La transpuesta de la matriz de coeficientes,

, consiste de un vector de 4 por 1 que tiene todos

sus elementos en 1. La matriz identidad

consiste de una matriz de 4 por 4. Luego la matriz de

chequeo de paridad es
[

]
16

Debido a que el vector de mensaje consiste de un solo smbolo binario, 0 o 1, se sigue que hay solo
dos palabras de cdigo: 00000 y 11111 en el cdigo () como era de esperarse. Observe que

, mdulo 2.
Sndrome
Sea r el vector recibido al enviar un vector cdigo c por un canal ruidoso, en donde
e c r + =
e se denomina patrn de error y su i-simo elemento ser 0 o 1 dependiendo de si el
correspondiente elemento de r coincide con el de c o no.

{



El proceso de decodificacin en el receptor comienza normalmente con el clculo de un vector de
1 por (n-k) llamado vector de sndrome de error o sndrome.

Con las siguientes propiedades:
- El sndrome depende exclusivamente del patrn de error y no de la palabra de cdigo
transmitida

( )

Por tanto la matriz de paridad permite calcular el sndrome que solo depende del patrn de error.
- Todos los patrones de error que difieren en una palabra de cdigo tienen el mismo
sndrome.

17

Este conjunto de vectores se denomina un coconjunto (co-set) del cdigo y tiene
k
2 elementos
que difieren a lo ms por un vector de cdigo y por lo tanto un cdigo de bloques lineal (n, k) tiene
k n
2 posibles co_conjuntos.
los
i
c corresponden a uno de los
k
2 vectores de cdigo distintos.
Se concluye tambin que cada coconjunto tiene un sndrome nico.
Expandiendo la ecuacin resultante de la primera propiedad, se tiene

Este conjunto de (n-k) ecuaciones lineales muestra claramente que el sndrome contiene
informacin acerca de los patrones de errores y que, por lo tanto, es posible utilizarla para la
deteccin de los mismos.
Este conjunto de ecuaciones est indeterminado porque hay ms incgnitas que ecuaciones y por
lo tanto no hay una solucin nica. Existen
n
2 patrones de error que satisfacen el conjunto de
ecuaciones anterior y que por lo tanto generan el mismo sndrome de acuerdo con la segunda
propiedad del sndrome.
En particular con
k n
2 posibles vectores de sndrome, la informacin contenida en el sndrome s
acerca del patrn de errores e no es suficiente para que el decodificador calcule el valor exacto
del vector de cdigo transmitido, sin embargo el conocimiento del sndrome reduce la bsqueda
del verdadero patrn de errores de
n
2 a
k n
2 posibilidades.
Consideraciones de distancia mnima
Si se tienen dos vectores con el mismo nmero de elementos
1
c y
2
c se define la distancia de
Hamming ( )
2 1
, c c d como el nmero de localidades en que difieren los dos vectores.
Se define el peso de Hamming ( ) c e de un vector de cdigo como el nmero de elementos
distintos de cero o como la distancia de Hamming de un vector con respecto al vector cero.
18

La distancia mnima de un cdigo de bloques lineal se define como la distancia ms pequea entre
un par de vectores de cdigo en el cdigo, o sea el peso de Hamming ms pequeo de la
diferencia entre cualquier par de vectores de cdigo en el cdigo. Tambin se puede definir la
distancia mnima de un cdigo de bloques lineal como el peso de Hamming ms pequeo de los
vectores de cdigo distintos de cero.
Se expresa la matriz H en trminos de sus columnas as:
] [
2 1 n
h h h H =
Para que un vector de cdigo satisfaga la condicin 0 =
T
cH debe tener unos en las posiciones
tales que la suma de las filas correspondientes de
T
H sumen el vector cero. Pero el nmero de
unos de un vector es el peso de Hamming del vector y la distancia mnima es el peso de Hamming
ms pequeo. Por lo tanto la distancia mnima de un cdigo de bloques lineal se define como el
nmero mnimo de filas de la matriz
T
H cuya suma es el vector cero.
La distancia mnima determina la capacidad de correccin de errores del cdigo.
Supongamos que se requiere un cdigo de bloques lineal (n, k) para detectar y corregir todos los
patrones de error que tengan un peso de Hamming menor o igual que t. Esto quiere decir que si
se transmite un cdigo
i
c y se recibe un cdigo e c r
i
+ = se requiere que la salida del
decodificador sea
i
c c = siempre que el patrn de errores tenga un peso de Hamming ( ) t e s e .
Supongamos que los
k
2 vectores de cdigo
i
c se transmiten con la misma probabilidad. La mejor
estrategia para el decodificador es escoger el vector de cdigo ms cercano al vector recibido r , o
sea aquel para el cual ( ) r c d
i
, es la ms pequea.
Con esta estrategia el decodificador ser capaz de detectar y corregir todos los patrones de
errores del peso de Hamming ( ) t e s e , siempre que la distancia mnima del cdigo sea igual o
mayor que 2t+1.
Esto se demuestra haciendo una interpretacin geomtrica del problema. Los vectores de cdigo
de 1 por n y los vectores recibidos de 1 por n se presentan en un punto n-dimensional.
Si se construyen dos esferas, cada una de radio t alrededor de los puntos que representan los
vectores
i
c y
j
c . Suponiendo que estas dos esferas son disjuntas se requiere que
( ) 1 2 , + > t c c d
j i

19


Si se transmite
i
c y la distancia de Hamming ( ) t r c d
i
s , el decodificador escoger
i
c siempre
que este sea el vector ms cercano a r .
Si por el contrario la distancia de Hamming ( ) t c c d
j i
2 , s , se interceptan las esferas en torno a
i
c
y
j
c . En este caso si se transmite
i
c , existe un vector recibido r tal que la distancia de Hamming
( ) t r c d
i
s , y aun as r es tan cercano a
j
c como lo es a
i
c y por tanto existe la posibilidad de
que el decodificador escoja a
j
c lo cual es incorrecto.
Se concluye entonces que un cdigo de bloques lineal (n, k) tiene la capacidad de corregir todos
los patrones de errores de peso menor o igual a t s y solo si
( ) 1 2 , + > t c c d
j i
para todo
i
c y
j
c
Como la distancia ms pequea entre un par de vectores cualquiera es la distancia mnima
min
d ,
entonces un cdigo de bloques lineal (n, k) de distancia mnima
min
d puede corregir hasta t
errores si, y solo si,
( )
(

s 1
2
1
min
d t En donde el smbolo

significa el entero mayor, menor o igual que la
cantidad encerrada.
Decodificacin del sndrome
En un cdigo de bloques lineal ( )se tienen
k
2 vectores de cdigo y
n
2 vectores posibles
recibidos. El receptor debe formar un conjunto de
k
2 subconjuntos disjuntos de tal manera que el
i-simo subconjunto corresponda al cdigo
i
c . El vector recibido se decodifica en
i
c si este se
encuentra en el i-simo subconjunto. Para que la decodificacin sea correcta el vector recibido
debe estar en el subconjunto que pertenece al vector de cdigo
i
c que realmente fue enviado.
20

Consiste en construir un arreglo estndar del cdigo de bloques lineal, procediendo as:
- Se colocan los
k
2 vectores en una fila empezando por el vector de puros ceros.
- Se escoge un patrn de errores
2
e y se forma una segunda fila que consiste en la suma de
la primera ms el patrn de error, el cual no puede haber aparecido previamente.
- Se repite el segundo paso hasta que se hayan tenido en cuenta todos los posibles patrones
de error (
k n
2 ).

Las
k
2 columnas representan los subconjuntos disjuntos y los
k n
2 renglones son los
co_conjuntos del cdigo, cuyos primeros elementos son las guas de coconjunto.
Para un canal dado la probabilidad de error de decodificacin se minimiza cuando se eligen
los patrones de error ms probables como las guas de coconjunto. En un canal binario
simtrico, cuanto ms pequeo es el peso de Hamming de un patrn de errores, tanto ms
probable es que ocurra. Por lo tanto el arreglo estndar debe construirse con cada gua de
coconjunto que tenga el peso de Hamming mnimo en su coconjunto.
- Se calcula el sndrome para cada gua de coconjunto
- Se calcula luego el sndrome para el vector recibido
T
rH s =
- Con este sndrome se identifica el coconjunto y dentro de l la gua de coconjunto (el
patrn de errores ms probable), llamado
0
e
- Se suma la gua de coconjunto al vector recibido
0
e r c + =
21




La correspondiente matriz de chequeo de paridad est dada por


22







23



24



25

Cdigos cclicos
Son una subclase de los cdigos lineales. Tienen una estructura matemtica muy bien definida y
por lo tanto son muy eficientes en el proceso de decodificacin
Un cdigo binario es cclico si cumple dos propiedades:
- Linealidad: La suma de cualquiera dos palabras de cdigo en el cdigo es tambin una
palabra cdigo
- Propiedad cclica: cualquier corrimiento cclico de una palabra de cdigo en el cdigo
tambin es una palabra de cdigo
Por lo tanto si
(

)
Es una palabra de cdigo en el cdigo, entonces
(

) , (

) y (

) on tambin palabras de cdigo

en el cdigo.
A partir de una palabra de cdigo podemos construir el polinomio de cdigo
()

Obviamente los coeficientes de este polinomio son unos y ceros. Si se multiplica por X el
polinomio se obtiene un desplazamiento a la derecha.
Cmo hacer cclico un desplazamiento de estas caractersticas?
Multiplicando por
i
X se tiene:

()

Admitiendo que

Es posible manipular los primeros trminos as:
26

()

)
Definiciones:

()
()

()

Con lo que se llega a

() ()(

)
()
()
( )
( ) X c
i

es la palabra de cdigo
1 1 0 1
, , , , , ,
i n n i n
c c c c c obtenida al aplicar corrimientos
cclicos a la palabra ( )
1 1 1 0
, , , , , ,
n i n i n
c c c c c , adems se puede ver como el residuo de
dividir ( ) X c X
i
entre ( ) 1 +
n
X .
De aqu se concluye que la segunda propiedad de los cdigos cclicos se puede re enunciar as:
Si ( ) X c es un polinomio de cdigo, entonces el polinomio
( )
( ) ( ) ( ) 1 mod + =
n i i
X X c X X c
Tambin es un polinomio de cdigo en el cdigo para todo corrimiento cclico
Polinomio generador
Sea ( ) X g un polinomio de grado n-k factor de

(X
n
+1), el cual se puede expandir as:
()

Los
i
g son ceros o unos.
( ) X g se denomina el polinomio generador de un cdigo cclico y cada cdigo puede generarse
as:
( ) ( ) ( ) X g X a X c =
( ) X a

es un polinomio de grado k-1.
27

Las ( ) X c formadas satisfacen la propiedad cclica porque ( ) X g es un polinomio factor de
) 1 ( +
n
X .
Si se da ( ) X g y se propone generar un cdigo cclico ( ) sistemtico para el mensaje
1 1 0
, , ,
k
m m m

Bits de paridad Bits de mensaje

Se define el polinomio del mensaje
()

Y el polinomio de los bits de paridad
()

El polinomio de cdigo ser
() ()

()
Por lo tanto
()() ()

()

()
()
()
()
()

Por tanto los pasos en la codificacin son:
- Multiplicar el polinomio del mensaje () por

- Dividir

() por el polinomio generador () , obteniendo el residuo ()

- Sumar () a

() , obteniendo finalmente el polinomio del cdigo ()

28

Ejemplo:
Cdigos Hamming Revisados
Para ilustrar los asuntos relacionados a la representacin polinmica de los cdigos cclicos,
consideremos la generacin de un cdigo cclico (). Con la longitud de bloque ,
arrancamos factorizando

en tres polinomios irreducibles:

( )(

)(

)
Por un polinomio irreducible se quiere decir un polinomio que no puede ser factorizado
solamente con coeficientes del campo binario. Un polinomio irreducible de grado se dice que es
primitivo si el entero positivo ms pequeo para el cual el polinomio divide a

es

. Por ejemplo a la mano, los dos polinomios (

) y (

) son
primitivos. Tomemos
()

Como el polinomio generador. El cdigo resultante para el mensaje 1001 se calcula as:
El polinomio para este mensaje est dado por
()

Luego, al multiplicar este polinomio por

obtenemos

()

Al dividir por () se obtiene
()

y
()

Observe que en esta divisin larga se ha tratado la sustraccin igual que la suma, debido a que se
ha operado en aritmtica mdulo 2. Podemos escribir as

29

Luego podemos encontrar el polinomio deseado
() ()

()

Y la palabra cdigo es por lo tanto 0 1 1 1 0 0 1
Se puede generalizar este resultado diciendo que cualquier cdigo cclico generado por un
polinomio primitivo es un cdigo Hamming de distancia mnima 3.

Codificador para cdigos cclicos
Los tres pasos vistos para la generacin de un cdigo cclico se pueden realizar mediante un
circuito secuencial como el que se muestra:

Las cajas son flip-flops, los sumadores son sumadores mdulo 2 y los multiplicadores multiplican
por cero o uno. Cada vez que ocurre un ciclo de reloj los flip-flops mueven su contenido en la
direccin de las flechas.
Funcionamiento:
1. La compuerta se activa. Los k BIT del mensaje se corren hacia el canal. Al terminar de
entrar los k bits del mensaje al registro de corrimiento, los (n-k) BIT resultantes en el
registro forman los bits de paridad.
2. La compuerta se desactiva, interrumpiendo la realimentacin.
3. Los bits de paridad se ponen en el canal.


30

Ejemplo:
Continuando con el ejemplo anterior tenemos:








31

Polinomio de verificacin de paridad
Un cdigo cclico ( ) est completamente especificado por el polinomio generador, pero
tambin puede especificarse por otro polinomio
()

El cual se denomina polinomio verificador de paridad. Los
i
h son ceros o unos. Igual que en los
cdigos lineales en donde 0 =
T
HG , se tiene
()()(

)
Y por lo tanto ambos polinomios son factores de ) 1 ( +
n
X , o sea
()() (

)
Esto quiere decir que si ( ) X g es un polinomio de grado (n-k) y es un factor de ) 1 ( +
n
X ,
entonces es un polinomio generador del cdigo cclico (n, k) y si ( ) X h es un polinomio de grado k
y es factor de ) 1 ( +
n
X entonces es un polinomio verificador de paridad de un cdigo cclico
( ). El problema se da cuando es muy grande y aparecen muchos factores de los grados
necesarios para ser polinomios generadores o verificadores de paridad.
Ejemplo:
Continuando con el ejemplo anterior para un cdigo Hamming (7,4):

( )(

)(

)
Tomando
()

Como el polinomio generador con grado igual al numero de bits de paridad, entonces el polinomio
de chequeo de paridad estar dado por
() ( )(

32

Matrices generadoras y de verificacin de paridad
Con el polinomio generador se puede construir la matriz generadora a partir de los k polinomios
que resultan de multiplicar ( ) X g por 1 , , 1 , 0 = k i X
i
, las n_tuplas correspondientes pasan
a formar las filas de la matriz generadora.
Al multiplicar la ecuacin
()() (

)
Por ( ) X a se tiene
()() ()

()
Las potencias del primer miembro van hasta n+k-1. Al otro lado ( ) X a tiene grado k-1 y por lo
tanto se pueden igualar a cero los coeficientes correspondientes a , , , ,
1 1 + + n k k
X X X se obtiene
un conjunto de n-k ecuaciones:

O sea que los coeficientes del polinomio de verificacin de paridad incluidos en esta multiplicacin
quedan en orden invertido con respecto a los coeficientes de la matriz H. Se define entonces el
reciproco del polinomio de verificacin de paridad as:

Que tambin es un factor de 1 +
n
X . Los coeficientes resultantes en las n_tuplas se pueden
utilizar como las filas de la matriz de verificacin de paridad H de (n-k) por n.
Las matrices generadora y verificadora de paridad resultantes no estn en forma sistemtica pero
pueden modificarse de manera sencilla para cumplir con este requisito.


33

Continuando con el ejemplo:
Se muestra como el polinomio generador y el polinomio verificador de paridad especifican la
matriz Generadora y la matriz verificadora de paridad respectivamente.
Para construir la matriz generadora arrancamos con cuatro polinomios representados por () y
las tres versiones rotadas de l, as:
()

()

()

()

Estos polinomios tambin representan cdigos validos dentro del cdigo Hamming (7,4). Usando
los coeficientes de estos polinomios como elementos de las filas de una matriz de 4 por 7
obtenemos la siguiente matriz

]
Esta matriz no esta en forma sistemtica, pero se puede hacer sistemtica sumando filas y
poniendo los resultados en la fila apropiada:
[

]
Que es la misma que se haba hallado previamente.
Para construir la matriz verificadora de paridad se toma el reciproco de () (o sea

) y
dos versiones retrasadas de este:

34

Con estos polinomios construimos la matriz de 3 por 7:

[



]
Esta matriz tampoco est en forma sistemtica y por lo tanto debemos sumar filas
apropiadamente de tal manera que al colocar los resultados en las posiciones apropiadas se logre
que este en forma sistemtica
[



]
Que es la misma obtenida previamente
Clculo del sndrome
Si se transmite la palabra de cdigo
1 1 0
, , ,

=
n
c c c c por un canal ruidoso, se recibir la
palabra
1 1 0
, , ,

=
n
r r r r .
El primer paso en la recepcin es el clculo del sndrome, as:
( )
1
1 1 0

+ + + =
n
n
X r X r r X r
Este polinomio se puede expresar as:
( ) ( ) ( ) ( ) X s x g X q X r + =
( ) X s

es un polinomio de grado n-k y se llama polinomio de sndrome, y sus coeficientes se
pueden calcular con el siguiente codificador:

35

Al terminar de entrar todos los bits del vector recibido los flip-flop contendrn los bits del
sndrome.
Ejemplo:



Propiedades del polinomio de sndrome:
- El sndrome de la palabra recibida es tambin el sndrome del correspondiente
polinomio de error.
36




En donde

Esto indica que si el sndrome no es cero, entonces hay errores en la palabra de cdigo
recibida.
- Si ( ) X s es el sndrome de la palabra recibida ( ) X r , entonces el sndrome de la
palabra ( ) X Xr es ( ) X Xs .

Esto se puede generalizar a que el sndrome de ( ) X r X
i
es ( ) X s X
i

- El polinomio de sndrome ( ) X s es idntico al polinomio de error ( ) X e , suponiendo
que los errores estn confinados a los (n-k) bits de verificacin de paridad del
polinomio de la palabra recibida ( ) X r , o sea que el grado de ( ) X e

menor o igual
que n-k-1 y por lo tanto la correccin del error se obtiene sumando el polinomio del
sndrome al polinomio de la palabra recibida.
Como el polinomio generador ( ) X g es de grado (n-k), entonces la ecuacin

Solo puede satisfacerse si ( ) X u es cero.
37







38







39






40




41





42



Otros

43

Cdigos convolucionales
Se generan los bits redundantes realizando convoluciones mdulo dos. Consisten en mquinas de
estado finito compuestas de un registro de corrimiento de etapas, con conexiones
preestablecidas a sumadores mdulo 2 y un multiplexor que pone en serie las salidas de los
sumadores.
Una secuencia de mensaje de bits produce una secuencia de salida codificada de ( ) bits
y por lo tanto la tasa de cdigo est dada por
) ( M L n
L
r
+
= Bits por smbolo.
Por lo general M L >> y por lo tanto
n
r
1
~
Longitud de restriccin: nmero de corrimientos sobre los cuales un BIT del mensaje puede influir
en la salida del decodificador. Si el codificador tiene un registro de etapas se requerirn
1 + = M K corrimientos para que un BIT de entrada deje de influir en la salida.

En este codificador y , y
44


En este codificador y , ya que se tienen dos registros de corrimiento y la rata
ser siendo el nmero de registros de corrimiento.
Los codificadores mostrados son no sistemticos y son los preferidos.
Cada trayectoria del codificador se puede caracterizar por su respuesta al impulso el cual consiste
en un uno aplicado a su entrada y con los flip-flop inicializados en cero. De otra manera se puede
caracterizar cada trayectoria por su polinomio generador definido como la transformada al
retardo unitario de su respuesta al impulso. Sea la respuesta al impulso de la i_sima trayectoria
, donde los coeficientes son ceros o unos. El
polinomio generador de la i-sima trayectoria ser

Variable de retardo unitario.
Ejemplo:
El codificador convolucional de la figura tiene dos rutas numerada 1 y 2 por conveniencia. La
respuesta al impulso de la trayectoria 1 (la superior) es (1, 1, 1). Por consiguiente, el polinomio
generador esta dado por

()
()

45

La respuesta al impulso de la ruta 2 (la inferior) es (1, 0, 1). Por consiguiente el polinomio
generador esta dado por

()
()

Para una secuencia de mensaje (10011), digamos, tenemos la representacin en polinomios
()

Como en la transformada de Fourier, la convolucin en el dominio del tiempo es transformada en
la multiplicacin en el dominio D. Luego el polinomio de salida de la ruta 1 esta dada por

()
()
()
()()
(

)(

De aqu se concluye que la secuencia de salida de la ruta 1 es (1111001). Similarmente, el
polinomio de salida de la ruta 2 esta dada por

()
()
()
()()
(

)(

46

La secuencia de salida de la ruta 2 es entonces (1011111). Finalmente, multiplexando las dos
secuencias de salida de las rutas 1 y 2 se obtiene la secuencia
()
Se observa que la longitud del mensaje de longitud L=5 bit produce una secuencia codificada de
longitud ( ) bits. Se observa tambin que para que el registro de desplazamiento
sea restaurado a su estado cero inicial, una secuencia terminante de K-1=2 ceros es adicionada al
ultimo bit de entrada de la secuencia de mensaje. La secuencia terminante de K-1 ceros es llamada
la secuencia de cola.
rbol, enramado y diagramas de estado
rbol de cdigo: Consiste en una estructura como la que se muestra para el primer codificador
visto previamente.

47


En esta estructura cada rama representa un smbolo de entrada, si es un cero la rama va hacia
arriba y si es un uno va hacia abajo. Una trayectoria especfica va de izquierda a derecha
dependiendo de la secuencia especfica. Sobre cada rama se tiene la secuencia de salida del
codificador.

48

Ejemplo:
Secuencia de entrada (10011).
Secuencia de salida (11, 10, 11, 11,01)
Se observa que el rbol se vuelve repetitivo a partir de las primeras tres ramas en este caso
particular y por lo tanto las secuencias (1, 0, 0, m3, m4) producir la misma salida que la secuencia
(0, 0, 0, m3, m4) y por lo tanto es posible unir despus de la tercera rama los nodos marcados con
letras idnticas para formar lo que se denomina enramado
En el enramado se sigue la convencin de que una rama producida por un cero es una lnea
continua y una rama producida por un uno es una lnea discontinua. La trayectoria a seguir
depender de la secuencia especfica de entrada.

El enramado tiene ( ) niveles numerados como y los primeros
( ) niveles corresponden a la desviacin del codificador a partir del estado inicial a y los
ultimo ( ) niveles corresponden al regreso del codificador al estado inicial. En estas dos
porciones no se pueden alcanzar todos los estados.
Otra alternativa de representacin del codificador convolucional consiste en un diagrama de
estados, como el que se muestra en la figura
49


El estado se define como los (K-1) bits del mensaje almacenados en el registro de corrimiento del
codificador.


50

Decodificacin de mxima verosimilitud
Cuando se aplica un vector de cdigo que representa un vector de mensaje a un canal discreto
sin memoria se genera a su salida un vector que puede diferir del vector transmitido debido al
ruido del canal. Dado el vector el decodificador debe generar un estimado m del mensaje
original . El decodificador puede producir una estimacin del vector de cdigo , c y lograr que
m m =

s c c = . En otro caso se comete un error de descodificacin en el receptor. La regla de
descodificacin ser ptima si se minimiza la probabilidad de error en la decodificacin.
Si los mensajes son igualmente probables se minimiza la probabilidad de error si la estimacin de
c se elige para que se maximice la funcin de verosimilitud logartmica.
Sea ( ) c r P / la probabilidad de recibir dado que se envi . La decodificacin de mxima
verosimilitud o regla de decisin ser as:
Elijase la estimacin c para la cual la funcin logartmica ( ) c r P / log es mxima.
En un canal binario simtrico los cdigos transmitido y recibido son de longitud N
( ) ( )
[
=
=
N
i
i i
c r P c r P
1
/ / , la verosimilitud logartmica ser
( ) ( )

=
=
N
i
i i
c r P c r P
1
/ / log
Pero
(

) {

Luego
(()) () ( )( )
(( )) ( )
En donde es el nmero de posiciones en las que difieren y , o sea la distancia de Hamming
entre ambos.
51

El ltimo trmino es una constante para toda . Y por lo tanto la regla de mxima verosimilitud se
enuncia as:
Elijase la estimacin c que minimiza la distancia de Hamming entre el vector recibido y el vector
transmitido.
Esto significa que el decodificador para un canal binario simtrico de mxima verosimilitud es un
decodificador de distancia mnima, en donde se compara el vector recibido con cada uno de los
cdigos posibles y se elige el de menor distancia de Hamming.
El algoritmo de Viterbi

52




53