INTRODUO TEORIA DA

INFORMAO
SISTEMA DE TRANSMISSO DIGITAL SISTEMA DE TRANSMISSO DIGITAL SISTEMA DE TRANSMISSO DIGITAL SISTEMA DE TRANSMISSO DIGITAL
Os codificadores de fonte possuem a finalidade de casar a fonte de dados com o
sistema levando em considerao a estatstica de acontecimento dos smbolos da fonte. Os sistema levando em considerao a estatstica de acontecimento dos smbolos da fonte. Os
cdigos de fonte mais conhecidos so os que utilizam o algoritmo de Huffman e o de
Huffman modificado.
O codificador de canal est proetado para! atrav"s da incluso de smbolos de
redund#ncia de forma inteligente! fazer com que a informao! aps trafegar pelo canal!
possa ser recuperada de eventuais erros de acordo com o crit"rio de qualidade e$igido.
O conjunto modulador-demodulador % &O'(& ) transforma o canal analgico
em canal discreto para possibilitar o funcionamento do conunto codificador*decodificador
% +O'(+ ).
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
'enomina*se alfabeto de uma fonte de informao discreta o
conunto de elementos que a fonte pode selecionar. ,or e$emplo-
.e$to- 01! 2! + ... 3! 4! 5! 6! 7!8 ... 9!:! ;! ... <
=ensor de nvel % h 8> h
A
: )-0sim! no<
Opo do cardpio- %7!8!?!@!A! B)
+onsidere*se uma fonte discreta com alfabeto de k elementos! 0$
7
!
$ !...! $ <. 1 relao entre o nCmero de vezes n! em que um dado $
8
!...! $
D
<. 1 relao entre o nCmero de vezes n! em que um dado
elemento $
i
, %com i E 7!8! ... ! k) " selecionado pela fonte e o
nCmero total N de seleFes! para N tendendo a infinito! " a
probabilidade de ocorrncia daquele elemento-
|

\
|
=
N
n
x p
i
N
i
lim ) (
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
1 soma das probabilidades de ocorrGncia de todos os elementos do
alfabeto da fonte "! evidentemente! ! pois a fonte s
seleciona elementos contidos em seu alfabeto %a probabilidade de
selecionar elemento no*contido no alfabeto " nula).
1 quantidade de informao associada H ocorrGncia de um elemento x
i

=
=
k
i
i
x p
1
1 ) (
1 quantidade de informao associada H ocorrGncia de um elemento x
i
mede o grau de surpresa quando
aquele elemento " selecionado pela fonte. (lementos selecionados
com maior freqIGncia causam menos
surpresa! ao passo que elementos de ocorrGncia mais rara causam
mais surpresa. Define-se a quantidade
de informao I(x
i
), associada H seleo do elemento x
i
usando a
funo logaritmo de base 8-
|
|

\
|
=
) (
1
log ) (
2
i
i
x p
x I
Juantidade de informao! assim definida! tem como caractersticas-
Juantidade de informao varia com o in!erso da probabilidade de
ocorrGncia * elementos menos freqIentes tGm quantidade de
informao maior que elementos mais freqIentes.
=e o alfabeto da fonte tem um nico elemento! a quantidade de
informao associada H seleo desse elemento %evento certo) " nula"
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
|
|

\
|
=
) (
1
log ) (
2
i
i
x p
x I
informao associada H seleo desse elemento %evento certo) " nula"
#$x
i
)E O para p$x
i
) E 7.
=e a fonte seleciona um elemento no-contido em seu alfabeto %evento
impossvel)! a quantidade de informao associada a essa seleo "
infinita" #$x
i
)E K para p$x
i
) E 6.
=e a seleo de cada elemento no afeta a probabilidade de ocorrGncia de
outros nas seleFes seguintes! a quantidade total de informao de uma
seqIGncia de elementos " a soma das quantida*
des de informao individuais
1 quantidade de informao * medida em bit %acrLnimo de binar% unit
E unidade bin&ria, devido ao uso logaritmo de base 8) * " um nCmero
real no-ne'ati!o adimensional.
Juantidade de informao " importante para a criao de c(di'os
%representaFes de elementos da fonte discreta) para transmisso
eficiente de informao. 1o criar um cdigo para representar letras!
algarismos e sinais de pontuao no tel"grafo el"trico! &orse
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
algarismos e sinais de pontuao no tel"grafo el"trico! &orse
intuitivamente associou representao mais curta para
caracteres mais freqIentes %com menor quantidade de informao) e
mais longa para caracteres menos freqIentes %com maior quantidade
de informao).
'efine*se como entropia de uma fonte discreta a quantidade m)dia de
informao por ocorrGncia %seleo de um elemento pela fonte).
+onsidere*se que a fonte discreta seleciona! num dado intervalo! um total
de N E n
l
M n
*
M ... M n
k
, elementos! com n
+
ocorrGncias do elemento x
+
,
n
*
ocorrGncias do elemento x
*
, ...., n
k
ocorrGncias do elemento x
k
. +om
ocorrGncias estatisticamente independentes! a quantidade total de
informao total dessas N seleFes " #
,
E n
l
#$x
+
) M n
*
#$x
*
) M ... M n
k
#$x
k
) " 1
relao entre a quantidade total de informao e o nCmero de ocorrGncia
no intervalo "-

QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
) ( ... ) ( ) (
2
2
1
1
k
k T
x I
N
n
x I
N
n
x I
N
n
N
I
+ + + =
,ara N ! tem*se a entropia! definida pela e$presso-
(ntropia " uma caracterstica da fonte de informao discreta que depende
da probabilidade de OcorrGncia de cada um dos elementos de seu alfabeto.
Juanto maior a entropia da fonte maior ser a incerte-a
sobre qual elemento a ser selecionado %menor previsibilidade da fonte).

= =

(

= = =
k
i
i
i
k
i
i i
T
N
bit
x p
x p x I x p
N
I
H
1
2
1
) (
) (
1
log ) ( ) ( ) ( lim
($emplo- +onsidere*se que! no restaurante! observando*se pedidos
feitos durante um perodo de tempo suficientemente longo! foram
determinadas as probabilidades de ocorrGncia de cada uma das
opFes! conforme .abela 92. Observe*se que a soma das
probabilidades de todos os elementos do alfabeto da
fonte deve ser igual a l-
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
Opo Prato Probabilidade de ocorrncia Opo Prato Probabilidade de ocorrncia
1 Moqueca capixaba 1/2
2 Fil com fritas 1/4
3 Mocot no feijo 1/8
4 Rabada moda 1/16
5 Buchada de bode 3/64
6 Jab com jerimum 1/64
1 quantidade de informao de cada uma das opFes "-
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
Opo Prato Probabilidade de ocorrncia
1 Moqueca capixaba 1/2
2 Fil com fritas 1/4
3 Mocot no feijo 1/8
4 Rabada moda 1/16
5 Buchada de bode 3/64
6 Jab com jerimum 1/64
1 entropia dessa fonte discreta "-
. E %7N8) . 7 M %7N@) . 8 M %7NO) . ? M %7N7B) . @ M $/012) . @!@7A M %7NB@).BE 7!98B bit.
.em*se! em m)dia, a quantidade de informao de 7!98B bit por elemento selecionado.
+onsidere*se uma fonte discreta com alfabeto de apenas dois
elementos como! por e$emplo! um sensor chave- 0sim! no< * uma
fonte bin&ria. =eam p$sim) E x e p$no) E 7 * x as respectivas probabili*
dades de ocorrGncia desses elementos %com x real! adimensional e 6 P
x P 7).
1 entropia da fonte binria " funo da probabilidade x"
.$x) E x log%7N$) M %l * $) . log
8
Q l N %l * x)R E * $ . log
8
%$) * %l * $) . log
8
%l * $) %7)
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
.$x) E x log%7N$) M %l * $) . log
8
Q l N %l * x)R E * $ . log
8
%$) * %l * $) . log
8
%l * $) %7)
1 entropia " m&xima para x tal que a derivada primeira " nula! !
e a derivada segunda " negativa! . 'erivando %7) em
relao a x"
(ssa derivada " nula para 7 * x E x, ou sea! x E 7N8.
0 =
dx
dH
0
2
2
<
dx
H d
|

\
|
=
x
x
dx
dH 1
log
2
,ara
1 entropia m$ima % para $ E S ) "-
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
( ) entropia mxima de Ponto 0 log 4 e 0 se - obtm ,
2
1
2
2
2
< = = = e
dx
H d
dx
dH
x
) 1 (
) ( log 1 ). 1 ( ) 1 (
) ( log .
1
1
) ( log
1
2
2
2 2
2
2
x x
e
x
x x
e
x
x
x
x
dx
d
e
x
x
dx
H d

= |

\
|

=
1 entropia m$ima % para $ E S ) "-
( ) ( ) bit 1 2 log
2
1
1 2 log
2
1
2 2
= |

\
|
+ = H
mx
+om dois elementos equipro!&!eis %$ E 7 * $ E S )! a entropia " m&xima %a
fonte " menos previsvel).
Observe*se que! H medida que um dos elementos se torna mais provvel
que o outro! a entropia da fonte decresce.
=e a probabilidade de ocorrGncia de um dos elementos " igual a 7 %evento
certo)! a do outro " 6 %evento impossvel) e a entropia da fonte " -ero.
(sse resultado pode ser generalizado * a entropia de uma fonte discreta
com alfabeto de k elementos " m&xima para p$ x ) E +0k, i E 7!8! ... ! k
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
com alfabeto de k elementos " m&xima para p$ x
i
) E +0k, i E 7!8! ... ! k
%elementos equipro!&!eis). O !alor m&ximo de entropia de uma fonte discreta
com alfabeto de k elementos "! portanto-
,or e$emplo! para a fonte de opFes de cardpio %.abela 92)! a quantidade
de informao de cada opo varia entre 7 bit para a preferida do pCblico e
B bits para a menos procurada e a entropia da fonte " . E 7!98B bit. =e
todas as seis opFes ocorressem com a mesma probabilidade %E 7NB)! a
entropia da fonte teria o valor m$imo-
) ( log
2 max
k H =
bits 58 , 2 ) 6 ( log
2 max
= H
CODIFICAO DE FONTE
+odificao de fonte consiste em associar! a cada elemento do alfabeto da
fonte! um caractere T uma combinao de elementos de c(di'o. =e todos os
caracteres tGm o mesmo nCmero de elementos de cdigo! diz*se que o
cdigo " de comprimento constante. =e o nCmero de elementos de cdigo
no " o mesmo para todos os caracteres! o cdigo " de comprimento !ari&!el.
1 codificao com elementos bin&rios %que podem assumir apenas dois
valores) " particularmente interessante para transmisso el"trica. +ada
elemento do conunto binrio! representado por 06! 7<! " denominado
d3'ito bin&rio * ou bit %acrLnimo de binar% di'it * no confundir com d3'ito bin&rio * ou bit %acrLnimo de binar% di'it * no confundir com
unidade binria! embora sea usado o mesmo acrLnimo).
+om n elementos binrios de cdigo obtGm*se *
n
combinaFes de bits
%caracteres) que podem representar elementos do alfabeto da fonte de
informao discreta.
Uo e$emplo do restaurante! com cdigo binrio com comprimento
varivel! duas das opFes podem ser representadas com caracteres de 7
bit! e as quatro opFes restantes com caracteres de 8 bits. 'e preferGncia!
devem ser associados caracteres mais curtos aos elementos mais
freqIentes.
CODIFICAO DE FONTE
,ara representar as seis opFes! com cdigo de comprimento
constante n, deve*se ter-
+omo n % nCmero de dgitos binrios ) deve ser inteiro, o nCmero
mnimo de bits para o cdigo de comprimento constante " n E ?.
) ( log 58 , 2 ) 6 ( log
) 2 log(
) 6 log(
6 2
2 max 2
k H n n
n
= =
Uo cdigo binrio de comprimento varivel! o nCmero m)dio de bits
%dgitos binrios) por caractere! considerando as probabilidades de
ocorrGncia indicadas na .abela 92! " inferior ao nCmero de bits por
caractere do cdigo de comprimento constante-
25 , 1
4
1
2
4
3
64
1
64
3
16
1
8
1
2
4
1
2
1
1 = + = |

\
|
+ + + + |

\
|
+ = n
CODIFICAO DE FONTE
Opo Prato
Probabilidade
de ocorrncia
Cdigo Binrio
Comprimento
Varivel
Comprimento
Constante
1
Moqueca
capixaba
1/2 0 000
2 Fil com fritas 1/4 1 001 2 Fil com fritas 1/4 1 001
3
Mocot no
feijo
1/8 00 010
4
Rabada
moda
1/16 01 011
5
Buchada de
bode
3/64 10 100
6
Jab com
jerimum
1/64 11 101
Algoritmo de H!!m"#
1lgoritmo para a compresso de arquivos! principalmente arquivos
te$tos.
1tribui cdigos menores para smbolos mais freqIentes e cdigos
maiores para smbolos menos freqIentes.
+digo " um conunto de bits.
Vepresentao dos dados " feita com cdigos de tamanho varivel Vepresentao dos dados " feita com cdigos de tamanho varivel
Cdigo ASCII
A=01000001
B=01000010
.
.
.
a=01100001
b=01100010
Cdigo de Huffman
A=? (0)
B=? (110)
.
.
.
a=? (1111110)
b=? (11111111110)
Algoritmo de H!!m"#
=upondo 1 e + mais freqIentes que + e ' no conunto de valores
possveis.
ABACDA= 0 110 0 10 111 0
A B A C D A
Smbolo
A
B
C
D
Cdigo
0
110
10
111
Algoritmo de H!!m"#
'ado-.abela de freqIGncias dos U smbolos de um alfabeto
Obetivo- 1tribuir cdigos aos smbolos de modo que os mais
freqIentes tenham cdigos menores %menos bits).
1*6.8
2*6.7
a*6.7
.
.
.
1*6
2*76
a*776
.
.
.
Huffman
Algoritmo de H!!m"#
Wdoiasdfoidsfoisofnsdo
=dfoisdfoisdfoisdfoid
Oidsfoisdnfosdf
=doifsfsdfsDodnfsdDnf
1rquivo
comprimido