Você está na página 1de 19

INTRODUO TEORIA DA

INFORMAO
SISTEMA DE TRANSMISSO DIGITAL SISTEMA DE TRANSMISSO DIGITAL SISTEMA DE TRANSMISSO DIGITAL SISTEMA DE TRANSMISSO DIGITAL
Os codificadores de fonte possuem a finalidade de casar a fonte de dados com o
sistema levando em considerao a estatstica de acontecimento dos smbolos da fonte. Os sistema levando em considerao a estatstica de acontecimento dos smbolos da fonte. Os
cdigos de fonte mais conhecidos so os que utilizam o algoritmo de Huffman e o de
Huffman modificado.
O codificador de canal est projetado para, atravs da incluso de smbolos de
redundncia de forma inteligente, fazer com que a informao, aps trafegar pelo canal,
possa ser recuperada de eventuais erros de acordo com o critrio de qualidade exigido.
O conjunto modulador-demodulador ( MODEM ) transforma o canal analgico
em canal discreto para possibilitar o funcionamento do conjunto codificador-decodificador
( CODEC ).
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
Denomina-se alfabeto de uma fonte de informao discreta o
conjunto de elementos que a fonte pode selecionar. Por exemplo:
Texto: {A, B, C ... X, Y, Z, 0, 1,2 ... 9,?, !, ... }
Sensor de nvel ( h 2 h
A
? ):{sim, no}
Opo do cardpio: (1,2,3,4,5, 6)
Considere-se uma fonte discreta com alfabeto de k elementos, {x
1
,
x ,..., x }. A relao entre o nmero de vezes n, em que um dado x
2
,..., x
k
}. A relao entre o nmero de vezes n, em que um dado
elemento x
i
, (com i = 1,2, ... , k) selecionado pela fonte e o
nmero total N de selees, para N tendendo a infinito, a
probabilidade de ocorrncia daquele elemento:
|

\
|
=
N
n
x p
i
N
i
lim ) (
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
A soma das probabilidades de ocorrncia de todos os elementos do
alfabeto da fonte , evidentemente, , pois a fonte s
seleciona elementos contidos em seu alfabeto (a probabilidade de
selecionar elemento no-contido no alfabeto nula).
A quantidade de informao associada ocorrncia de um elemento x
i

=
=
k
i
i
x p
1
1 ) (
A quantidade de informao associada ocorrncia de um elemento x
i
mede o grau de surpresa quando
aquele elemento selecionado pela fonte. Elementos selecionados
com maior freqncia causam menos
surpresa, ao passo que elementos de ocorrncia mais rara causam
mais surpresa. Define-se a quantidade
de informao I(x
i
), associada seleo do elemento x
i
; usando a
funo logaritmo de base 2:
|
|

\
|
=
) (
1
log ) (
2
i
i
x p
x I
Quantidade de informao, assim definida, tem como caractersticas:
Quantidade de informao varia com o inverso da probabilidade de
ocorrncia - elementos menos freqentes tm quantidade de
informao maior que elementos mais freqentes.
Se o alfabeto da fonte tem um nico elemento, a quantidade de
informao associada seleo desse elemento (evento certo) nula:
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
|
|

\
|
=
) (
1
log ) (
2
i
i
x p
x I
informao associada seleo desse elemento (evento certo) nula:
I(x
i
)= O para p(x
i
) = 1.
Se a fonte seleciona um elemento no-contido em seu alfabeto (evento
impossvel), a quantidade de informao associada a essa seleo
infinita: I(x
i
)= para p(x
i
) = 0.
Se a seleo de cada elemento no afeta a probabilidade de ocorrncia de
outros nas selees seguintes, a quantidade total de informao de uma
seqncia de elementos a soma das quantida-
des de informao individuais
A quantidade de informao - medida em bit (acrnimo de binary unit
= unidade binria, devido ao uso logaritmo de base 2) - um nmero
real no-negativo adimensional.
Quantidade de informao importante para a criao de cdigos
(representaes de elementos da fonte discreta) para transmisso
eficiente de informao. Ao criar um cdigo para representar letras,
algarismos e sinais de pontuao no telgrafo eltrico, Morse
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
algarismos e sinais de pontuao no telgrafo eltrico, Morse
intuitivamente associou representao mais curta para
caracteres mais freqentes (com menor quantidade de informao) e
mais longa para caracteres menos freqentes (com maior quantidade
de informao).
Define-se como entropia de uma fonte discreta a quantidade mdia de
informao por ocorrncia (seleo de um elemento pela fonte).
Considere-se que a fonte discreta seleciona, num dado intervalo, um total
de N = n
l
+ n
2
+ ... + n
k
, elementos, com n
1
ocorrncias do elemento x
1
,
n
2
ocorrncias do elemento x
2
, ...., n
k
ocorrncias do elemento x
k
. Com
ocorrncias estatisticamente independentes, a quantidade total de
informao total dessas N selees I
T
= n
l
I(x
1
) + n
2
I(x
2
) + ... + n
k
I(x
k
) : A
relao entre a quantidade total de informao e o nmero de ocorrncia
no intervalo :

QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
) ( ... ) ( ) (
2
2
1
1
k
k T
x I
N
n
x I
N
n
x I
N
n
N
I
+ + + =
Para N , tem-se a entropia, definida pela expresso:
Entropia uma caracterstica da fonte de informao discreta que depende
da probabilidade de Ocorrncia de cada um dos elementos de seu alfabeto.
Quanto maior a entropia da fonte maior ser a incerteza
sobre qual elemento a ser selecionado (menor previsibilidade da fonte).

= =

(

= = =
k
i
i
i
k
i
i i
T
N
bit
x p
x p x I x p
N
I
H
1
2
1
) (
) (
1
log ) ( ) ( ) ( lim
Exemplo: Considere-se que, no restaurante, observando-se pedidos
feitos durante um perodo de tempo suficientemente longo, foram
determinadas as probabilidades de ocorrncia de cada uma das
opes, conforme Tabela 9B. Observe-se que a soma das
probabilidades de todos os elementos do alfabeto da
fonte deve ser igual a l:
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
Opo Prato Probabilidade de ocorrncia Opo Prato Probabilidade de ocorrncia
1 Moqueca capixaba 1/2
2 Fil com fritas 1/4
3 Mocot no feijo 1/8
4 Rabada moda 1/16
5 Buchada de bode 3/64
6 Jab com jerimum 1/64
A quantidade de informao de cada uma das opes :
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
Opo Prato Probabilidade de ocorrncia
1 Moqueca capixaba 1/2
2 Fil com fritas 1/4
3 Mocot no feijo 1/8
4 Rabada moda 1/16
5 Buchada de bode 3/64
6 Jab com jerimum 1/64
A entropia dessa fonte discreta :
H = (1/2) . 1 + (1/4) . 2 + (1/8) . 3 + (1/16) . 4 + (3/64) . 4,415 + (1/64).6= 1,926 bit.
Tem-se, em mdia, a quantidade de informao de 1,926 bit por elemento selecionado.
Considere-se uma fonte discreta com alfabeto de apenas dois
elementos como, por exemplo, um sensor chave: {sim, no} - uma
fonte binria. Sejam p(sim) = x e p(no) = 1 - x as respectivas probabili-
dades de ocorrncia desses elementos (com x real, adimensional e 0 <
x < 1).
A entropia da fonte binria funo da probabilidade x:
H(x) = x log(1/x) + (l - x) . log
2
[ l / (l - x)] = - x . log
2
(x) - (l - x) . log
2
(l - x) (1)
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
H(x) = x log(1/x) + (l - x) . log
2
[ l / (l - x)] = - x . log
2
(x) - (l - x) . log
2
(l - x) (1)
A entropia mxima para x tal que a derivada primeira nula, ,
e a derivada segunda negativa, . Derivando (1) em
relao a x:
Essa derivada nula para 1 - x = x, ou seja, x = 1/2.
0 =
dx
dH
0
2
2
<
dx
H d
|

\
|
=
x
x
dx
dH 1
log
2
Para
A entropia mxima ( para x = ) :
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
( ) entropia mxima de Ponto 0 log 4 e 0 se - obtm ,
2
1
2
2
2
< = = = e
dx
H d
dx
dH
x
) 1 (
) ( log 1 ). 1 ( ) 1 (
) ( log .
1
1
) ( log
1
2
2
2 2
2
2
x x
e
x
x x
e
x
x
x
x
dx
d
e
x
x
dx
H d

= |

\
|

=
A entropia mxima ( para x = ) :
( ) ( ) bit 1 2 log
2
1
1 2 log
2
1
2 2
= |

\
|
+ = H
mx
Com dois elementos equiprovveis (x = 1 - x = ), a entropia mxima (a
fonte menos previsvel).
Observe-se que, medida que um dos elementos se torna mais provvel
que o outro, a entropia da fonte decresce.
Se a probabilidade de ocorrncia de um dos elementos igual a 1 (evento
certo), a do outro 0 (evento impossvel) e a entropia da fonte zero.
Esse resultado pode ser generalizado - a entropia de uma fonte discreta
com alfabeto de k elementos mxima para p( x ) = 1/k, i = 1,2, ... , k
QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA QUANTIDADE DE INFORMAO E ENTROPIA
com alfabeto de k elementos mxima para p( x
i
) = 1/k, i = 1,2, ... , k
(elementos equiprovveis). O valor mximo de entropia de uma fonte discreta
com alfabeto de k elementos , portanto:
Por exemplo, para a fonte de opes de cardpio (Tabela 9B), a quantidade
de informao de cada opo varia entre 1 bit para a preferida do pblico e
6 bits para a menos procurada e a entropia da fonte H = 1,926 bit. Se
todas as seis opes ocorressem com a mesma probabilidade (= 1/6), a
entropia da fonte teria o valor mximo:
) ( log
2 max
k H =
bits 58 , 2 ) 6 ( log
2 max
= H
CODIFICAO DE FONTE
Codificao de fonte consiste em associar, a cada elemento do alfabeto da
fonte, um caractere uma combinao de elementos de cdigo. Se todos os
caracteres tm o mesmo nmero de elementos de cdigo, diz-se que o
cdigo de comprimento constante. Se o nmero de elementos de cdigo
no o mesmo para todos os caracteres, o cdigo de comprimento varivel.
A codificao com elementos binrios (que podem assumir apenas dois
valores) particularmente interessante para transmisso eltrica. Cada
elemento do conjunto binrio, representado por {0, 1}, denominado
dgito binrio - ou bit (acrnimo de binary digit - no confundir com dgito binrio - ou bit (acrnimo de binary digit - no confundir com
unidade binria, embora seja usado o mesmo acrnimo).
Com n elementos binrios de cdigo obtm-se 2
n
combinaes de bits
(caracteres) que podem representar elementos do alfabeto da fonte de
informao discreta.
No exemplo do restaurante, com cdigo binrio com comprimento
varivel, duas das opes podem ser representadas com caracteres de 1
bit, e as quatro opes restantes com caracteres de 2 bits. De preferncia,
devem ser associados caracteres mais curtos aos elementos mais
freqentes.
CODIFICAO DE FONTE
Para representar as seis opes, com cdigo de comprimento
constante n, deve-se ter:
Como n ( nmero de dgitos binrios ) deve ser inteiro, o nmero
mnimo de bits para o cdigo de comprimento constante n = 3.
) ( log 58 , 2 ) 6 ( log
) 2 log(
) 6 log(
6 2
2 max 2
k H n n
n
= =
No cdigo binrio de comprimento varivel, o nmero mdio de bits
(dgitos binrios) por caractere, considerando as probabilidades de
ocorrncia indicadas na Tabela 9B, inferior ao nmero de bits por
caractere do cdigo de comprimento constante:
25 , 1
4
1
2
4
3
64
1
64
3
16
1
8
1
2
4
1
2
1
1 = + = |

\
|
+ + + + |

\
|
+ = n
CODIFICAO DE FONTE
Opo Prato
Probabilidade
de ocorrncia
Cdigo Binrio
Comprimento
Varivel
Comprimento
Constante
1
Moqueca
capixaba
1/2 0 000
2 Fil com fritas 1/4 1 001 2 Fil com fritas 1/4 1 001
3
Mocot no
feijo
1/8 00 010
4
Rabada
moda
1/16 01 011
5
Buchada de
bode
3/64 10 100
6
Jab com
jerimum
1/64 11 101
Algoritmo de Huffman
Algoritmo para a compresso de arquivos, principalmente arquivos
textos.
Atribui cdigos menores para smbolos mais freqentes e cdigos
maiores para smbolos menos freqentes.
Cdigo um conjunto de bits.
Representao dos dados feita com cdigos de tamanho varivel Representao dos dados feita com cdigos de tamanho varivel
Cdigo ASCII
A=01000001
B=01000010
.
.
.
a=01100001
b=01100010
Cdigo de Huffman
A=? (0)
B=? (110)
.
.
.
a=? (1111110)
b=? (11111111110)
Algoritmo de Huffman
Supondo A e C mais freqentes que C e D no conjunto de valores
possveis.
ABACDA= 0 110 0 10 111 0
A B A C D A
Smbolo
A
B
C
D
Cdigo
0
110
10
111
Algoritmo de Huffman
Dado:Tabela de freqncias dos N smbolos de um alfabeto
Objetivo: Atribuir cdigos aos smbolos de modo que os mais
freqentes tenham cdigos menores (menos bits).
A-0.2
B-0.1
a-0.1
.
.
.
A-0
B-10
a-110
.
.
.
Huffman
Algoritmo de Huffman
Fdjoiasdjfoidsjfoisofnsdo
Sdjfoisdjfoisdfoisdfoid
Oidsfoisdnfosdf
Sdoifsjfsdfskodnfsdknf
Arquivo
comprimido