TEORIA

DA INFORMAO
Teoria da Comunicao

Informao e
Probabilidade
Um cachorro mordeu um homem.
..Nenhuma surpresa.
..Muito comum.
..No informativo.
Um homem mordeu um cachorro
..Muito incomum;
..Raramente acontece;
..Vale uma manchete !
Informao
est
inversamente
relacionada
probabilidade de ocorrncia de um evento.

TEORIA MATEMTICA
DA INFORMAO
A teoria matemtica da informao
no se interessa pelo contedo ou a
finalidade da informao.
A pergunta bsica desta teoria a
seguinte:
Quanta informao transmitida
numa mensagem?

TEORIA MATEMTICA
DA INFORMAO
A informao s pode ser recebida
onde exista dvida ou incerteza sobre
a ocorrncia de um evento.
Mas dvida e incerteza implica na
existncia de alternativas.
[cf. Colin Cherry (1974, p.261-262)]
6

Postulado Bsico
Um dos postulados bsicos da
teoria matemtica da informao
que a informao pode ser
tratada como sendo informao e
pode ser tratada como sendo
uma
medida,
como
uma
quantidade fsica, tal como a
densidade ou a massa.
7

Postulado Bsico
A teoria da matemtica informao
considera a informao como sendo
somente aqueles smbolos que so
incertos para o receptor.
Shannon (1948) tornou claro que a
incerteza a verdadeira mercadoria
da comunicao.
8

Por que a teoria matemtica

da informao importante?

Claude Shannon (1948) inspirou

tambm uma exploso de maneiras
criativas de compactar informao bits

(extraindo
somente
a
informao real, codificando a para
envi-la atravs de um canal e
interpretando este sinal numa data
ou local posterior com qualquer nvel
desejado de acurcia.
Com o insight de Shannon (1948) em
mente, os engenheiros continuaram
a desenvolver modos de maximizar a
transmisso de informaes o que
resultou na inveno do transistor.

10

TEORIA MATEMTICA
DA INFORMAO - HISTRICO
Rudolf Clausius introduz pela primeira vez
a idia de entropia para descrever como
podemos transferir calor de um objeto frio
para um objeto quente sem uso externo de
energia para fazer a transferncia.
A
quantidade
de
entropia
permite
determinar a eficincia mxima dos
mquinas e excluir a noo de mquinas
perpetuas.
11

Entropia: definio
Rudolf CLAUSIUS
(1865):
Definio de entropia:

S = Q/T
Segunda Lei da
Termodinmica:
a entropia no pode
diminuir ao longo do

12

TEORIA MATEMTICA
DA INFORMAO - HISTRICO

Ludwing von Boltzmann estabeleceu uma

nova definio de entropia quando
estudava as propriedades estatsticas de
uma grande coleo de molculas de gs.
De acordo com ele, a entropia de um gs
o montante de informao que
perdemos
sobre
suas
propriedades
microscpicas. Quanto maior o nmero de
estados microscpicos, maior a entropia.

13

Termodinmica
Ludwig BOLTZMAN
1872: Kinetic theory
1880:
Interpretao
estatstica da
entropia: desorgem
no espao da
energia.
14

TEORIA MATEMTICA
DA INFORMAO - HISTRICO
Claude Shannon (1938) tese de
mestrado (11 pginas) no qual teve a
idia pioneira de reduzir o contedo da
informao a seqncias de 0 e 1 e
trat-la segundo as regras da lgebra
de Boole.
Cria-se a eletrnica digital.

18

TEORIA MATEMTICA
DA INFORMAO - HISTRICO

Norbert
Wierner
(1946)

Cybernetics. Foi definida como a

cincia
do
controle
e
da
comunicao em animais, seres
humanos, mquinas e organizaes.
A Ciberntica influenciou a teoria da
informao a qual est informao,
qual, preocupada com a medio do
fluxo de informao e o controle dos
erros numa transmisso.

19

TEORIA MATEMTICA
DA INFORMAO - HISTRICO
Qual o objetivo da teoria matemtica da
informao?
Ela procura medir a quantidade de
informao
que
uma
mensagem
fidedigna pode transmitir.
Ela procura medir qual a quantidade de
informao contida em uma mensagem.
Ela no uma teoria semntica.

20

TEORIA MATEMTICA DA INFORMAO:

O QUE INFORMAO?

Informao qualquer coisa que

reduz a incerteza, a indeterminao
sobre um evento ou sobre uma coisa.
Assim, a teoria matemtica da
informao foi desenvolvida como
sendo uma teoria objetiva de
probabilidade.
21

Quantificando a
Informao

22

TEORIA MATEMTICA DA INFORMAO:

O QUE INFORMAO?

Quando
um
conjunto
de
possibilidades reduzido, temos que
o
montante
de
informaes
associado com este resultado uma
funo de quantas possibilidades
foram eliminadas para se chegar a
um determinado resultado e fazer a
escolha.
23

TEORIA MATEMTICA

DA INFORMAO:

A CONTRIBUIO DE CLAUDE SHANNON (1948)

Shannon (1948) desenvolveu a teoria da

informao e transmisso de sinais
digitais, baseados em seqncias de zero
e um.
Isto lhe permitiu definir o problema
fundamental da comunicao como o de
reproduzir num local, de forma aproximada
ou exata, uma mensagem selecionada
noutro local.
24

TEORIA MATEMTICA

DA INFORMAO:

A CONTRIBUIO DE CLAUDE SHANNON (1948)

Uma mensagem selecionada refere-se a

uma seqncia informativa que pode ser
escolhida entre muitas outras, que
apareceram com iguais ou diferentes
probabilidades Assim, quantidade de
informao definida com base na sua
incerteza ou na dificuldade de previso.
Para medir a quantidade de informao
ele utilizou, por sugesto de von
Neumann, o conceito de entropia.
25

TEORIA MATEMTICA

DA INFORMAO:

A CONTRIBUIO DE CLAUDE SHANNON (1948)

Shannon (1948) proveu uma sntese das

principais idias com relao a teoria
clssica da informao. Shannon (1948)
tambm contribuiu de forma decisiva para
estabelecer a teoria da informao em
firmes e slidas bases tericas. Shannon
(1948) foi o primeiro a estabelecer os
limites superiores sobre o que pode ser
alcanado com um meio de transmitir
informaes,
um
canal.

26

TEORIA MATEMTICA DA INFORMAO...

A CONTRIBUIO DE CLAUDE SHANNON (1948)

Shannon (1948) introduziu duas importantes contribuies

com relao aos trabalhos de Hartley e Nyquist que
afirmavam que a importncia da medida da informao
est baseada no nmero de alternativas:
(i) deu um tratamento estatstico a informao - no
em relao ao nmero de ocorrncias possveis, mas sim
com relao probabilidade de sua ocorrncia deste
modo, a quantidade de informao numa no funo das
alternativas possveis, mas sim, da sua efetiva ocorrncia;
(ii) introduziu o conceito de rudo ele afirmou que o
rudo aumentaria a informao at o limite em que ele
aumenta a incerteza tornando-se equivoco quando ele
excedesse o desejvel.
29

Claude Shannon (19162001)

30

A Mathematical Theory of
Communication (1948) - Resumo
Introduz um sistema de informao

binrio;
Primeiro uso dos bit em forma impressa;
Quantificao da informao;
Descreve a transferncia da informao;
Calcula a capacidade de transmisso de
um canal;

31

O modelo matemtico da
informao
MENSAGEM

MENSAGEM

Elementos fundamentais do modelo:

Input
Output
Ruido Entropia
Redundncia
Shannon e Weaver, 1949

32

TEORIA MATEMTICA DA INFORMAO

OS ELEMENTOS DE UM SISTEMA
INFORMACIONAL
FONTE
TRANSMISSOR

A informao parte de uma fonte, sendo

enviada atravs de um transmissor a um
elemento receptor que interpreta ou
decodifica a mensagem recebida para o
destinrio.

SINAL
CANAL
SINAL RECEBIDO
RECEPTOR
INTERFERNCIA
DESTINATRIO
A mensagem um elemento
selecionado a
partir de um conjunto mais
amplo, passvel
de ser transmitido atravs de
um canal ou

33

TEORIA MATEMTICA DA INFORMAO

OS ELEMENTOS DE UM SISTEMA
INFORMACIONAL
Fonte: refere-se a um elemento que
gera a informao.
Transmissor: o elemento capaz de
transmitir a mensagem de acordo
com um cdigo preestabelecido.
Cdigo: um conjunto de regras de
correspondncia entre os elementos
de um conjunto de referncia e um
conjunto de smbolos.

34

TEORIA MATEMTICA DA INFORMAO

OS ELEMENTOS DE UM SISTEMA
INFORMACIONAL
Mensagem: o conjunto de smbolos,
detectado pelo receptor, expresso no
respectivo cdigo.
Canal: o meio que permite a veiculao
da mensagem transmitida ao receptor.
Receptor: o elemento que recebe e
decodifica a mensagem.
Rudo: so interferncias na transmisso,
veiculao da mensagem, introduzindo
erros aleatrios na mesma.
35

TEORIA MATEMTICA DA INFORMAO

OS ELEMENTOS DE UM SISTEMA
INFORMACIONAL

Mensagem decodificada: o
resultado
da
reconverso
da
mensagem na forma inteligvel pelo
destinatrio.
Destinatrio: o elemento final do
sistema informacional que far uso
da mensagem.
36

TEORIA MATEMTICA DA INFORMAO

OS ELEMENTOS DE UM SISTEMA
INFORMACIONAL

Um evento representa um estado do

sistema que est sendo analisado.
Suponhamos que um evento ocorreu e
que uma mensagem transmitida
sobre a ocorrncia de um evento.
Essa mensagem recebida por um
elemento receptor conforme mostra o
esquema acima.
38

TEORIA MATEMTICA DA INFORMAO

OS ELEMENTOS DE UM SISTEMA
INFORMACIONAL

A transmisso, contudo, est sujeita a

erros e o receptor est sujeito a
interferncias externas (rudo).
A mensagem recebida pelo receptor
decodificada, fornecendo informao
sobre a ocorrncia do evento.

39

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
A INFORMAO CONTIDA NA MENSAGEM

Quanto maior for a certeza do

elemento que decodifica a
mensagem sobre a ocorrncia
do evento, maior ser a
informao contida na
mensagem.
40

A INFORMAO CONTIDA NA MENSAGEM

O montante de informao recebida
por qualquer mensagem calculada
em termos de grau de surpresa do
receptor da mensagem.
A idia fundamental da teoria
matemtica da informao que
mensagens
que
so
surpreendentes
(inesperadas)
contm
mais
informao
e
mensagens esperadas contm
menos informaes.
42

A INFORMAO CONTIDA NA MENSAGEM

A teoria da informao nos diz que uma
surpresa deve ser medida em termos da
improbabilidade de que o agente receptor
atribui a mensagem.

I(M) = - log [P(M)]

onde:

M=mensagem, I(M)= informao contida na mensagem e

P(M) a
probabilidade da mensagem (como assumida pelo
receptor).

O montante de informao ento definida

como sendo o negativo do logaritmo da
probabilidade assumida pela mensagem.
43

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
A INFORMAO CONTIDA NA MENSAGEM

A base do logaritmo pode ser decimal,

neperiano etc.
Contudo, como a maioria dos cdigos
apresenta estrutura binria, comum
medir-se a informao atravs de
logaritmos de base 2.
Neste caso, uma unidade de informao
chamada de bit.
44

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
O BIT

O uso de logaritmos de base 2 muito

comum na teoria matemtica da
informao.
Eles tem a propriedade de que a
unidade de informao correspondente
a p= 1/2, implica em que (p= 1/2) = 1.
Se ns usamos a base 2, a
informao contida expressa em
dgitos binrios bits.
45

Teoria da Informao

1bit
46

Teoria da Informao
00

01
1bit

10

11
1bit
47

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
O BIT

Obs: A palavra bit foi criada por J.W

Tukey como contrao da expresso
binary digit e usada pela primeira vez
por pela primeira vez por Shanon
(1948).
[Cf. Shannon & Weaver (1948, p.9)]
48

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
O BIT

A informao medida (quantificada)

em bits, ou unidades binrias, a qual
o montante de informao que pode ser
armazenado um nico smbolo binrio.
Na teoria da informao esta
quantidade definida em termos de
probabilidade da ocorrncia do evento.
49

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
A INFORMAO CONTIDA NA MENSAGEM

Questo:

Por que usar logaritmos para

medir a informao?

50

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
A INFORMAO CONTIDA NA MENSAGEM

Assim, qualquer escolha entre duas

alternativas
igualmente
provveis
constitui um bit.
Os computadores no se preocupam
com a origem dos bits; todos so
representados por uma escolha entre
dois nmeros, 0 e 1.
57

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
A INFORMAO CONTIDA NA MENSAGEM

A informao s pode ser recebida

onde haja dvida, e dvida implica
a existncia de alternativas - em
que se exija escolha, seleo ou
discriminao.

58

George BOOLE
(1815-1864)
Usou apenas
dois
caracteres para
codificar as
operaes
lgicas.

01

60

Representao grfica
da funo informao

66

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
O BIT

A teoria da informao mostra que na

realidade so os eventos inesperados
(improvveis) que informam.
Mas para haver um um evento
inesperado (improvvel) necessrio
desconhecimento, pois do contrrio,
nada haveria para ser informado.
67

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
O BIT

Quanto menor a incerteza,

menor
a
quantidade
de
informao
contida
numa
mensagem.
Quanto maior a probabilidade de
ocorrncia de um evento, menor
a incerteza.
68

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
O BIT - EXEMPLO

Implicao: quando todos

os
estados
so
equiprovveis, temos a
mesma
medida
de
informao.
69

ENTROPIA
- Originalmente definida pelos fsicos
no equilbrio termodinmico;
- Aps, formalizada no contexto da
mecnica estatstica;
- Introduzida na teoria da informao
por Shannon (1948);
- Amplamente usada na teoria do
aprendizado computacional.
73

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
ENTROPIA

A entropia tem um valor zero quando h

uma mensagem que certa que ir
ocorrer (isto , um evento descrito com
probabilidade igual a 1) e todos as outras
mensagens nunca iro ocorrer.
O mximo de entropia ocorre quando
todas as mensagens so igualmente
provveis, as quais correspondem a
situao de grande incerteza sobre os
resultados.
76

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
ENTROPIA

A magnitude da entropia uma medida do

grau de indeterminao de uma
distribuio probabilstica.
A entropia se anula se, e somente se, todos
os valores de pi forem nulos , a exceo de
um deles, que ser igual a unidade.
Neste caso a situao completamente
determinada, ocorrendo um evento com
plena certeza, insto , sem indeterminao.
77

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
ENTROPIA

A entropia maior quando a

informao mdia em relao a todos
os estados do sistema, ou seja, a
informao sobre o conjunto se torna
mais importante do que a informao
seletiva referida a um estado ou a um
indivduo isolado.

78

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
ENTROPIA

A entropia uma medida do grau de

indeterminao de uma distribuio
estatstica. Quando um sistema se
organiza temos que h reduo da
entropia. Em outros termos, temos que
ele se torna mais previsvel.
Num sistema completamente organizado
s pode ocorrer uma coisa, isto implica,
por exemplo que pj=1 e pi = 0 quando
ij. Neste caso a entropia mnima e o
sistema no informativo.
79

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
ENTROPIA

A entropia cresce quando o nmero

possvel de estados gerados pelas
mltiplas combinaes de eventos
tambm cresce.
Isto significa que sistemas mais ricos
em nmero de estados e portanto,
mais aleatrios, apresentam entropia
mais elevada.
80

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
O BIT

A entropia atinge seu valor

mximo quando os estados do
sistema
forem
iguais
ou
equiprovveis,
ou
seja,
apresentam probabilidades de
ocorrncia iguais.

81

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
ENTROPIA

A entropia pode ser encarada

como uma medida do grau de
aleatoriedade
do
sistema,
quanto maior for a entropia,
maior ser a disperso da
informao e, portanto, mais
valiosa ela ser.
82

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
REDUNDNCIA

A redundncia aquilo que previsvel

ou convencional numa mensagem. O
oposto de rendundncia a entropia.
A redundncia o resultado de uma
alta previsibilidade e a entropia de uma
baixa previsibilidade

84

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
REDUNDNCIA

Uma mensagem com baixa

previsibilidade pode ser dita ser
entrpica e conter, assim, uma grade
quantidade de informao (medida
em bits).
Ao contrrio, uma mensagem
altamente previsvel redundante e
com baixo contedo informativo.
85

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
REDUNDNCIA

Entropia uma medida do

grau de aleatoriedade.
Redundncia o que
previsvel e convencional
numa mensagem, com baixo
contedo informacional.
86

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
REDUNDNCIA

A lngua inglesa 50% redundante.

Isto significa que ns podemos deletar
cerca de 50% das letras e ainda assim
termos uma linguagem usvel capaz
de transmitir uma mensagem
compreensvel.
[cf. Edwards, p.63 e Shannon &
Weaver, p.13]
87

TEORIA MATEMTICA DA INFORMAO

ELEMENTOS DE UM SISTEMA INFORMACIONAL
REDUNDNCIA
Na teoria da informao ns consideramos uma fonte de
mensagem, tal como um escritor ou um palestrante, o qual
pode Produzir numa dada ocasio qualquer uma de muitas
possveis mensagens. O montante de Informao transmitido
pela mensagem aumenta a medida em que o montante de
incerteza do que a mensagem realmente ir produzir tornase maior. Uma mensagem a qual uma entre dez possveis
mensagem transmite um menor montante de informao do
que uma mensagem a qual uma entre um milho de
possveis mensagens. A entropia da teoria da comunicao
uma medida desta incerteza e a incerteza , ou a entropia,
tomada como a medida do montante de informao
transmitida por uma mensagem de uma fonte. Quanto mais
ns sabemos sobre a mensagem que a fonte ir produzir,
menos incerteza, menos entropia e menos informao.
Pierce (1980, p.23)
88

Redundncia
O fato de que a linguagem natural
muito redundante muito til: ela
nos permite compreender os textos
que so escritos de um modo no
claro.
Redundncia de imagens tambm
til quando as reproduzimos de
modo imperfeito (xerox, fax, etc).
89

A medio do contedo
informativo de uma previso
Uma previso uma mensagem sujeita a
erro ou uma mensagem incerta.
Vamos admitir que a probabilidade de
ocorrncia de um evento, estabelecida
com bases em sries histricas, seja p =
0,2. Ento o contedo da informao o
evento ocorreu seria:
I(p) = ln (1/0,2) = 1,6094 nits (natural
units quando se usa o logaritmo
natural)
90

A medio do contedo
informativo de uma previso
Suponha que a previso do evento no
ano anterior havia afirmado que ele iria
ocorrer e admitamos que, tendo em
vista os resultados das previses
anteriores, a probabilidade de que o
evento realmente corra seja y = 0,6.
Portanto, o contedo da informao de
que o evento ocorre dado por:
I(y) = ln (1/0,6) = 0,5108 nits
91

A medio do contedo
informativo de uma previso
Podemos dizer que, quando uma
mensagem est sujeita a erro (como
no caso de uma previso), o contedo
informativo da mensagem que afirma
(ou prev) que o evento ir ocorrer
dada por:
I(y;p) = log (y/x)
92

TEORIA MATEMTICA
DA INFORMAO

FIM
93