Teoria da informao

A Teoria da informao ou Teoria matemtica da
comunicao um ramo da teoria da probabilidade
e da matemtica estatstica que lida com sistemas de
comunicao, transmisso de dados, criptograa,
codicao, teoria do rudo, correo de erros,
compresso de dados, etc. Ela no deve ser confundida
com tecnologia da informao e biblioteconomia.
Claude Shannon (1916-2001) conhecido como o pai
da teoria da informao. Sua teoria foi a primeira a con-
siderar comunicao como um problema matemtico ri-
gorosamente embasado na estatstica e deu aos engenhei-
ros da comunicao um modo de determinar a capaci-
dade de um canal de comunicao em termos de ocor-
rncia de bits. A teoria no se preocupa com a semntica
dos dados, mas pode envolver aspectos relacionados com
a perda de informao na compresso e na transmisso
de mensagens com rudo no canal.
geralmente aceito que a moderna disciplina da teoria
da informao comeou com duas publicaes: a do ar-
tigo cientco de Shannon intitulado Teoria Matemtica
da Comunicao (A Mathematical Theory of Communi-
cation), no Bell System Technical Journal, em julho e
outubro de 1948; e do livro de Shannon em co-autoria
com o tambm engenheiro estadunidense Warren Wea-
ver (1894-1978), intitulado Teoria Matemtica da Comu-
nicao (The Mathematical Theory of Communication),
e contendo reimpresses do artigo cientco anterior de
forma acessvel tambm a no-especialistas - isto popu-
larizou os conceitos.
que limitadas vinham sendo desenvolvidas nos labora-
trios da Bell, todas implicitamente assumindo eventos
de igual probabilidade. O artigo Certain Factors Aec-
ting Telegraph Speed de Harry Nyquist escrito em 1924
contm uma seo terica que quantica inteligncia e a
velocidade de transmisso pela qual ela pode ser trans-
mitida por um sistema de comunicao, estabelecendo a
relao W = K log m , onde W a velocidade de trans-
misso da inteligncia, m o nmero de nveis de tenso
para cada intervalo de tempo, e K uma constante. Em
1928, Ralph Hartley publicou o artigo Transmission of
Information, onde aparece a palavra informao como
uma quantidade mensurvel que a capacidade do desti-
natrio distinguir diferentes sequncias de smbolos, le-
vando expresso H = log S n = n log S , onde S e
n representam, respectivamente, o nmero de smbolos
possveis e o nmero de smbolos na transmisso. Ini-
cialmente, a unidade natural da transmisso foi denida
como sendo o dgito decimal, sendo, posteriormente, re-
nomeada para hartley em uma clara homenagem. Alan
Turing em 1940, durante a 2 Guerra Mundial, aplicou
ideias similares como parte da anlise estatstica para de-
cifrar a criptograa da mquina alem Enigma.
Boa parte da matemtica por trs da teoria da informa-
o com eventos de diferentes probabilidades foi desen-
volvida para os campos da termodinmica por Ludwig
Boltzmann e J. Willard Gibbs. As conexes entre as en-
tropias da informao e termodinmica, incluindo as im-
portantes contribuies de Rolf Landauer na dcada de
1960, so exploradas na Entropia termodinmica e teoria
da informao.

1 Contexto histrico No artigo seminal de Shannon, introduz-se pela primeira

vez um modelo quantitativo e qualitativo da comunicao,
apresentando-a como um processo estatstico subjacente
O marco que estabeleceu a teoria da informao e
teoria da informao. Shannon inicia seu artigo dizendo
chamou imediatamente a ateno mundial foi o artigo
A Mathematical Theory of Communication escrito por O problema fundamental da comunicao reprodu-
Claude Shannon de julho a outubro de 1948. zir em um dado ponto, exata ou aproximadamente, uma
mensagem produzida em outro ponto.
Com este artigo vieram tona os conceitos

de entropia da informao e redundncia de uma

Antes deste artigo, algumas abordagens tericas ainda
fonte, e sua aplicao no teorema de codicao da
fonte;
de informao mtua e capacidade de um canal com
rudo, incluindo a promessa de comunicao sem
perdas estabelecida no teorema de codicao de
canais-ruidosos;
da lei de Shannon-Hartley para a capacidade de um

1
2 4 LIGAES EXTERNAS

canal Gaussiano; A teoria da informao de Shannon apropriada para me-

dir incerteza sobre um espao desordenado. Uma medida
do bit - uma nova forma de enxergar a unidade fun-
alternativa de informao foi criada por Fisher para me-
damental da informao.
dir incerteza sobre um espao ordenado. Por exemplo, a
informao de Shannon usada sobre um espao de le-
tras do alfabeto, j que letras no tem 'distncias entre
2 Entropia da informao elas. Para informao sobre valores de parmetros cont-
nuos, como as alturas de pessoas, a informao de Fisher
No processo de desenvolvimento de uma teoria da comu- usada, j que tamanhos estimados tem uma distncia
nicao que pudesse ser aplicada por engenheiros eletri- bem denida.
cistas para projetar sistemas de telecomunicao melho- Diferenas na informao de Shannon correspondem a
res, Shannon deniu uma medida chamada de entropia, um caso especial da distncia de Kullback-Leibler da es-
denida como: tatstica Bayesiana, uma medida de distncia entre distri-
buies de probabilidade a priori e a posteriori.

H(X) = p(x) log p(x) Andrei Nikolaevich Kolmogorov introduziu uma medida
xX de informao que baseada no menor algoritmo que
pode comput-la (veja complexidade de Kolmogorov).
onde log o logaritmo na base 2, que determina o grau de
caoticidade da distribuio de probabilidade pi e pode ser
usada para determinar a capacidade do canal necessria
para transmitir a informao. 3 Ver tambm
A medida de entropia de Shannon passou a ser consi-
Abraham Moles
derada como uma medida da informao contida numa
mensagem, em oposio parte da mensagem que estri- Distncia Levenshtein
tamente determinada (portanto prevsivel) por estruturas
inerentes, como por exemplo a redundncia da estrutura Informao
das linguagens ou das propriedades estatsticas de uma
Norbert Wiener
linguagem, relacionadas s frequncias de ocorrncia de
diferentes letras (monemas) ou de pares, trios, (fonemas)
etc., de palavras. Veja cadeia de Markov.
4 Ligaes externas
A entropia como denida por Shannon est intimamente
relacionada entropia denida por fsicos. Boltzmann
The Mathematical Theory of Communication,
e Gibbs zeram um trabalho considervel sobre termo-
Claude Shannon
dinmica estatstica. Este trabalho foi a inspirao para
se adotar o termo entropia em teoria da informao. H Entropy on the World Wide Web
uma profunda relao entre entropia nos sentidos termo-
dinmico e informacional. Por exemplo, o demnio de Information Theory Resources
Maxwell necessita de informaes para reverter a entro-
pia termodinmica e a obteno dessas informaes equi-
libra exatamente o ganho termodinmico que o demnio
alcanaria de outro modo.
Outras medidas de informao teis incluem informao
mtua, que uma medida da correlao entre dois con-
juntos de eventos. Informao mtua denida para duas
variveis aleatrias X e Y como:

M (X, Y ) = H(X, Y ) H(X) H(Y )

onde H(X, Y ) a entropia conjunta (joint entropy) ou

H(X, Y ) = p(x, y) log p(x, y)
x,y

Informao mtua est relacionada de forma muito pr-

xima com testes estatsticos como o teste de razo loga-
rtmica e o teste Chi-square.
 3

5 Fontes dos textos e imagens, contribuidores e licenas

5.1 Texto
Teoria da informao Fonte: https://pt.wikipedia.org/wiki/Teoria_da_informa%C3%A7%C3%A3o?oldid=47919395 Contribuidores:
JoaoMiranda, Jorge~ptwiki, Manuel Anastcio, Harshmellow, Joaotg, Ovdio, Mschlindwein, E2m, Tau Ceti, Hgfernan, E2mb0t, Juntas,
Campani, NTBot, Arouck, RobotQuistnix, Yurik, I32542, Ccero, Moretti, Chlewbot, Salgueiro, Xexeo, Probatista, Al Lemos, Thijs!bot,
Rei-bot, JAnDbot, EuTuga, TXiKiBoT, Tumnus, VolkovBot, SieBot, Jonex, Teles, Kaktus Kid, Arawete, Quiumen, Sergio Kaminski, Ra-
diX, Pietro Roveri, Luckas-bot, Nallimbot, Salebot, Yonidebot, Xqbot, Patirslm, Marcos Elias de Oliveira Jnior, HVL, Boehm, Dbastro,
FMTbot, EmausBot, WikitanvirBot, MerlIwBot, Msouza.xmind, Leon saudanha, Legobot, Goncalor, Mbassis, FelipeOCouto, Msilvax2 e
Annimo: 30

5.2 Imagens
Ficheiro:Shannon_Weaver_-_Modelo_de_Comunicao.png Fonte: https://upload.wikimedia.org/wikipedia/commons/7/7b/
Shannon_Weaver_-_Modelo_de_Comunica%C3%A7%C3%A3o.png Licena: CC0 Contribuidores: Obra do prprio Artista original:
Msilvax2

5.3 Licena
Creative Commons Attribution-Share Alike 3.0