Você está na página 1de 22

BC-0504 Natureza da Informao

Teoria da Informao

Prof. Yossi Zana

TEORIA DA INFORMAO
A Teoria da Informao (ou da Comunicao) uma teoria matemtica A informao no um conceito estatstico, sendo irrelevante a relao com conhecimento A Teoria da Informao nos permite:
Estimar quanta informao pode ser enviada por segundo atravs de canais de comunicao (perfeitos ou imperfeitos) Medir a taxa na qual uma fonte pode gerar informao Dizer como representar mensagens de uma determinada fonte eficientemente para transmitir atravs de algum tipo de canal Como podemos reduzir os erros nesta transmisso

TEORIA DA INFORMAO

Informao qualquer coisa escolhida pelo emissor da mensagem. A quantidade de informao inversamente proporcional a probabilidade de ocorrncia daquela coisa
Exemplos:

Na primeira vez que ouvimos uma msica, ela nos traz um novo conhecimento musical. Depois de ouvir vrias vezes a mesma msica, podemos prever os prximos acordes. Portanto essa experincia no nos traz mais informao. Na palavra c_mo, possvel adivinhar que a letra faltando o. Portanto, desnecessrio escrever essa letra naquela posio.

CONCEITOS DA TEORIA DE INFORMAO

CONCEITOS DA TEORIA DE INFORMAO Entropia


Segundo Boltzmann (1872)...

Os tomos de um gs encontram-se uniformemente distribudos A probabilidade de encontrar todos os tomos num s dos dois lados praticamente zero.

CONCEITOS DA TEORIA DE INFORMAO Entropia


Segundo Boltzmann (1872)... Quantidade de informao necessria para especificar exatamente o estado de um sistema.

S = k ln(w) S = Entropia; k=constante; w=nmero de microestados Derivado do sistema de gases/termodinmica A entropia do universo sempre cresce

CONCEITOS DA TEORIA DE INFORMAO Entropia


Segundo Shanon...

A grau de incerteza.

CONCEITOS DA TEORIA DE INFORMAO

Redundncia Estatstica
Quantidade de espao utilizado desnecessariamente para transmitir informaes ou repetir informao) -s v-n-s d- c--nc-- e d- t-cn-l-g-- -st- m-lt-pl-c-ndo -s n-ss-s c-p-c-d-d-s d- c-l-t-r, tr-t-r, g-r-r - -t-l-z-r -nf-rm-es. De aorcdo com uma peqsiusa de uma uinrvesriddae ignlsea, no ipomtra em qaul odrem as Lteras de uma plravaa etso.

NO554 C4B34 CONS3GU3 F4Z3R CO1545 1MPR3551ON4ANT35!

CONCEITOS DA TEORIA DE INFORMAO Compresso


Explora e reduz a redundncia estatstica O que resta depois de comprimir um texto um ncleo que no pode ser mais comprimido. Esse ncleo informao sem redundncia.

TEORIA DA INFORMAO
FUNDAMENTOS HISTRICOS

A criptografia desenvolvidos na 2 Guerra Mundial Tecnologias de transmisso de informao Teorias da termodinmica

CRIPTOGRAFIA Enigma
O alemo Arthur Scherbius inventou a mquina para cifrar mensagens Enigma 3x10114 configuraes diferentes.

CRIPTOGRAFIA Enigma e as Heuristicas de Turing


Identificao de erros procedurais pelo polons Rejewski Uso da mesma chave o dia todo Repetio da chave As Heuristicas de Ingls Turing
Todas as letras eram trocadas de cada vez Uma letra no podia representar ela mesma Uso de frases comuns (ex: o tempo est bom hoje)

CRIPTOGRAFIA Cifra de Csar


Algoritmo: Substituir cada letra pela que esta n posies na frente Exemplo (n=-2): Q xgpvq jqlg guvcxc owkvq hqtg O vento hoje estava muito forte

Transmisso de Informao

Transmisso de Informao Cdigo Morse e o Telgrafo


Samuel B. Morse - 1838 Letras do alfabeto so representadas por combinaes de espaos, pontos e traos Para transmisso em um circuito eltrico, espaos so representados por ausncia de corrente, pontos por corrente de curta durao e traos por correntes de longa durao

TRANSMISSO DE INFORMAO CDIGO MORSE E O TELGRAFO

Transmisso de Informao Cdigo Morse e o Telgrafo


Uma outra associao entre os pontos, traos e espaos e as letras do alfabeto nos permitiria enviar textos em Ingls mais rpido pelo telgrafo? Usando nossa moderna Teoria de Informao, encontramos que teramos, no mximo, um ganho de cerca de 15% sobre a velocidade de transmisso

Transmisso de Informao Cdigo Morse e o Telgrafo


Limitaes
Velocidade de emisso do sinal Interferncias (rudos) Dificuldade em distinguir entre possveis valores de corrente Intensidade de corrente a serem utilizadas (para no quebrar o isolamento dos cabos)

Personagens que Contriburam


No sculo XIX, vrias pessoas contriburam matematicamente para a teoria da Informao:
Lorde Kelvin (William Thomson) Alexander Graham Bell Henri Poincar Oliver Heaviside Michael Pupin G. A. Campbell Joseph Fourier

Personagens que Contriburam Fourier, 1807


Baseou seus trabalhos na funo seno

Demonstrou que toda funo pode ser decomposta numa soma de funes senos com diferentes amplitudes, fases e frequncias

Personagens que Contriburam Wiener-Kolmogorov


Criaram independentemente nos EUA e Russia, na dcada de 40, uma soluo para isolar um sinal do rudo. Soluo: Supor uma constncia e diferena das propriedades do sinal e do rudo.
resultado filtro sinal ruido

Sem rudo

Com rudo

Sinal isolado

Shannon
Publica o artigo A Mathematical Theory of Communication, 1948 Como podemos codificar, em termos de sinais eltricos, uma mensagem a partir de uma fonte para poder transmitr-la o mais rpido possvel atravs de um canal que introduz rudo com certas caractersticas? O quo rpido podemos transmitir um tipo de mensagem atravs de um determinado canal sem erros?