BC-0504 Natureza da Informao

Aulas 1 e 2

Uma pequena viagem Histria da Teoria da Informao

Equipe de professores de Natureza da Informao Prof. Joo Henrique Kleinschmidt Santo Andr, janeiro de 2013

Objetivos da Disciplina
Objetivos:
o

Apresentar os fundamentos sobre a origem e a natureza da Informao, e sobre como ela representada e armazenada.

Competncias: o Que o aluno seja capaz de compreender os conceitos fundamentais a respeito da origem e da natureza da Informao, e o que seja capaz tambm de entender as principais tcnicas e tecnologias envolvidas nos processos de representao e armazenamento da Informao.

Parte I - Apresentao

Apresentao do Professor
Prof. Joo Henrique Kleinschmidt
Centro de Engenharia, Modelagem e Cincias Sociais Aplicadas (CECS)

E-mail: joao.kleinschmidt@ufabc.edu.br Web http://professor.ufabc.edu.br/~joao.kleinschmidt

Regras de Conduta
Os alunos sero considerados adultos:

Entrar e sair da sala frequentemente no permitido Chegar no final da aula ser desencorajado Durante as explicaes recomenda-se o silncio

Esperam-se iniciativa e responsabilidade na execuo das tarefas Presena nas Aulas Ser controlada com lista de presena Espera-se uma presena em pelo menos 75% das aulas, incluindo as datas das provas

Composio do Conceito Final

Avaliao:

1a Prova: 35%
2a. Prova : 35% Trabalho em Grupo: 15% Atividades: 15% Prova Substitutiva: toda matria para quem perder P1 ou P2

Materiais das aulas:

http://professor.ufabc.edu.br/~joao.kleinschmidt

*alunos com mais de 90% de presena e que entregarem todas as atividades e trabalhos no prazo estabelecido ganham um ponto (10%) na nota

Clculo do Conceito Final

Relao Nota Conceito

9-10 = A 7-9 = B 6-7 = C 5-6 = D <5 = F

Eixo da Informao
Os avanos da cincia e da tecnologia esto multiplicando as nossas capacidades de coletar, tratar, gerar e utilizar informaes, levando-as a sucessivos patamares nunca antes alcanados, trazendo assim novas oportunidades, novas questes sociais e mais avanos na cincia e tecnologia, em um ciclo que se quer virtuoso. O Eixo da Informao tem como objetivo apresentar os fundamentos desses processos, enfocando-os sob diversas perspectivas que se revelam teis para compreend-los e discuti-los.
6 eixos: www.ufabc.edu.br -> Sobre a UFABC -> Projeto Pedaggico

 Fundamentos e processos

Eixo da Informao

Natureza da Informao: o que Informao, como representada e armazenada (registrada)

BC 0504 Natureza da Informao

Transformao da Informao: manipulao e tratamento da Informao, tanto sob aspecto humano como por computadores (processada)
BC 0505 Processamento da Informao

Comunicao da Informao: transmisso e distribuio da Informao e o seu impacto na sociedade

BC 0506 Comunicao e Redes
e outras disciplinas da Engenharia de Informao

Eixo da Informao

(cont.)

Vises e Perspectivas Terica: permite uma viso conceitual e abstrata dos fundamentos e processos da Informao
Tecnolgica: apresenta uma dimenso fsica e concreta da Informao, e as tecnologias que do suporte aos Sistemas de Informao Humana e Social: processamento humano da Informao e seus atributos (cognio, inteligncia), a viso utilitria e as conseqncias sociais da Informao

Vises e Perspectivas
Abstrata Fundamentos e Processos (conceitual) Terica
O Bit Entropia Analog.X Digital Capac. Shannon T. Informao

Concreta (suporte) Tecnolgica

Smbolos e Sinais Rudo
Proc. Estocsticos Ordem e Desordem

Social (utilizao) Humana

Sentidos/percepo Cognio e Ao Inteligncia Conscincia Memria

Natureza da Informao

Caos

T. Computao Transformao da Informao

Org. Computadores Compresso Dados

Proc. Sinais
Transformadas

Criptografia Complexidade
T. Comunicaes Capacidade canal Canal gaussiano Codificao

Programao Minerao Dados Traduo

Sist. Comunicaes Redes e Trfego Eletrnica/Fotnica Novas Tecnologias Amb. comunicao

Aprendizado Crebro Conhecimento Razo/Emoo Redes Sociais

Linguagem Humana

Comunicao da Informao

Informao gentica

Internet Soc. Informao Econ. nformao Regulao/tica

Eixo da Informao

(cont.)

Tpicos
Origens da Teoria da Informao Codificao da Informao Entropia e Medidas de Informao Converso A/D e D/A Armazenamento da Informao DNA, RNA e Protenas Biologia de Sistemas Sistemas Neurais Percepo e Cognio Linguagem e Significados Lingustica e Semitica Informao quntica

Bibliografia
Bibliografia Bsica
o

Notas de Aulas do Curso

Bibliografia Complementar
o o o o

Decoding the Universe, Charles Seife (2006), Penguin Books. Information and Its Role in Nature, J. G. Roederer. An Introduction to Information theory. Symbols, signals and Noise, John R. Pierce Dover. G:\MIT COURSE\6-050JSpring2008\OcwWeb\Electrical-Engineering-and-ComputerScience\6-050JSpring-2008\Syllabus\index.htm

Parte 0

 Por que a histria do homem um livro de 200 pginas com 196 pginas em branco.

O homo sapiens (o home atual) tem vivido na terra faz 200.000 anos. Contudo somente possumos informao sobre a raa humana dos ltimos 4.000 anos.

 Com exceo dos ltimos 10000 anos, condies climticas extremas ao longo dos ltimos 200000 anos (ver grfico) impediram que qualquer produto da inteligncia humana persistisse.
O ser humano foi praticamente exterminado em vrios momentos da histria.

 Se vocs acreditassem que so o ltimo grupo humano na faz da terra o que vocs fariam?

Cavernas de Altamira

Parte 1

Os pilares da teoria da informao

Os estudos de criptografia desenvolvidos na 2 Guerra mundial Os estudos de termodinmica As tecnologias de transmisso de informao (comeando pelo cdigo Morse e pela telefonia)

Criptografia na II Guerra

Mensagem japonesa: Atacaremos AF

Criptografia e cdigo J-25 decifrado pelos americanos Somente faltava saber qual das ilhas do Pacfico era AF.

A ilha Midway est sem gua

AF est sem agua

Te peguei!!
Comandante Rochesfort Almirante Yamamoto

O valor de um pouquinho de informao

Os americanos aguardaram o ataque dos japoneses na ilha Midway. Quatro porta avies japoneses foram afundados. Saber que AF era Midway reverteu o curso da guerra no Pacfico.

Parte 2

II Guerra na Europa U-boats

Enigma
O alemo Arthur Scherbius inventou a mquina para cifrar mensagens Enigma 3x10^114 configuraes diferentes. Cada tomo do universo tentando um trilho de combinaes por segundo desde o incio do universo

Turing e seus colegas de Bletchley Park (antiga instalao militar secreta) quebraram o cdigo do Enigma
Descobriram que a mquina Enigma nunca deixava nenhuma letra sem trocar. Era provvel que uma informao frequentemente transmitida tivesse a ver com o clima: O tempo est bom hoje A quebra do cdigo permitiu a destruio dos submarinos alemes U-boats e o fim da guerra.

Turing desenvolveu tambm o primeiro computador terico:

A Mquina de Turing

Consistia numa mquina que se mexia por uma fita sem fim. A mquina lia, escrevia, e apagava uns e zeros na fita. A mquina de Turing possua computabilidade universal ou seja poderia simular a lgica de qualquer algoritmo computacional.
Demonstrao com Robomind: http://www.youtube.com/watch?v=0KDz5y0Uam4 Rob trabalha como uma mquina de turing adicionando dois nmeros binrios de 8 bits: 186 + 230.

A Criptografia aliada fez terminar a II Guerra e comeou a era da informao

Turing contribuiu para a II Guerra Mundial acabar Mas suicidou-se por causa da discriminao aos homossexuais.

Parte 3

A termodinmica
(O conceito de entropia nasceu nos estudos de termodinmica e depois foi aplicado para medir informao)

Boltzmann o pai da termodinmica e (indiretamente) da teoria da informao

Inscrio no tmulo de Boltzmann Veremos que a entropia termodinmica e a entropia da teoria da informao esto relacionadas.

Lavoisier
Descreveu os elementos qumicos e a lei de conservao da matria Mas errou quando falou do elemento chamado calrico. Grande pesquisador.

Benjamim Thompsom
A viuva de Lavoisier casou com Benjamim Thomsom Thomson descobriu a equivalncia de trabalho e calor.

Revoluo Industrial
1769 Watt inventou mquina de vapor. Pesquisa para aumentar eficincia das mquinas.

Mquina trmica de Carnot

Exemplo: Motor Stirling

Mquina trmica a mais eficiente possvel.

(http://pt.wikipedia.org/wiki/Motor_Stirling)

Mquinas trmicas e fontes de calor

Fonte fria Q2
Fonte fria Q2

Mquina trmica

Trabalho

Trabalho

Fonte de calor

Q1
Fonte quente

Q1 Fonte quente

Mquinas trmicas e fontes de calor

Fonte fria Q2
Fonte fria Q2

Mquina trmica

Trabalho

Trabalho

Fonte de calor

Q1
Fonte quente

Q1 Fonte quente

A mquina trmica leva o sistema uma maior uniformidade na posio e velocidade dos tomos ou seja para uma maior entropia termodinmica.

Q1 Fonte quente

Mquina trmica W

Q2 Fonte fria

Exemplo:

Equilbrio termodinmico

>equilbrio termodinmico

>entropia

Entropia 1

<

Entropia 2

http://www.7stones.com/Homepage/Publisher/entropy.html

Parte 4

Mquinas trmicas e fontes de calor

Fonte fria Q2
Fonte fria Q2

Mquina trmica

Trabalho

Trabalho

Fonte de calor

Q1
Fonte quente

Q1 Fonte quente

A fonte de calor leva o sistema uma menor uniformidade na posio e velocidade dos tomos ou seja para uma menor entropia.

Exemplo:

W
Q1 Q2 Mquina trmica

Fonte fria

Fonte quente

 Exemplo: Jidoohanbaiki (

Fonte quente Q2

Trabalho

Fonte de calor

Q1 Fonte fria

Parte 5

Rudolf Claussius
impossvel deter a tendncia ao equilbrio termodinmico do universo (1860) Em outras palavras A entropia sempre tende a aumentar

Impossvel parar a tendncia ao equilbrio termodinmico

Fonte fria
Q2 Fonte de calor

Q2

Q2

Mquina trmica

Trabalho

Mquina trmica

Trabalho

Q1

Q1

Q1
Fonte quente

Entropia do universo cresce

Metfora da sinuca.

O tempo evolui na mesma direo da entropia

Parte 6

Rudolf Claussius
impossvel deter a tendncia ao equilbrio termodinmico do universo (1860) No existe a supermquina

Mquina perptua (supermquina)

No existe o perpetuum mobile

2 lei da termodinmica
Entropia mede o equilbrio termodinmico Maior equilbrio termodinmico equivale a maior entropia. A 2 lei da termodinmica estabelece que "A quantidade de entropia de qualquer sistema isolado termodinamicamente tende a incrementar-se com o tempo, at alcanar um valor mximo"

Entropia = desordem?
O conceito de ordem ou desordem subjetivo. Um conceito subjetivo no pode ser usado como medida

Parte 7

Entropia do universo cresce

A metfora do tabuleiro de sinuca nos ajudar a compreender que o motivo do incremento da entropia simplesmente um motivo estatstico.

S3=kLog(6)

S2=kLog(4)

S4=kLog(4)

S1=kLog(1)

S5=kLog(1)

1/16

4/16

6/16

4/16

1/16

Com 1024 bolas de sinuca a situao seria a seguinte

Probabilidade de termos todas as bolas a esquerda = 1/10290

 Como vemos a entropia cresce simplesmente por um simples motivo estatstico, porque o estado mais provvel de um sistema ao longo do tempo aquele cuja entropia maior.

S=k log(W)
Inscrio na lpide de Boltzmann W o nmero de microestados correspondentes a um determinado macroestado. Um exemplo de macroestado: tabuleiro de sinuca com duas bolas a esquerda e duas a direita. Microestado: Cada uma das seis possveis configuraes do anterior macroestado.

Parte 8

Como medir a entropia termodinmica

S=k log(W)
Boltzmann no especificou a base do logaritmo. Contudo a frmula independe da base porque:
S k log a W log b W k k log b W log b a log b a k log b W
( Se usarmos logaritmos neperianos K= 1.3806504(24) 1023 Joules/OK)

Clculo de entropia (exemplo da sinuca)

Supondo um tabuleiro de sinuca com quatro bolas de cores diferentes. O tabuleiro est dividido em duas partes: a parte direita e a parte esquerda. Existem 16 possveis formas de colocar as bolas

E E E E E E E E D D D D D D D D

E E E E D D D D E E E E D D D D

E E D D E E D D E E D D E E D D

E D E D E D E D E D E D E D E D

0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1

0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1

0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1

0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1

S3=kLog(6)

S2=kLog(4)

S4=kLog(4)

S1=kLog(1)

S5=kLog(1)

1/16

4/16

6/16

4/16

1/16

 Se quisermos calcular a entropia de todo o conjunto de possveis combinaes (16) e decidirmos utilizar 2 na base do logaritmo da frmula de Boltzman, a entropia termodinmica seria:

S k log 2 W k log 2 16 k 4

 Se quisermos calcular a entropia do arranjo onde tm duas bolas a direita e duas a esquerda (6 combinaes) :

S k log 2 W k log 2 6 log10 6 1,7918 k k k 2,585 log10 2 0,6931

Parte 9

Charada do diabo de Maxwell

Mazwell inventou uma charada para o Boltzmann resolver. Era chamada a charada do diabo de Maxwell

Charada do diabo de Maxwell

Maxwell apresentou esta charada para Boltzmann O diabo abria a comporta (sem atrito e por tanto sem exercer trabalho) para que as molculas mais rpidas e quentes (vermelhas) ficassem de um lado e as molculas mais frias e lentas (azuis) do outro. Assim a entropia diminui sem custo, e o sistema poderia acumular energia de graa, pudendo ser usado como um perpetuum mobile

Charada do diabo de Maxwell decifrada

Entropia inicial: E1

Entropia final: E2

Mesmo que o diabo no gaste energia para abrir a porta (porta sem atrito) preciso que gaste energia para arrecadar informao I sobre o estado dos tomos. Arrecadar informao no de graa.

Consideraes finais sobre informao, entropia e entropia termodinmica

Veremos que a informao no algo etreo mas algo que envolve um consumo de energia. O desafio do chamado diabo de Maxwell era criar um sistema que produzisse trabalho sem aumentar a entropia. Veremos que esta possibilidade no existe.

O poo duplo de Landauer

Este arranjo resolve a charada do diabo de Maxwell. Supondo um dispositivo rudimentar para armazenar um bit. Com uma pequena batida podemos mudar a posio da bola e mudar o bit armazenado. Na queda da bola a energia pode ser recuperada para ser utilizada na seguinte mudana do bit (como se fosse um freio regenerativo) Contudo se no soubermos a posio inicial da bola a energia da batida perdida. Para conhecer a posio da bola precisamos bater na bola mesmo que a batida seja no ar e a energia se disperse. Obter informao envolve dissipao da energia.

Tecnologias de transmisso de informao

Origem da moderna Teoria da Informao

Embora haja analogia matemtica da entropia da Informao com a entropia da Termodinmica e da Mecnica Estatstica, dizemos que a origem real da Teoria Moderna da Informao tem suas razes nas origens da comunicao eltrica

Origens com o telgrafo

1838: Samuel B. Morse trabalhando com Alfred Vail, o cdigo Morse como conhecemos hoje foi idealizado
Neste cdigo, letras do alfabeto so representadas por espaos, pontos e traos

Para transmisso em um circuito eltrico, espaos eram

representados por ausncia de corrente, pontos por corrente de curta durao e traos por correntes de longa durao

Vrias combinaes de pontos e traos eram associadas a cada

letra Ex.: letra E (que mais ocorre em textos em Ingls) era associada a um nico ponto

Cdigo Morse

Cdigo Morse e Teoria da Informao

Questo importante:
Uma outra associao entre os pontos, traos e espaos e as letras do alfabeto nos permitiria enviar textos em Ingls mais rpido pelo telgrafo?

Resposta:
Usando nossa moderna Teoria de Informao, encontramos que teramos, no mximo, um ganho de cerca de 15% sobre a velocidade de transmisso Isto mostra que Morse, intuitivamente, sabia o que estava fazendo, e atacou um assunto que est no centro da Teoria da Informao

Limitaes do telgrafo
Resumo das limitaes
Limitao associada a velocidade de emisso do sinal Interferncias (rudos) Dificuldade em distinguir entre muitos valores possveis de correntes Limitao na intensidade de correntes a serem utilizadas (para no destrurem o isolamento dos cabos)

Uma anlise matemtica mais precisa deste problema se tornou necessria

Contribuies a teoria da Informao

No sculo XIX, vrias pessoas contribuiram matematicamente para a teoria da Informao:
Lorde Kelvin (William Thomson) Alexander Graham Bell (inventor do telefone em 1875) Henri Poincar Oliver Heaviside Michael Pupin G. A. Campbell (ATTC)

Mas sem dvida alguma, a grande contribuio foi de Joseph Fourier

A contribuio de Fourier
Fourier baseou seus trabalhos na funo seno:

Demonstrou que toda funo (incluindo os sinais eltricos) poderiam ser decompostas numa soma de funes senos com diferentes amplitudes, fases e frequncias

Contribuies de Kolmogoroff e Wiener

Na dcada de 40, ambos independentemente, um na Rssia e outro nos EUA, resolveram o problema de como, a partir de um sinal desconhecido com rudo, estimar qual o melhor sinal correto sem a presena do rudo

E chegamos a Shannon
Portanto, quando Shannon publica seu trabalho em 1947, muito j se havia feito anteriormente De certa maneira, ele resumiu e trouxe mais conhecimento a todos estes problemas j estudados anteriormente

Claude E. Shannon (1916-2001), considerado o pai da Teoria da Informao, e seu livro publicado em 1949, Teoria Matemtica da Comunicao

Shannon
Em 1948, Shannon publica seu artigo A Mathematical Theory of Communication, publicado na forma de livro no ano seguinte Antes dele, trabalhos isolados caminhavam passo a passo em direo a uma teoria geral de comunicao Hoje em dia, Teoria da Comunicao (ou Teoria da Informao) uma rea imensa de pesquisa, e muitos livros e simpsios internacionais sobre este assunto so publicados e realizados

Teoria da Informao
Teoria da Informao uma teoria muito geral e que envolve muita matemtica A unidade fundamental, o bit, uma medida universal da quantidade de informao

Teoria da informao
Teoria da Informao nos permite:
Dizer quantos bits de informao podem ser enviados por segundo atravs de certos canais de comunicao denominados perfeitos ou imperfeitos Medir a taxa na qual uma fonte pode gerar informao Dizer como representar, ou codificar, mensagens de uma determinada fonte eficientemente para transmitir atravs de algum tipo de canal, e como podemos evitar erros nesta transmisso

Contribuio de Shannon
Mas podemos dizer que a grande contribuio da sua teoria foi responder as perguntas:
Como podemos codificar (em termos de sinais eltricos) uma mensagem a partir de uma fonte para poder transmiti-la o mais rpido possvel atravs de um canal que introduz rudos com certas caractersticas? O quo rpido podemos transmitir um tipo de mensagem atravs de um determinado canal sem erros?

Tudo isto que vimos faz parte do que chamamos de Teoria da Informao e veremos alguns tpicos introdutrios ao longo deste curso

Ateno!!!
Embora a Entropia da Teoria da Comunicao tenha uma analogia matemtica com a Entropia da Termodinmica, so conceitos diferentes, e usadas para medir quantidades completamente diferentes!

Entropia em Termodinmica
Entropia em Termodinmica uma medida da reversibilidade de um processo: se no h mudana no valor da entropia do sistema, o sistema reversvel. Mas a grande maioria dos fenmenos fsicos no so reversveis: nestes fenmenos, a entropia do sistema envolvido aumenta. Uma outra interpretao em Termodinmica nos permite dizer que quando a entropia de um sistema aumenta, diminui a energia disponvel neste sistema para ser transformada em trabalho. Uma outra interpretao em Mecnica Estatstica que o aumento da Entropia de um sistema significa um aumento da desordem deste sistema, num sentido de imprevisibilidade.

Entropia em Comunicao
Imaginem uma fonte de informao (por exemplo, um jogo de dado, sendo a informao o resultado do lanamento do dado). A pergunta natural seria: quantos bits seriam necessrios numa codificao ideal (a que permitiria usar a menor quantidade de bits possvel) para transmitir a informao de qualquer resultado possvel? A entropia da informao mediria este valor, ou seja, a quantidade mnima de informao possvel gerada por uma fonte. Quanto mais soubermos sobre a informao que vai ser gerada pela fonte, menor a sua entropia, e vice-versa.

Entropia em Comunicao

Portanto, entropia da informao est relacionada com a incerteza com que a informao vai ser gerada, e no com a quantidade de informao em si.