BC-0504 Natureza da Informao

Aulas 1 e 2

Uma pequena viagem a Histria da Teoria da Informao

Equipe de professores de Natureza da Informao Santo Andr Maio de 2010

Objetivos da Disciplina
Objetivos:
o

Apresentar os fundamentos sobre a origem e a natureza da Informao, e sobre como ela representada e armazenada.

Competncias: o Que o aluno seja capaz de compreender os conceitos fundamentais a respeito da origem e da natureza da Informao, e o que seja capaz tambm de entender os principais conceitos, tcnicas e tecnologias envolvidas nos processos de representao e armazenamento da Informao.
Parte I - Apresentao

Composio do Conceito Final

Avaliao: 1a Prova: 20% , 13 de Outubro 2a. Prova : 30%, 6 de Dezembro Prova Substitutiva: toda matria, 13 de Dezembro Trabalho em Grupo (de 5 para 7 alunos) a ser apresentado: 30% (Dia 8 de Dezembro) Materiais aulas: Encontram-se entrando no gmail com o nome materiais.naturezadainformacao@gmail.com com a senha naturezadainformacao . Atividade semanal: 20%. Deve ser entregue antes de uma semana pela internet em: trabalhos.naturezadainformacao@gmail.com Entrega da atividade em sete dias ou menos e premiada com 1 ponto a mais em cada atividade. Assistncia a todas as aulas premiada com um ponto a mais na nota final.

Tarefas
Procure algum outro exemplo que ilustre os conceitos explicados na parte da aula cujo nmero coincida com o quarto algarismo comeando pelo final do seu nmero de matrcula. Ex: 3457263 Elabore uma questo sobre essa parte da aula.

Eixo da Informao
Os avanos da cincia e da tecnologia esto multiplicando as nossas capacidades de coletar, tratar, gerar e utilizar informaes, levando-as a sucessivos patamares nunca antes alcanados, trazendo assim novas oportunidades, novas questes sociais e mais avanos na cincia e tecnologia, em um ciclo que se quer virtuoso. O Eixo da Informao tem como objetivo apresentar os fundamentos desses processos, enfocando-os sob diversas perspectivas que se revelam teis para compreend-los e discutilos.

Eixo da Informao
Fundamentos e processos:
Natureza da Informao: o que Informao, como representada e armazenada (registrada) Transformao da Informao: manipulao e tratamento da Informao, tanto sob aspecto humano como por computadores (processamento) Comunicao da Informao: transmisso e distribuio da Informao e o seu impacto

Vises e Perspectivas Fundamentos e Processos Natureza da Informao

Amostras: 1
Abstrata (conceitual) Terica
O Bit Entropia Analog.X Digital Capac. Shannon T. Informao

Concreta (suporte) Tecnologia

Smbolos e Sinais Rudo
Proc. Estocsticos Ordem e Desordem

Social (utilizao) Humana

Sentidos/percepo Cognio e Ao Inteligncia Conscincia Memria

Caos

T. Computao Transformao da Informao

Org. Computadores Compresso Dados

Proc. Sinais
Transformadas

Criptografia Complexidade

Programao Minerao Dados Traduo

Sist. Comunicaes Redes e Trfego Eletrnica/Fotnica Novas Tecnologias Amb. comunicao

Aprendizado Crebro Conhecimento Razo/Emoo Redes Sociais

Linguagem Humana

Comunicao da Informao

T. Comunicaes Capacidade canal Canal gaussiano Codificao

Informao gentica

Internet Soc. Informao Econ. Informao Regulao/tica

Amostras: 2

Tpicos
Origens da Teoria da Informao Codificao da Informao Entropia e Medidas de Informao Converso A/D e D/A Armazenamento da Informao DNA, RNA e Protenas Biologia de Sistemas Sistemas Neurais Percepo e Cognio Linguagem e Significados Lingstica e Semitica Informao quntica

Bibliografia
Bibliografia Bsica
o

Notas de Aulas do Curso

Bibliografia Complementar
o

o o

G:\MIT COURSE\6-050JSpring2008\OcwWeb\Electrical-Engineering-and-ComputerScience\6-050JSpring-2008\Syllabus\index.htm Decoding the Universe. Charles Seife (2006) Penguin Books. An Introduction to Information theory. Symbols, signals and Noise. John R. Pierce. Dover.

Parte 0

 Por que a histria do homem um livro de 200 pginas com 196 pginas em branco.

O homo sapiens (o home atual) tem vivido na terra faz 200.000 anos.
Contudo somente possumos informao sobre a raa humana dos ltimos 4.000 anos.

Com exceo dos ltimos 10000 anos, condies climticas extremas ao longo dos ltimos 200000 anos (ver grfico) impediram que qualquer produto da inteligncia humana persistisse. O ser humano foi praticamente exterminado em vrios momentos da histria.

 Se vocs acreditassem que so o ltimo grupo humano na faz da terra o que vocs fariam?

Tal vez deixar sua marca em locais inacessveis

Linhas de Nazca

Cavernas de Altamira

Ou repetir muitas vezes a mesma mensagem...(redundncia informativa)

Selos sumrios em argila (2500 antes de Cristo)

Parte 1

Os pilares da teoria da informao

Os estudos de criptografia desenvolvidos na 2 Guerra mundial Os estudos de termodinmica As tecnologias de transmisso de informao (comeando pelo cdigo Morse e pela telefonia)

Criptografia na II Guerra

Mensagem japons: Atacaremos AF

Criptografia e cdigo J-25 decifrado pelos americanos Somente faltava saber qual das ilhas do Pacfico era AF.

A ilha Midway est sem gua

AF est sem agua

Lhe peguei!!
Comandante Rochester Almirante Yamamoto

O valor de um pouquinho de informao

Os americanos aguardaram a chegada dos japoneses na ilha Midway. Quatro porta avies japoneses foram afundados. Saber que AF era Midway reverteu o curso da guerra no Pacfico.

O valor de um pouquinho de informao

Saber que AF era Midway reverteu o curso da guerra no Pacfico. Contudo uma informao errada (Os iraquianos tem armas de destruio em massa levou guerra de Iraq) A informao errada de que os vietnamitas estavam atacando um navio americano levou a guerra do Vietnam. A informao errada de que um navio americano foi sabotado pelos espanhis levou a guerra de Cuba Uma informao errada levou a Einstein a apoiar a construo da bomba atmica.

Parte 2

II Guerra na Europa U-boats

Enigma
O alemo Arthur Scherbius inventou a mquina para cifrar mensagens Enigma 3x10^114 configuraes diferentes. Cada tomo do universo tentando um trilho de combinaes por segundo desde o inicio do universo

Turing e seus colegas de Blethley quebraram o cdigo do Enigma

Descobriram que a mquina Enigma nunca deixava nenhuma letra sem trocar. Era provvel que uma informao freqentemente transmitida tivesse a ver com climatologia: O tempo est bom hoje A quebra do cdigo permitiu a destruio dos submarinos alemes U-boats e o fim da guerra.

Turing desenvolveu tambm o primeiro computador terico:

A Mquina de Turing

Consistia numa mquina que se mexia por uma fita sem fim. A mquina lia, escrevia, e apagava uns e zeros na fita. A mquina de Turing possua computabilidade universal ou seja poderia simular a a lgica de qualquer algoritmo computacional.

A Criptografia aliada fez terminar a II Guerra e comeou a era da informao

Turing contribuiu para a II Guerra Mundial acabar Mas suicidou-se por causa da discriminao aos homosexuais.

Parte 3

A termodinmica
(O conceito de entropia nasceu nos estudos de termodinmica e depois foi aplicado para medir informao)

Boltzmann o pai da termodinmica e (indiretamente) da teoria da informao

Inscrio no tmulo de Boltzmann Veremos que a entropia termodinmica e a entropia da teoria da informao esto relacionadas.

Lavoisier
Descreveu os elementos qumicos e a lei de conservao da matria Mas errou quando falou do elemento chamado calrico. Grande pesquisador.

Benjamim Thompsom
A viuva de Lavoisier casou com Benjamim Thomsom Thomson descobriu a equivalncia de trabalho e calor.

Revoluo Industrial
1769 Watt inventou mquina de vapor. Pesquisa para aumentar eficincia das mquinas.

Mquina trmica de Carnot

A mquina trmica leva o sistema uma maior uniformidade na posio e Velocidade dos tomos ou seja para uma maior entropia termodinmica.

Q1 Fonte quente

Mquina trmica W

Q2 Fonte fria

Exemplo:

Mquinas trmicas e fontes de calor

Fonte fria Q2 Fonte fria Q2

Mquina trmica

Trabalho

Trabalho

Fonte de calor

Q1 Fonte quente

Q1
Fonte quente

Mquinas trmicas e fontes de calor

Fonte fria Q2 Fonte fria Q2

Mquina trmica

Trabalho

Trabalho

Fonte de calor

Q1 Fonte quente

Q1
Fonte quente

Equilbrio termodinmico

>equilbrio termodinmico

>entropia

Entropia 1

<

Entropia 2

http://www.7stones.com/Homepage/Publisher/entropy.html

Parte 4

Mquinas trmicas e fontes de calor

Fonte fria Q2 Fonte fria Q2

Mquina trmica

Trabalho

Trabalho

Fonte de calor

Q1 Fonte quente

Q1
Fonte quente

A fonte de calor leva o sistema uma menor uniformidade na posio e velocidade dos tomos ou seja para uma menor entropia.

Exemplo:

W Q1 Fonte fria Mquina trmica Q2 Fonte quente

 Exemplo: Jidoohanbaiki (

Fonte quente Q2

Trabalho

Fonte de calor

Q1 Fonte fria

Parte 5

Rudolf Claussius
impossvel deter a tendncia ao equilbrio termodinmico do universo (1860) Em outras palavras A entropia sempre tende a aumentar

Impossvel parar a tendncia ao equilbrio termodinmico

Fonte fria Q2 Fonte de calor Q2 Q2

Mquina trmica

Trabalho

Mquina trmica

Trabalho

Q1

Q1

Q1 Fonte quente

Entropia do universo cresce

Metfora da sinuca.

O tempo evolui na mesma direo da entropia

Parte 6

Rudolf Claussius
impossvel deter a tendncia ao equilbrio termodinmico do universo (1860) No existe a supermquina

Mquina perptua (supermquina)

No existe o perpetuum mobile

2 ley da termodinmica
Entropia mede o equilbrio termodinmico Maior equilbrio termodinmico equivale a maior entropia. A 2 lei da termodinmica estabelece que "A quantidade de entropia de qualquer sistema isolado termodinamicamente tende a incrementar-se com o tempo, at alcanar um valor mximo"

Entropia = desordem?
O conceito de ordem ou desordem subjetivo. Um conceito subjetivo no pode ser usado como medida

Parte 7

Entropia do universo cresce

A metfora do tabuleiro de sinuca nos ajudar a compreender que o motivo do incremento da entropia simplesmente um motivo estatstico.

S3=kLog(6)

S2=kLog(4)

S4=kLog(4)

S1=kLog(1)

S5=kLog(1)

1/16

4/16

6/16

4/16

1/16

Com 1024 bolas de sinuca a situao seria a seguinte

Probabilidade de termos todas as bolas a esquerda = 1/10290

 Como vemos a entropia cresce simplesmente por um simples motivo estatstico, porque o estado mais provvel de um sistema ao longo do tempo aquele cuja entropia maior.

S=k log(W)
Inscrio na lpide de Boltzmann W o nmero de microestados correspondentes a um determinado macroestado. Um exemplo de macroestado: tabuleiro de sinuca com duas bolas a esquerda e duas a direita. Microestado: Cada uma das seis possveis configuraes do anterior macroestado.

Parte 8

Como medir a entropia termodinmica

S=k log(W)
Boltzmann no especificou a base do logaritmo. Contudo a frmula independe da base porque:
S k log a W log b W k k log b W log b a log b a k log b W
( Se usarmos logaritmos neperianos K= 1.3806504(24) 1023 Joules/OK)

Clculo de entropia (exemplo da sinuca)

Supnhamos um tabuleiro de sinuca com quatro bolas de cores diferentes. O tabuleiro est dividido em duas partes: a parte direita e a parte esquerda. Existem 16 possveis formas de colocar as bolas

E E E E E E E E D D D D D D D D

E E E E D D D D E E E E D D D D

E E D D E E D D E E D D E E D D

E D E D E D E D E D E D E D E D

0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1

0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1

0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1

0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1

S3=kLog(6)

S2=kLog(4)

S4=kLog(4)

S1=kLog(1)

S5=kLog(1)

1/16

4/16

6/16

4/16

1/16

 Se quisermos calcular a entropia de todo o conjunto de possveis combinaes (16) e decidirmos utilizar 2 na base do logaritmo da frmula de Boltzman, a entropia termodinmica seria:

S k log 2 W k log 2 6 log10 6 1,7918 k 2,585 log10 2 0,6931

 Se quisermos calcular a entropia do arranjo onde tm duas bolas a direita e duas a esquerda (6 combinaes) :

S k log 2 W k log 2 6 log10 6 1,7918 k 2,585 log10 2 0,6931

Parte 9

Charada do diabo de Maxwell

Mazwell inventou uma charada para o Boltzmann resolver. Era chamada a charada do diabo de Maxwell

Charada do diabo de Maxwell

Maxwell apresentou esta charada para Boltzmann O diabo abria a comporta (sem atrito e por tanto sem exercer trabalho) para que as molculas mais rpidas e quentes (vermelhas) ficassem de um lado e as molculas mais frias e lentas (azuis) do outro. Assim a entropia diminui sem custo, e o sistema poderia acumular energia de graa, pudendo ser usado como um perpetuum mobile

Charada do diabo de Maxwell decifrada

Entropia inicial: E1

Entropia final: E2

Mesmo que o diabo no gaste energia para abrir a porta (porta sem atrito) preciso que gaste energia para arrecadar informao I sobre o estado dos tomos. Arrecadar informao no de graa.

Consideraes finais sobre informao entropia e entropia termodinmica

Veremos que a informao no algo etreo mas algo que envolve um consumo de energia. O desafio do chamado diabo de Maxwell era criar um sistema que produzisse trabalho sem aumentar a entropia. Veremos que esta possibilidade no existe.

O poo duplo de Landauer

Este arranjo resolve a charada di diabo de Maxwell. Supnhamos um dispositivo rudimentar para armazenar um bit. Com uma pequena batida podemos mudar a posio da bola e mudar o bit armazenado. Na queda da bola a energia pode ser recuperada para ser utilizada na seguinte mudana do bit (como se fosse um freio regenerativo) Contudo se no soubermos a posio inicial da bola a energia da batida perdida. Para conhecer a posio da bola precisamos bater na bola mesmo que a batida seja no ar e a energia se disperse. Obter informao envolve dissipao da energia.