Teoria Matematica Informacao

ECONOMIA DA INFORMAO: NOTAS DE AULA
2/3/2009
TEORIA MATEMTICA DA INFORMAO

Prof. Gicomo Balbinotto Neto UFRGS ECONOMIA DA INFORMAO
Informao e Probabilidade
Um cachorro mordeu um homem. Nenhuma surpresa. Muito comum. No informativo. Um homem mordeu um cachorro Muito incomum; Raramente acontece; Vale uma manchete ! Informao est inversamente relacionada a probabilidade de ocorrncia de um evento.
2

Information theory is a branch of mathematical statistics and probability theory. Thus it can and has been applied in many fields, including economics, that rely on statistical analysis. Esfandiar Masssoumi (1988)
3
PROF. GICOMO BALBINOTTO NETO [UFRGS]
2/3/2009

The mathematical theory of information, or communication theory, provides a measure for how much information is to be associated with given state of affairs and, in turn, a measure for how much of this information is transmited to to, and thus avaliable at, other points. The theory is purely quantitative. It deals with amounts of information not, except indirectly and by implication, with the information that comes in those amounts. Fred Dretske (1999, p.3)
4

Segundo Martignon (2001, p.7576-7577), o vigoroso desenvolvimento das comunicaes no sculo XX (rdios (rdios, telefones telefones, televises e computadores que so mecanismos que armazenam, processam e transmitem informaes) criou a necessidade de uma bemfundamentada teoria e uma terminologia rigorosa que permitisse a discusso sobre a informao com preciso cientfica.
5

Segundo Colin Cherry (1974, p.261) a teoria da comunicao surgiu primeiramente em telegrafia, com a necessidade de especificar com preciso a capacidade dos vrios sistemas de telecomunicaes (de comunicar informao). A primeira tentativa de formular matematicamente uma medida, como veremos a seguir, foi feita por por Harthey (1928).
2/3/2009

A teoria matemtica da informao no se interessa pelo contedo ou a finalidade da informao. A pergunta bsica desta teoria a seguinte: Quanta informao transmitida numa mensagem?

A informao s pode ser recebida onde exista dvida ou incerteza sobre a ocorrncia de um evento. Mas dvida e incerteza implica na existncia de alternativas. [cf. Colin Cherry (1974, p.261-262)]
Postulado Bsico
Um dos postulados bsicos da teoria matemtica da informao que a informao pode ser tratada como sendo uma medida como uma quantidade fsica, tal como a densidade ou a massa.
2/3/2009
Postulado Bsico
A teoria da matemtica informao considera a informao como sendo somente aqueles simbolos que so incertos para o receptor. Shannon (1948) tornou claro que a incerteza a verdadeira mercadoria da comunicao.
10
Por que a teoria matemtica da informao importante?

Graas, em grande medida, aos insights os sistemas digitais comearam a dominar o mundo da comunicao e do processamento de informaes.

Modems Satlites de comunicaes; Armazenamento de dados; Comunicaes espaciais; Comunicao sem fio
11
Por que a teoria matemtica da informao importante?

Claude Shannon (1948) inspirou tambm uma exploso de maneiras criativas de compactar informao - bits (extraindo somente a informao real, codificandoa para envia-la atravs de um canal e intertetando d este sinal l numa d data ou l local l posteior com qualquer nvel desejado da acurcia. Com o ingight de Shannon (1948) em mente, os engenheiros continuaram a desenvolver modos de maximizar a transmisso de informaes o que resultou na inveno do transistor.
12
2/3/2009
TEORIA MATEMTICA DA INFORMAO - HISTRICO

Rudolf Clausius introduz pela primeira vez a idia de entropia para descrever como podemos transferir calor de um objeto frio para um objeto quente sem uso externo de energia q g p para fazer a transferncia. A quantidade de entropia permite determinar a eficincia mxima dos mquinas e excluir a noo de mquinas perpetuas.
13
Entropia: definio
Rudolf CLAUSIUS (1865): Definiode entropia:
S = Q/T
Segunda Lei da Termodinmica: a entropia no pode diminuir ao longo do tempo.
14

Ludwing von Boltzmann estabeleceu uma nova definio de entropia quando estudava as propriedades estatsticas de uma grande coleo de molculas de gs. De acordo com ele, a entropia de um gs o montante de informao que perdemos sobre suas propriedades microscpicas. Quanto maior o nmero de estados microscpicos, maior a entropia.
15
2/3/2009
Termodinmica
Ludwig BOLTZMAN 1872: Kinetic theory 1880: Interpretao estatstica da entropia:desorgem no espao da energia.
16

John von Newmann derivou uma expresso para a entropia em ftons e todas as outras partculas que obedeciam a regras peculiares da mecnica quntica at a dcada de 1970 a expresso desenvolvida por von Neumann no tinha significado em termos de informao.
17
Estrutura von Neumann

Representao binria-universalidade da informao; Unidade aritimtica-lgica: Operadores: Circutos lgicos-universalidade no tratamento da informao. Unidade de controle: Interpreta as instrues e manda excecuta-las. Unidade de memria: Abriga os dados e o programa. Unidade de entrada e Unidade de sada.
18
2/3/2009

A.S. Holevo & Lev Levitin disseram que o valor do quantum da entropia nos daria o limite superior para quanta informao ns poderamos recuperar de uma partcula quntica ou de uma coleo delas. A teoria quntica da informao, procura aplicar os conceitos e da fsica quntica ao estudo da informao.
19

Harry Nyquist (1889-1976) Certain Factors Affecting Telefraph Speed (1924) demonstrou a capacidade mxima de um canal fsico. Ele formulou a lei de que, para transmitir sinais telegrficos numa velocidade, necessrio termos uma determinada amplitude e banda definida. Esta lei ser expressa de forma mais geral em 1928 por Hartley.
20

R. Fisher (1925, 1935) teoria da estimao, primeira vez que usada a expresso - quantidade de informao. informao [cf. Shunlong Luo, 2002, Foundations of Physics, v. 32]
http://encyclopedia.thefreedictionary.com/Fisher%20information
21
2/3/2009
R. A. Fisher (1935)
Foi que usou pela primeira vez a expresso quantidade de informao no sentido de informao mtrica, medida esta propiciada pela realizao de novas medies e que permitiria avaliar o acrscimo de preciso com que se pode calcular um parmetro. parmetro Fisher (1935) demonstrou que, no caso de uma populao normal, a quantidade de informao proporcionada por uma amostra se reduz recproca da varincia, isto :
I=1/
22

Ralph Vinton Lyon Hartley (1928) Transmition of Information definiu a medida de informao, o logaritmo o nmero de possveis seqncias de smbolos para o uso na engenharia de comunicaes. Hartley (1928) mostrou que, para transmitir uma dada quantidade de informao, necessrio termos um produto definido em termos de (largura da faixa x tempo).
23
Ralph Vinton Lyon Hartley (1928)

Hartley (1928) [Bell System Tech Journal, v. 7: 535-563] assumiu que a informao contida em uma mensagem dada pelo logaritmo do nmero possveis seqncias q de smbolos q que p podiam de p ser selecionados. A implicao deste fato que o crescimento da informao dado pelo aumento da quantidade de smbolos escolhidos e por sua variedade, sendo que, quanto mais smbolos so escolhidos e diversificados, mais informao obtida.
24
2/3/2009
Ralph Vinton Lyon Hartley (1928)

A Medida de Informao de Hartley (1928) Quantos simbolos binrios so necessrios para identificar o valor de uma varivel binria L?
I (X) = log
b
L
b=2 , I(X) = 2 (I(X)= 3 I (X) = 2, 58
25
Exemplos: L=4,
L = 8, b =2, L = 6, b=2,

Claude Shannon (1938) tese de mestrado (11 pginas) no qual teve a idia pioneira de reduzir o contedo da informao a seqncias de 0 e 1 e trata-la segundo as regras da lgebra de Boole. Cria-se a eletrnica digital. .
26

Norbert Wierner (1946) Cybernetics. Foi definida como a cincia do controle e da comunicao em animais, seres humanos, mquinas e organizaes. A Cibernetica influenciou a teoria da informao, informao a qual, qual est preocupada com a medio do fluxo de informao e o controle dos erros numa transmisso.
27
2/3/2009

Claude Shannon e Warren Weaver (1948) Mathematical Theory of Information
28

Henry Theil (1957) Economics and Information Theory estudo sobre o valor da informao e aplicao sobre ndices de desigualdade na distribuio de renda.(ndice de Theil). Quantum information na quantum information, as alternativas so os diferentes estados de um sistema.
29
TEORIA MATEMTICA DA INFORMAO - OBJETIVO

Qual o objetivo da teoria matemtica da informao? Ela procura medir a quantidade de informao que uma mensagem fidedigna pode transmitir. Ela procura medir qual a quantidade de informao contida em uma mensagem. Ela no uma teoria semntica.
30
10
2/3/2009
The word information, in this theory, is used in a special sense that must not be confused with its ordinary usage usage. In particular particular, information must not be confused with meaning. Shannon & Weaver (1949)

A teoria matemtica da informao trata dos aspectos referentes transmisso da mensagem, principalmente a sua eficincia. eficincia No se cogita analisar o contedo emitido pela fonte, que se supe ser, in limine, perfeitamente coerente e satisfatrio, tendo em vista os fins a que se destina.
32
TEORIA MATEMTICA DA INFORMAO O QUE INFORMAO?
Informao qualquer coisa que reduz a incerteza, a indeterminao sobre um evento ou sobre uma coisa. coisa Assim, a teoria matemtica da informao foi desenvolvida como sendo uma teoria objetiva de probabilidade.
33
11
2/3/2009
Qunatificando a Informao
H(X)
Incerteza em X quando Y conhecido.
H(X,Y)
H(Y)
H(X|Y) H(X|Y) = H(X,Y)-H(Y) = EYH(X|Y= y)
I(X;Y)
H(Y|X) ( | )
Informao aquilo que reduz a incerteza.

I(X;Y) = H(X) H(X|Y) = H(X)+H(Y)- H(X,Y)
34
TEORIA MATEMTICA DA INFORMAO: O QUE INFORMAO? Information is the ability to choose reliably between alternatives. Benjamin Schumacher (fsico) Kenyon College
35
TEORIA MATEMTICA DA INFORMAO O QUE INFORMAO?

Segundo Fred Dretske (1999, p.4) a teoria da informao busca identificar o montante de informao associado, ou gerado pela ocorrncia de um evento ou a realizao de uma estado de coisas com a reduo na incerteza incerteza, a eliminao de possibilidades, representada por aquele evento ou estado de coisas.
36
12
2/3/2009
TEORIA MATEMTICA DA INFORMAO: O QUE INFORMAO? Quando um conjunto de possibilidades reduzido, temos que o montante de informaes associado com este resultado uma funo de quantas possibilidades foram eliminadas para se chegar a uma determinado resultado e fazer a escolha.
37
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) Shannon (1948) desenvolveu a teoria da informao e transmisso de sinais digitais, baseados em seqncias de zero e um. Isto lhe permitiu definir o problema fundamental da comunicao como o de reproduzir num local, de forma aproximada ou exata, uma mensagem selecionada noutro local.
38
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) Uma mensagem selecionada refere-se a uma seqncia informativa que pode ser escolhida entre muitas outras, que apareceram com iguais ou diferentes probabilidades. probabilidades Assim, Assim a quantidade de informao definida com base na sua incerteza ou na dificuldade de previso. Para medir a quantidade de informao ele utilizou, por sugesto de von Neumann, o conceito de entropia.
39
13
2/3/2009
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) Shannon (1948) proveu uma sntese das principais idias com relao a teoria clssica da informao. Shannon (1948) tambm contribuiu de forma decisiva para estabelecer a teoria da informao em firmes e slidas bases tericas. Shannon (1948) foi o primeiro a estabelecer os limites superiores sobre o que pode ser alcanado com um meio de transmitir informaes, um canal.
40
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) O trabalho de Shannon (1948) apareceu de forma totalmente inesperada e veio a ter uma alcance que seus prprios contemporneos, e talvez at o prprio Shannon, Shannon no conseguiram vislumbrar naquele momento. Foi um dos raros passos decisivos, inesperados e globais que at hoje se registraram na histria da cincia.
41
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) Weaver (1948) argumentou que todos os problemas de comunicao se referiam a trs problemas bsicos: (i) quo acurados os smbolos de comunicao podem ser transmitidos; (ii) quo precisos os smbolos transmitem o significado pretendido e (iii) quo efetivo o significado recebido que ir afetar a conduta de um modo desejado.
42
14
2/3/2009
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948)
Weaver reconheceu que a formulao matemtica criada por Shannon (1948) poderia prover uma construo terica d t d dentro da qual l fosse f possvel l examinarmos todos aqueles trs problemas.
43
Warren Weawer
Matemtico americano, que traduziu numa linguagem mais acessvel com a finalidade de divulgar o trabalho de Shannon, com o qual se torna co-autor do livro sobre a teoria matemtica da informao. Weawer foi professor de Matemtica na Universidade de Wiscounsin.
Warren Weawer, 1894 - 1978
44
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948)

Shannon (1948) introduziu duas importantes contribuies com relao aos trabalhos de Hartley e Nyquist que afirmavam que a importncia da medida da informao est baseada no nmero de alternativas: (i) deu um tratamento estatstico a informao - no em relao ao nmero de ocorrncias possveis, mas sim com relao probabilidade de sua ocorrncia deste modo, a quantidade de informao numa no funo das alternativas possveis, mas sim, da sua efetiva ocorrncia; (ii) introduziu o conceito de rudo ele afirmou que o rudo aumentaria a informao at o limite em que ele aumenta a incerteza tornando-se equivoco quando ele excedesse o desejvel.
45
15
2/3/2009
Claude Shannon (1916-2001)
46
A Mathematical Theory of Communication (1948) Resumo Introduz um sistema de informao binrio; Primeiro uso dos bit em forma impressa; Quantificao da informao; Descreve a transferncia da informao; Calcula a capacidade de transmisso de um canal;
47
On October 15-16 2001, fourteen worldrenowned experts on information theory gave technical presentations at a conference co-sponsored by Cal-(IT) and dedicated to Claude Shannon, the "father of information theory."
48
16
2/3/2009
O modelo matemtico da informao

fonte transmissor
sinal
receptor
Sinal recebido
destinatrio
mensagem
Fonte F t de d rudo
mensagem
Elementos fundamentais do modelo: Input Output Ruido

Shannon e Weaver, 1949
Entropia
Redundncia
49
TEORIA MATEMTICA DA INFORMAO OS ELEMENTSO DE UM SISTEMA INFORMACIONAL

FONTE A informao parte de uma fonte, sendo enviada atravs de um transmissor a um elemento receptor que interpreta ou decodifica a mensagem recebida para o destinrio.
TRANSMISSOR
SINAL
CANAL
SINAL RECEBIDO
RECEPTOR
INTERFERNCIA
A mensagem um elemento selecionado a partir de um conjunto mais amplo, passvel de ser transmitido atravs de um canal ou meio de veiculao da mensagem.
50
DESTINATRIO

Fonte: refere-se a um elemento que gera a informao. Transmissor: o elemento capaz de transmitir a mensagem de acordo com um cdigo preestabelecido. Cdigo: um conjunto de regras de correspondncia entre os elementos de um conjunto de referncia e um conjunto de smbolos.
51
17
2/3/2009

Mensagem: o conjunto de smbolos, detectado pelo receptor, expresso no respectivo cdigo. Receptor: o meio que permite a veiculao da mensagem transmitida ao receptor. Receptor: o elemento que recebe e decodifica a mensagem. Rudo: so interferncias na transmisso, veiculao da mensagem, introduzindo erros aleatrios na mesma.
52
Mensagem decodificada: o resultado da reconverso da mensagem na forma inteligvel pelo destinatrio. Destinatrio: o elemento final do sistema informacional que far uso da mensagem.
53

Shannon is as the founding father of electronic communications age since he noticed and discovered the similarity between Boolean lgebra and the telephone switching circuits. For example, the fundamental unit of information is a yes-no situation. Either something thi i is or i is not. t Thi This can b be easily il expressed di in B Boolean l t two-value l binary lgebra by 1 and 0, so that 1 means "on" when the switch is closed and the power is on, and 0 means "off" when the switch is open and power is off.
54
18
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL Um evento representa um estado do sistema que est sendo analisado. Suponhamos que um evento ocorreu e que uma mensagem transmitida sobre a ocorrncia de um evento. Essa mensagem recebida por um elemento receptor conforme mostra o esquema acima.
55
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A transmisso, contudo, est sujeita a erros e o receptor est sujeito a interferncias externas (rudo). A mensagem recebida pelo receptor decodificada, fornecendo informao sobre a ocorrncia do evento.
56
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM

Quanto maior for a certeza do elemento que decodifica a mensagem sobre a ocorrncia do evento, maior ser a informao contida na mensagem. A medida matemtica da informao p pode ser definida de acordo com a seguinte relao: Informao Recebida = log [probabilidade do evento medida na sada do receptor] [probabilidade do evento medida na entrada do receptor]
57
19
2/3/2009
Quando o receptor no apresenta rudo algum, a probabilidade condicional na sada igual a 1, ou seja:
Probabilidade Condicional do na Evento medida Na sada do receptor [probabilidade do evento medida na sada do receptor
probabilidade do evento medida entrada do receptor]
58
No caso de no haver ocorrncia de rudo, temos ento que: Informao Recebida = log [ 1/ probabilidade do evento na entrada do receptor] = - log [probabilidade do evento na entrada do receptor]
59
A INFORMAO CONTIDA NA MENSAGEM

Formalmente, a teoria da informao nos oferece um modo objetivo e preciso de medir como a informao recebida por um dado agente em uma dada situao. A informao que est sendo recebida pelo agente vista com consistindo de dados discretos conhecida como mensagem.
60
20
2/3/2009

O montante de informao recebida por qualquer mensagem calculada em termos de grau de surpresa do receptor g da mensagem. A idia fundamental da teoria matemtica da informao que mensagens que so surpreendentes (inesperadas) contm mais informao e mensagens esperadas contm menos informaes.
61

A teoria da informao nos diz que uma surpresa deve ser medida em termos da improbabilidade de que o agente receptor atribui a mensagem. I(M) = - log [P(M)] onde: M=mensagem, I(M)= informao contida na mensagem e P(M) a probabilidade da mensagem (como assumida pelo receptor). O montante de informao ento definida como sendo o negativo do logaritmo da probabilidade assumida pela mensagem.
62
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM A base do logaritmo pode ser decimal, neperiano etc. Contudo, como a maioria dos cdigos apresenta estrutura binria, comum medir-se a informao atravs de logaritmos de base 2. Neste caso, uma unidade de informao chamada de bit.
63
21
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT O uso de logaritmos de base 2 muito comum na teoria matemtica da informao. Eles tem a propriedade de que a unidade de informao correspondente a p= 1/2, implica em que (p= 1/2) = 1. Se ns usamos a base 2, a informao contida expressa em dgitos binrios bits.
64
Teoria da Informao
1 bit
65
Teoria da Informao
00
01
1 bit
10 11
1 bit
66
22
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Obs: A palavra bit foi criada por J.W Tukey como contrao da expresso binary digit e usada pela primeira vez por pela primeira vez por Shanon (1948). (1948) [Cf. Shannon & Weaver (1948, p.9)]
67
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT A informao medida (quantificada) em bits, ou unidades binrias, a qual o montante de informao que pode ser armazenado um nico smbolo binrio. Na teoria da informao esta quantidade definida em termos de probabilidade da ocorrncia do evento.
68
Questo: Por que usar logaritmos para medir a informao?
69
23
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM A escolha arbitrria atende aos seguintes postulados bsicos associados ao conceito de informao: Postulado I a informao deve depender to somente da probabilidade de ocorrncia do evento. Este postulado conhecido como o postulado da simetria. Ele implica que as mudanas nas seqncias na qual ns substitumos as probabilidades no altera o montante de informao.
70

Uma conseqncia do postulado I que diferentes espaos amostrais com a mesma distribuio de probabilidade que tenham sido obtidas de permutaes de uma probabilidade comum iro resultar num mesmo montante de informao. Isto implica que, para Shannon (1948) a medida de informao no est preocupada com o contedo da informao. As probabilidades com as quais os eventos ocorrem que so importantes e no os eventos eles prprios.
71
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM Exemplo: X = {chuva, sol} Y = {casado, solteiro}
P = {0,8; 0,2} P = {0,2; 0,8}
H(X) = -0,8log (0,8) 0,2log (0,2) = 0,72 bits H(X) = -0,2log (0,2) 0,8log (0,8) = 0,72 bits Portanto: H(X) = H (Y)
72
24
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM Postulado II se e so eventos independentes, com a probabilidade P (. ) = p () . P(), temos que: I(mensagem , ) = I (mensagem ) + I (mensagem )
73

Suponha que um estudante tenha combinado com sua famlia enviar uma mensagem simples sobre o resultado: Se p passar no vestibular 1 Se no passar -0
Admitindo que o estudante tenha 50% de probabilidade de passar, a informao contida na mensagem ser: I = -log
2
(1/2) = log
2
2 = 1 bit
74
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM Quando jogamos uma moeda para o alto, o resultado s pode ser cara ou coroa. Temos, portanto T t t duas d possibilidades ibilid d i igualmente l t provveis. Quando a moeda cai e observamos o lado que est para cima, descobrimos qual das possibilidades se concretizou. Esta quantidade de informao obtida, que acabamos de ganhar equivale a 1 bit.
75
25
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM Assim, qualquer escolha entre duas alternativas igualmente provveis constitui um bit. Os computadores O t d no se preocupam com a origem dos bits; todos so representados por uma escolha entre dois nmeros, 0 e 1.
76
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM A informao s pode ser recebida onde haja dvida, e dvida implica a existncia de alternativas - em que se exija escolha, seleo ou discriminao.
77
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM - EXEMPLO
Devemos ter claro que a frmula acima nos fornece um modo de calcular o montante de informao somente se cada uma das n alternativas igualmente provvel.
78
26
2/3/2009
George BOOLE (1815-1864) Usou apenas dois caracteres para codificar as operaes lgicas.
0 1
79
John von NEUMANN (1903-1957) Desenvolveu o conceito de programao usando tambm o sistema binrio para codificar toda a informao possvel.
0 1
80
A natureza usa 4 moleculas para codificar a hereditariedade gentica.
81
27
2/3/2009
A Teoria de Shanon (1948) e suas aplicaes a biologia
82
A Teoria de Shanon (1948) e suas aplicaes a biologia

As idias de Shanon (1948) tm aplicao bvia para organismos biolgicos, pois a informao uma de suas propriedades definidoras. O DNA armazena a informao necessria para construir e operar o organismo. A teoria da informao afirma que o rudo destri a informao, e que o processo inverso, a criao de informao pelo rudo, nos pareceria um milagre.
83
A Teoria de Shanon e suas aplicaes a biologia

O contedo de informao do DNA muda muito lentamente, como resultado de mutaes aleatrias. As mutaes so o equivalente biolgico de um rudo numa linha telefnica. O sinal o DNA recm cunhado. As mutaes bemsucedidas so aquelas mais adaptadas ao seu ambiente, sendo, portanto, o ambiente que fornece, ou seleciona, a informao que chega ao DNA. Assim, o ambiente introduz a informao na mensagem gentica via seleo natural.
84
28
2/3/2009

Num caso mais geral, a mensagem composta por M smbolos, havendo S smbolos disponveis e igualmente provveis. Neste caso, o nmero de combinaes possveis
M
igual a S e a probabilidade de ocorrncia do evento representado por uma combinao qualquer ser dada por: M P= 1/S Assim, a informao contida na mensagem (em bits ser): I = -log p = M log S
2 2
85

Suponha que agora temos a seguinte situao: 11 10 01 00 passou em economia na UFRGS passou em economia na PUC - passou em economia na ULBRA no passou no vestibular
Assumimos aqui, novamente que cada evento tenha igual probabilidade de ocorrncia: S {0,1} M = 2 cada mensagem composta de 2 smbolos.
86

I = 2log
2
2 = 2 bits
Supomos agora que o evento 1 [11] ocorra com probabilidade de 0,1 (10%). Neste caso a informao contida na mensagem 11 ser: I11=-log (0,1)= -log 0,1/ log 2=(-1)/0,3010=3,32
10 10
87
29
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT
O bit corresponde quantidade de informao obtida ao se especificar uma de duas alternativas a te at as possveis poss e s e igualmente gua e te provveis. p o es O bit a unidade para se medir uma quantidade de informao numa determinada mensagem.
88
Por exemplo, ns dizemos que um bit de informao foi recebida quando ficamos sabendo b d qual, l d dentre t duas d moedas d alternativas e equiprovveis, qual a alternativa que realmente ocorreu.
89
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Segundo Edwards (1964, p.44), a pergunta que provoca o surgimento da unidade de informao seletiva do tipo: que grau de dificuldade existe para identificao de um elemento particular de um certo conjunto? Torna-se claro, dessa maneira, que tal unidade de informao s aplicvel ao contexto de um conjunto que seja dado quando proposta a pergunta.
90
30
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT - EXEMPLO

Tomemos o conjunto das primeiras 8 letras do alfabeto: ABCDEFGH Um jogador escolhe uma letra e o segundo jogador faz as perguntas cuja resposta pode ser somente sim ou no, no com o objetivo de identificar, to rapidamente quanto possvel, a letra escolhida pelo outro. Seja a letra escolhida D. P1 - antes de E ? > diviso A B C D - E F G H sim P2 antes de C? > diviso A B - C D no P3 antes de D? > DIVISO C D no
91
Visto que a quantidade de informao se relaciona intimamente com a grandeza do conjunto, podemos aplicar a medida ao prprio p p conjunto. j Dizemos que a quantidade de informao associado a um conjunto de alternativas equiprovveis de trs unidades por letra. Nesse sentido, a quantidade de informao chamada de incerteza.
92
O que chamamos aqui de incerteza foi denominado de entropia por Shannon (1948). Shannon estava preocupado ao tratar da teoria matemtica da informao, com as quantidades mdias de incerteza contidas em uma dado conjunto.
93
31
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Podemos determinar uma frmula que relacione a grandeza de um conjunto com a quantidade de incerteza a ele associado. Se o conjunto contm apenas um elemento, no h perguntas a fazer; sabemos qual a soluo e assim, a incerteza igual a zero. Se houver dois elementos ser necessria uma pergunta e assim por diante.
94
Grandeza do conjunto ( ) (n) 1 2 4 8 16
Nmero de perguntas 0 1 2 3 4
95

Pela tabela acima vemos que podemos exprimir a relao entre n e H (incerteza) como:
H
n=2 H= log n
2
A equao acima proporciona a medida da quantidade de informao contida numa soluo especfica qualquer.
96
32
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Suponha um jogo simples para dois jogadores: um jogador pensa num nmero entre 1 e 64 e o outro tem que descobrir o nmero perguntando somente questes que podem ser respondidas com um sim ou um no. no O montante de informao dentro de um conjunto de possveis eventos corresponde ao nmero de questes sim-no necessrias par isolar o evento dos outros conjuntos de possibilidades, seguindo uma estratgia tima.
97
O cachorro de Theil
co
98
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT A informao computada no exemplo do cachorro de Theil de 6 bits. 6 bits o montante de informao a qual voc necessita para encontrar onde o seu co est, assumindo que todas as 64 casas so igualmente provveis de ocorrerem.
99
33
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Visto que uma deciso binria pode ser representada por um dgito binrio (0 ou 1) ns podemos representar o problema do co de Theil por uma seqncias de 6 dgitos binrios a fim de especificar, de modo completo, isto , sem incerteza, a reduo das 64 possibilidades para apenas 1.
100
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT O nmero de questes sim-no requeridas para determinar o nmero 6. Assim: I = 6 = -log log
2
1/64 = 6
I = 6 bits
101
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT 6 o nmero de decises binrias, isto , escolhas entre duas alternativas igualmente provveis que devem ser feitas na reduo de 64 alternativas, alternativas para se chegar a uma uma. Assim, de acordo com a teoria da informao, esta a medida apropriada do montante de informao contida na reduo das 64 possibilidades para se chegar a uma.
102
34
2/3/2009
O cachorro de Theil
Estratgia # 1 (1/64) (1 + 2 + 3 +... 64) = $ 32,50 Estratgia #2 - $6,00
103
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT A razo para a escolha da funo logartmica dentre todas as funes decrescentes a sua propriedade da aditividade no caso de eventos independentes independentes. H (p1,p2) = log (1/p1p2) = log (1/p1) + log (1/p2) = H(p1) + H(p2)
104
Representao grfica da funo informao

Seja p a probabilidade de ocorrncia de um evento. Vimos que a informao contida numa mensagem por: I = - log gp p. dada p Dado que 0 p 1, tem-se que log p 0 . Invertendo-se o sinal, conforme a relao acima, obtemos uma funo monotonicamente decrescente. Isto implica que a informao I ser tanto maior quanto menor for a probabilidade p.
105
35
2/3/2009
Representao grfica da funo informao
b i t s
Probabilidade p
1,0
106
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Suponha que conhecido que algum evento E ir ocorrer com probabilidade p, tal que 0 p 1. Suponha que em algum estgio posterior voc receba uma mensagem definida e crvel a qual diz que o estado E realmente ocorreu.
107
Quando p= 0,99 voc no ficar surpreso com o evento pois era praticamente certo que ele ir ocorrer. Em outras palavras, a mensagem possua pouco contedo informativo quando p era prximo de 1.
108
36
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT A situao muda quando quando p assume valores pequenos. Quando p = 0,01, 0 01 por exemplo, exemplo ns ficamos muito supressos com a mensagem, pois era quase certo que ela no iria ocorrer. A mensagem, ento, possua grande contedo informativo.
109
Parece bvio que a informao contida em I(p) da mensagem funo decrescente da probabilidade p quanto mais improvvel o evento antes da mensagem sobre sua realizao, maior a informao contida nesta mensagem.
110
Para p prximo a 1, a mensagem tem pouco contedo informativo. Contudo, se o valor de p pequeno, a mensagem tem alto contedo informativo. Quando p tende a zero, o contedo informativo da mensagem tende ao infinito.
Ex: dois avies atingindo o WTC no dia 11/09.
111
37
2/3/2009
A teoria da informao mostra que na realidade so os eventos inesperados (improvveis) que informam. o a Mas para haver um um evento inesperado (improvvel) necessrio desconhecimento, pois do contrrio, nada haveria para ser informado.
112
Quanto menor a incerteza, menor a quantidade de informao q contida numa mensagem. Quanto maior a probabilidade de ocorrncia de um evento, menor a incerteza.
113
Qual a quantidade de informao contida na mensagem: o resultado obtido j jogando d - se dois d i dados d d foi f i n? ? Existem 6 x 6 = 36 combinaes possveis e os valores de n situam-se entre [2; 12].
114
38
2/3/2009

n 2 3 4 5 6 7 8 9 10 11 12 probabilidade 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 Informao (bits) 5,17 4,17 3 59 3,59 3,17 2,85 2,59 2,85 3,17 3,59 4,17 5,17
115
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT - EXEMPLO Implicao: observamos que os resultados n= 2 e n= 12 so os que possuem maior quantidade de informao, j que so os que apresentam t menor probabilidade b bilid d d de ocorrncia.
116

Se, em lugar de dois dados, fosse lanado apenas 1, teramos os seguintes resultados:
n 1 2 3 4 5 6 probabilidade 1/6 1/6 1/6 1/6 1/6 1/6 Informao (bits) 2 59 2,59 2,59 2,59 2,59 2,59 2,59
117
39
2/3/2009
Implicao: quando todos os estados so equiprovveis, temos a mesma medida de informao.
118
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL AXIOMAS BSICOS
AXIOMA #1 - a informao depende somente da probabilidade de ocorrncia do evento, pi. I = -log pi = -log (1/pi) AXIOMA #2 - I(pi) uma funo contnua de pi, contida entre 0 < pi 1.
119
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL AXIOMAS BSICOS AXIOMA #3 - I(p = 0) = e I (p = 1) = 0 Este axioma expressa que a nossa supressa infinita quando somos informados de algo que ocorreu e que tinha probabilidade zero e que nossa surpresa zero quando nos contato que algo aconteceu a qual tinha probabilidade unitria;
120
40
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL AXIOMAS BSICOS AXIOMA # 4 I(p1) > I (p2) se 0 pi 1.
Este axioma nos diz que I (.) uma funo monotnica decrescente. AXIOMA # 5 I (p1,p2) = I (p1) + I (p2) se 0 p1 e p2 1 Isto implica em assumirmos o pressuposto da aditividade na informao.
121
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM Suponhamos que o processo de transmisso de mensagens se repita por N vezes. Cada nova mensagem M1, M2, ...Mi Mi representa um evento com probabilidade p1, p2, p3...pi. Ao fim de N transmisses, o nmero esperado de vezes que foi recebida a mensagem Mi dado por Npi.
122
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM O postulado III estabelece que a informao total igual soma das informaes parciais. Uma mensagem Mi qualquer apresenta informao igual a [-log pi]
2
Somando-se as informaes das Npi mensagens do tipo Mi, obtm-se: - N pi log pi

2
123
41
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM Finalmente, somando-se as informaes correspondentes s mensagens M1, M2, ..., Mi, tem-se:
IT = - N
pi log pi
i
124
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM Como foram transmitidas N mensagens no total, a informao mdia por mensagem obtida dividindo-se:
IT/N = Imdia = -
pi log pi
Isto pode ser visto como sendo a esperana matemtica do contedo informativo de uma mensagem, tal como Ei (o evento i) ocorreu.
125
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM O valor mnimo de I(p) ocorre quando uma das probabilidades igual a 1 e as demais so nulas. Neste caso temos que: I(p=1) = 0. Para determinarmos o valor mximo de I(p), sujeito a restrio de que pi=1, utilizamos o mtodo de Lagrange e obtemos as condies de primeira ordem para um mximo:
-pi log pi - ( pi 1)
126
42
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM Conclui-se que o mximo de I(p) ocorre quando todas as probabilidades so iguais entre si, e portanto iguais a (1/n). Neste caso temos que: I(p) = pi log (1/pi) = (1/n) log n = log n
Portanto, temos que: 0 I (p) log n

127
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA

Imdia = - pi log pi Esta expresso anloga a de Boltzman da mecnica estatstica. No caso dos dados lanados temos que: Imdia (2) = 3,71 [(1/36x 5,17)+ ... + (6/36 x 2,59)] x 2 Imdia (1) = 2,59 = [1/6 x 2,59] x6
128
Entropia
- Originalmente definida pelos fsicos no equilbrio termodinmico; - Aps, formalizada no contexto da mecnica estatstica; - Introduzida na teoria da informao por Shannon (1948); - Amplamente usada na teoria do aprendizado computacional.
129
43
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA Shannon (1948) utilizou o mesmo smbolo H definido por Boltzman (H) e denominou entropia o resultado da expresso: H = - pi log pi [entropia da distribuio de probabilidade de pi] - Sendo pi a probabilidade da mensagem ou evento i, a quantidade H, denominada entropia, representa a informao mdia por mensagem ou evento.
130
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA H = - {p1 logp1 + ...+pn log pn} H = - pi log g pi
H representa a incerteza contida na fonte. Shannon(1948) denominou esta expresso de informao mdia da mensagem.
131
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA A entropia tem um valor zero quando h uma mensagem que certa que ir ocorrer (isto , um evento descrito com probabilidade igual a 1) e todos as outras mensagens g nunca iro ocorrer. O mximo de entropia ocorre quando todas as mensagens so igualmente provveis, as quais correspondem a situao de grande incerteza sobre os resultados.
132
44
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA A magnitude da entropia uma medida do grau de indeterminao de uma distribuio probabilstica. A entropia se anula se, e somente se, todos os valores de pi forem nulos , a exceo de um deles, que ser igual a unidade. Neste caso a situao completamente determinada, ocorrendo um evento com plena certeza, insto , sem indeterminao.
133
A entropia maior quando a informao mdia em relao a todos os estados do sistema, i t ou seja, j a informao i f sobre b o conjunto se torna mais importante do que a informao seletiva referida a um estado ou a um indivduo isolado.
134
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA A entropia uma medida do grau de indeterminao de uma distribuio estatstica. Quando um sistema se organiza temos que h reduo da entropia. Em outros termos, temos que ele se torna mais previsvel. Num sistema completamente organizado s pode ocorrer uma coisa, isto implica, por exemplo que pj=1 e pi = 0 quando ij. Neste caso a entropia mnima e o sistema no informativo.
135
45
2/3/2009
A entropia cresce quando o nmero possvel de estados gerados pelas mltiplas combinaes de eventos e e tos tambm ta b cresce. c esce Isto significa que sistemas mais ricos em nmero de estados e portanto, mais aleatrios, apresentam entropia mais elevada.
136
A entropia atinge seu valor mximo quando os estados do sistema forem iguais ou equiprovveis, ou seja, apresentam probabilidades de ocorrncia iguais.
137
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT L = 2, Px(0) = Px(1) = H(x) = 1 bit
L=2 , Px(0) = 1 ; Px(1)= 0 H(x) = 0 bit
138
46
2/3/2009
L=2,
Px(0)= p;
Px(1) = 1- p
139
140
A entropia pode ser encarada como uma medida do grau de aleatoriedade do sistema, quanto maior for a entropia, maior i ser a disperso di da d informao i f e, portanto, mais valiosa ela ser.
141
47
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL INFORMAO E ENTROPIA
I = - pi log pi H = fi log fi
142
Entropia Um Exemplo
M = meses do ano H(M) =
= log2 12 3.6 (so necessrios 4 bits para codificar um ano)
143
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA
R (I) = 1- ENTROPIA =1( (incerteza relativa) )

= {[incerteza mxima-incerteza real]/incerteza mxima}
144
48
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA A redundncia aquilo que previsvel ou convencional numa mensagem. O oposto de rendundncia a entropia. A redundncia o resultado de uma alta previsibilidade e a entropia de uma baixa previsibilidade
145
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA Uma mensagem com baixa previsibilidade pode ser dita ser entrpica e conter, assim, uma grade quantidade de informao (medida em bits). ) Ao contrrio, uma mensagem altamente previsvel redundante e com baixo contedo informativo.
146
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA Entropia uma medida do grau de aleatoriedade. Redundncia o que previsvel e convencional numa mensagem; com baixo contedo informacional.
49
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA A lngua inglesa 50% redundante. Isto significa que ns podemos deletar cerca de 50% das letras e ainda assim termos uma linguagem usvel capaz de transmitir uma mensagem compreensvel. [cf. Edwards, p.63 e Shannon & Weaver, p.13]
148
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA

Na teoria da informao ns consideramos uma fonte de mensagem, tal como um escritor ou um palestrante, o qual pode produzir numa dada ocasio qualquer uma de muitas possveis mensagens. O montante de informao transmitido pela mensagem aumenta a medida em que o montante de incerteza do que a mensagem q g realmente ir produzir p torna-se maior. Uma mensagem a qual uma entre dez possveis mensagem transmite um menor montante de informao do que uma mensagem a qual uma entre um milho de possveis mensagens. A entropia da teoria da comunicao uma medida desta incerteza e a incerteza , ou a entropia, tomada como a medida do montante de informao transmitida por uma mensagem de uma fonte. Quanto mais ns sabemos sobre a mensagem que a fonte ir produzir, menos incerteza, menos entropia e menos informao. Pierce (1980, p.23)
149
Redundncia
O fato de que a linguagem natural muito redundante muito til: ela nos permite compreender os textos que so escritos de um modo no claro. claro Redundncia de imagens tambm til quando as reproduzimos de modo imperfeito (xerox, fax, etc).
150
50
2/3/2009
A medio do contedo informativo de uma previso

Uma previso uma mensagem sujeita a erro ou uma mensagem incerta. Vamos admitir que a probabilidade de ocorrncia de um evento, estabelecida com bases em sries histricas, seja p = 0,2. Ento o contedo da informao o evento ocorreu seria: I(p) = ln (1/0,2) = 1,6094 nits (natural units quando se usa o logaritmo natural)
151

Suponha que a previso do evento no ano anterior havia afirmado que ele iria ocorrer e admitamos que, tendo em vista os resultados das previses anteriores, a probabilidade de que o evento realmente corra seja y = 0,6. Portanto, o contedo da informao de que o evento ocorre dado por: I(y) = ln (1/0,6) = 0,5108 nits
152

O contedo informativo da previso dado por: I(p) I (y) = 1,0986 nits. Dado o contedo informativo da previso de que o evento ir ocorrer, corresponde ao fato de que, dada a previso, ficamos menos surpresos com a chuva.
153
51
2/3/2009

Podemos dizer que, quando uma mensagem est sujeita a erro (como no caso de uma previso), o contedo informativo da mensagem que afirma (ou prev) que o evento ir ocorrer dada por: I(y;p) = log (y/x)
154
Bibliografia Sugerida
Cherry, Colin. (1974). A Comunicao Humana. Editora Culturix/Editora Universidade de So Paulo. Edwards, E. (1976). Introduo Teoria da Informao. Editora Culturix. Shannon, C. E. & WEAVER, W. (1949). The Mathematical Theory of Communication. University of Illinois Press.
155
Livros
156
52
2/3/2009
Livros
157
Sites
http://en.wikipedia.org/wiki/Information_theory http://en.wikipedia.org/wiki/Claude_E._Shannon
http://en.wikipedia.org/wiki/Timeline_of_information_theory
158
159
53
2/3/2009
FIM
54

Teoria Matematica Informacao

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Teoria Matematica Informacao

Enviado por

Direitos autorais:

Formatos disponíveis

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO

TEORIA MATEMTICA DA INFORMAO

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO

TEORIA MATEMTICA DA INFORMAO

TEORIA MATEMTICA DA INFORMAO

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO

TEORIA MATEMTICA DA INFORMAO

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

Por que a teoria matemtica da informao importante?

Por que a teoria matemtica da informao importante?

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO - HISTRICO

TEORIA MATEMTICA DA INFORMAO - HISTRICO

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO - HISTRICO

Estrutura von Neumann

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO - HISTRICO

TEORIA MATEMTICA DA INFORMAO - HISTRICO

TEORIA MATEMTICA DA INFORMAO - HISTRICO

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO - HISTRICO

Ralph Vinton Lyon Hartley (1928)

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

Ralph Vinton Lyon Hartley (1928)

TEORIA MATEMTICA DA INFORMAO - HISTRICO

TEORIA MATEMTICA DA INFORMAO - HISTRICO

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO - HISTRICO

TEORIA MATEMTICA DA INFORMAO - HISTRICO

TEORIA MATEMTICA DA INFORMAO - OBJETIVO

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO

TEORIA MATEMTICA DA INFORMAO O QUE INFORMAO?

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

H(X|Y) H(X|Y) = H(X,Y)-H(Y) = EYH(X|Y= y)

Informao aquilo que reduz a incerteza.

TEORIA MATEMTICA DA INFORMAO O QUE INFORMAO?

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948)

TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948)

PROF. GICOMO BALBINOTTO NETO [UFRGS]

ECONOMIA DA INFORMAO: NOTAS DE AULA

Claude Shannon (1916-2001)