Escolar Documentos
Profissional Documentos
Cultura Documentos
Teoria Matematica Informacao
Teoria Matematica Informacao
2/3/2009
Informao e Probabilidade
Um cachorro mordeu um homem. Nenhuma surpresa. Muito comum. No informativo. Um homem mordeu um cachorro Muito incomum; Raramente acontece; Vale uma manchete ! Informao est inversamente relacionada a probabilidade de ocorrncia de um evento.
2
2/3/2009
2/3/2009
Postulado Bsico
Um dos postulados bsicos da teoria matemtica da informao que a informao pode ser tratada como sendo uma medida como uma quantidade fsica, tal como a densidade ou a massa.
2/3/2009
Postulado Bsico
A teoria da matemtica informao considera a informao como sendo somente aqueles simbolos que so incertos para o receptor. Shannon (1948) tornou claro que a incerteza a verdadeira mercadoria da comunicao.
10
Modems Satlites de comunicaes; Armazenamento de dados; Comunicaes espaciais; Comunicao sem fio
11
2/3/2009
13
Entropia: definio
Rudolf CLAUSIUS (1865): Definiode entropia:
S = Q/T
Segunda Lei da Termodinmica: a entropia no pode diminuir ao longo do tempo.
14
2/3/2009
Termodinmica
Ludwig BOLTZMAN 1872: Kinetic theory 1880: Interpretao estatstica da entropia:desorgem no espao da energia.
16
17
18
2/3/2009
19
21
2/3/2009
R. A. Fisher (1935)
Foi que usou pela primeira vez a expresso quantidade de informao no sentido de informao mtrica, medida esta propiciada pela realizao de novas medies e que permitiria avaliar o acrscimo de preciso com que se pode calcular um parmetro. parmetro Fisher (1935) demonstrou que, no caso de uma populao normal, a quantidade de informao proporcionada por uma amostra se reduz recproca da varincia, isto :
I=1/
22
2/3/2009
I (X) = log
b
L
b=2 , I(X) = 2 (I(X)= 3 I (X) = 2, 58
25
Exemplos: L=4,
L = 8, b =2, L = 6, b=2,
26
27
2/3/2009
28
29
10
2/3/2009
The word information, in this theory, is used in a special sense that must not be confused with its ordinary usage usage. In particular particular, information must not be confused with meaning. Shannon & Weaver (1949)
32
Informao qualquer coisa que reduz a incerteza, a indeterminao sobre um evento ou sobre uma coisa. coisa Assim, a teoria matemtica da informao foi desenvolvida como sendo uma teoria objetiva de probabilidade.
33
11
2/3/2009
Qunatificando a Informao
H(X)
Incerteza em X quando Y conhecido.
H(X,Y)
H(Y)
I(X;Y)
H(Y|X) ( | )
TEORIA MATEMTICA DA INFORMAO: O QUE INFORMAO? Information is the ability to choose reliably between alternatives. Benjamin Schumacher (fsico) Kenyon College
35
36
12
2/3/2009
TEORIA MATEMTICA DA INFORMAO: O QUE INFORMAO? Quando um conjunto de possibilidades reduzido, temos que o montante de informaes associado com este resultado uma funo de quantas possibilidades foram eliminadas para se chegar a uma determinado resultado e fazer a escolha.
37
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) Shannon (1948) desenvolveu a teoria da informao e transmisso de sinais digitais, baseados em seqncias de zero e um. Isto lhe permitiu definir o problema fundamental da comunicao como o de reproduzir num local, de forma aproximada ou exata, uma mensagem selecionada noutro local.
38
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) Uma mensagem selecionada refere-se a uma seqncia informativa que pode ser escolhida entre muitas outras, que apareceram com iguais ou diferentes probabilidades. probabilidades Assim, Assim a quantidade de informao definida com base na sua incerteza ou na dificuldade de previso. Para medir a quantidade de informao ele utilizou, por sugesto de von Neumann, o conceito de entropia.
39
13
2/3/2009
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) Shannon (1948) proveu uma sntese das principais idias com relao a teoria clssica da informao. Shannon (1948) tambm contribuiu de forma decisiva para estabelecer a teoria da informao em firmes e slidas bases tericas. Shannon (1948) foi o primeiro a estabelecer os limites superiores sobre o que pode ser alcanado com um meio de transmitir informaes, um canal.
40
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) O trabalho de Shannon (1948) apareceu de forma totalmente inesperada e veio a ter uma alcance que seus prprios contemporneos, e talvez at o prprio Shannon, Shannon no conseguiram vislumbrar naquele momento. Foi um dos raros passos decisivos, inesperados e globais que at hoje se registraram na histria da cincia.
41
TEORIA MATEMTICA DA INFORMAO A CONTRIBUIO DE CLAUDE SHANNON (1948) Weaver (1948) argumentou que todos os problemas de comunicao se referiam a trs problemas bsicos: (i) quo acurados os smbolos de comunicao podem ser transmitidos; (ii) quo precisos os smbolos transmitem o significado pretendido e (iii) quo efetivo o significado recebido que ir afetar a conduta de um modo desejado.
42
14
2/3/2009
Weaver reconheceu que a formulao matemtica criada por Shannon (1948) poderia prover uma construo terica d t d dentro da qual l fosse f possvel l examinarmos todos aqueles trs problemas.
43
Warren Weawer
Matemtico americano, que traduziu numa linguagem mais acessvel com a finalidade de divulgar o trabalho de Shannon, com o qual se torna co-autor do livro sobre a teoria matemtica da informao. Weawer foi professor de Matemtica na Universidade de Wiscounsin.
Warren Weawer, 1894 - 1978
44
15
2/3/2009
46
A Mathematical Theory of Communication (1948) Resumo Introduz um sistema de informao binrio; Primeiro uso dos bit em forma impressa; Quantificao da informao; Descreve a transferncia da informao; Calcula a capacidade de transmisso de um canal;
47
On October 15-16 2001, fourteen worldrenowned experts on information theory gave technical presentations at a conference co-sponsored by Cal-(IT) and dedicated to Claude Shannon, the "father of information theory."
48
16
2/3/2009
receptor
Sinal recebido
destinatrio
mensagem
Fonte F t de d rudo
mensagem
Entropia
Redundncia
49
TRANSMISSOR
SINAL
CANAL
SINAL RECEBIDO
RECEPTOR
INTERFERNCIA
A mensagem um elemento selecionado a partir de um conjunto mais amplo, passvel de ser transmitido atravs de um canal ou meio de veiculao da mensagem.
50
DESTINATRIO
17
2/3/2009
Mensagem decodificada: o resultado da reconverso da mensagem na forma inteligvel pelo destinatrio. Destinatrio: o elemento final do sistema informacional que far uso da mensagem.
53
54
18
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL Um evento representa um estado do sistema que est sendo analisado. Suponhamos que um evento ocorreu e que uma mensagem transmitida sobre a ocorrncia de um evento. Essa mensagem recebida por um elemento receptor conforme mostra o esquema acima.
55
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A transmisso, contudo, est sujeita a erros e o receptor est sujeito a interferncias externas (rudo). A mensagem recebida pelo receptor decodificada, fornecendo informao sobre a ocorrncia do evento.
56
19
2/3/2009
Quando o receptor no apresenta rudo algum, a probabilidade condicional na sada igual a 1, ou seja:
Probabilidade Condicional do na Evento medida Na sada do receptor [probabilidade do evento medida na sada do receptor
58
No caso de no haver ocorrncia de rudo, temos ento que: Informao Recebida = log [ 1/ probabilidade do evento na entrada do receptor] = - log [probabilidade do evento na entrada do receptor]
59
60
20
2/3/2009
62
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM A base do logaritmo pode ser decimal, neperiano etc. Contudo, como a maioria dos cdigos apresenta estrutura binria, comum medir-se a informao atravs de logaritmos de base 2. Neste caso, uma unidade de informao chamada de bit.
63
21
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT O uso de logaritmos de base 2 muito comum na teoria matemtica da informao. Eles tem a propriedade de que a unidade de informao correspondente a p= 1/2, implica em que (p= 1/2) = 1. Se ns usamos a base 2, a informao contida expressa em dgitos binrios bits.
64
Teoria da Informao
1 bit
65
Teoria da Informao
00
01
1 bit
10 11
1 bit
66
22
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Obs: A palavra bit foi criada por J.W Tukey como contrao da expresso binary digit e usada pela primeira vez por pela primeira vez por Shanon (1948). (1948) [Cf. Shannon & Weaver (1948, p.9)]
67
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT A informao medida (quantificada) em bits, ou unidades binrias, a qual o montante de informao que pode ser armazenado um nico smbolo binrio. Na teoria da informao esta quantidade definida em termos de probabilidade da ocorrncia do evento.
68
69
23
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM A escolha arbitrria atende aos seguintes postulados bsicos associados ao conceito de informao: Postulado I a informao deve depender to somente da probabilidade de ocorrncia do evento. Este postulado conhecido como o postulado da simetria. Ele implica que as mudanas nas seqncias na qual ns substitumos as probabilidades no altera o montante de informao.
70
71
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM Exemplo: X = {chuva, sol} Y = {casado, solteiro}
H(X) = -0,8log (0,8) 0,2log (0,2) = 0,72 bits H(X) = -0,2log (0,2) 0,8log (0,8) = 0,72 bits Portanto: H(X) = H (Y)
72
24
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM Postulado II se e so eventos independentes, com a probabilidade P (. ) = p () . P(), temos que: I(mensagem , ) = I (mensagem ) + I (mensagem )
73
Admitindo que o estudante tenha 50% de probabilidade de passar, a informao contida na mensagem ser: I = -log
2
(1/2) = log
2
2 = 1 bit
74
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM Quando jogamos uma moeda para o alto, o resultado s pode ser cara ou coroa. Temos, portanto T t t duas d possibilidades ibilid d i igualmente l t provveis. Quando a moeda cai e observamos o lado que est para cima, descobrimos qual das possibilidades se concretizou. Esta quantidade de informao obtida, que acabamos de ganhar equivale a 1 bit.
75
25
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM Assim, qualquer escolha entre duas alternativas igualmente provveis constitui um bit. Os computadores O t d no se preocupam com a origem dos bits; todos so representados por uma escolha entre dois nmeros, 0 e 1.
76
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM A informao s pode ser recebida onde haja dvida, e dvida implica a existncia de alternativas - em que se exija escolha, seleo ou discriminao.
77
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL A INFORMAO CONTIDA NA MENSAGEM - EXEMPLO
Devemos ter claro que a frmula acima nos fornece um modo de calcular o montante de informao somente se cada uma das n alternativas igualmente provvel.
78
26
2/3/2009
George BOOLE (1815-1864) Usou apenas dois caracteres para codificar as operaes lgicas.
0 1
79
John von NEUMANN (1903-1957) Desenvolveu o conceito de programao usando tambm o sistema binrio para codificar toda a informao possvel.
0 1
80
81
27
2/3/2009
82
84
28
2/3/2009
igual a S e a probabilidade de ocorrncia do evento representado por uma combinao qualquer ser dada por: M P= 1/S Assim, a informao contida na mensagem (em bits ser): I = -log p = M log S
2 2
85
Assumimos aqui, novamente que cada evento tenha igual probabilidade de ocorrncia: S {0,1} M = 2 cada mensagem composta de 2 smbolos.
86
2 = 2 bits
Supomos agora que o evento 1 [11] ocorra com probabilidade de 0,1 (10%). Neste caso a informao contida na mensagem 11 ser: I11=-log (0,1)= -log 0,1/ log 2=(-1)/0,3010=3,32
10 10
87
29
2/3/2009
O bit corresponde quantidade de informao obtida ao se especificar uma de duas alternativas a te at as possveis poss e s e igualmente gua e te provveis. p o es O bit a unidade para se medir uma quantidade de informao numa determinada mensagem.
88
Por exemplo, ns dizemos que um bit de informao foi recebida quando ficamos sabendo b d qual, l d dentre t duas d moedas d alternativas e equiprovveis, qual a alternativa que realmente ocorreu.
89
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Segundo Edwards (1964, p.44), a pergunta que provoca o surgimento da unidade de informao seletiva do tipo: que grau de dificuldade existe para identificao de um elemento particular de um certo conjunto? Torna-se claro, dessa maneira, que tal unidade de informao s aplicvel ao contexto de um conjunto que seja dado quando proposta a pergunta.
90
30
2/3/2009
91
Visto que a quantidade de informao se relaciona intimamente com a grandeza do conjunto, podemos aplicar a medida ao prprio p p conjunto. j Dizemos que a quantidade de informao associado a um conjunto de alternativas equiprovveis de trs unidades por letra. Nesse sentido, a quantidade de informao chamada de incerteza.
92
O que chamamos aqui de incerteza foi denominado de entropia por Shannon (1948). Shannon estava preocupado ao tratar da teoria matemtica da informao, com as quantidades mdias de incerteza contidas em uma dado conjunto.
93
31
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Podemos determinar uma frmula que relacione a grandeza de um conjunto com a quantidade de incerteza a ele associado. Se o conjunto contm apenas um elemento, no h perguntas a fazer; sabemos qual a soluo e assim, a incerteza igual a zero. Se houver dois elementos ser necessria uma pergunta e assim por diante.
94
Nmero de perguntas 0 1 2 3 4
95
n=2 H= log n
2
A equao acima proporciona a medida da quantidade de informao contida numa soluo especfica qualquer.
96
32
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Suponha um jogo simples para dois jogadores: um jogador pensa num nmero entre 1 e 64 e o outro tem que descobrir o nmero perguntando somente questes que podem ser respondidas com um sim ou um no. no O montante de informao dentro de um conjunto de possveis eventos corresponde ao nmero de questes sim-no necessrias par isolar o evento dos outros conjuntos de possibilidades, seguindo uma estratgia tima.
97
O cachorro de Theil
co
98
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT A informao computada no exemplo do cachorro de Theil de 6 bits. 6 bits o montante de informao a qual voc necessita para encontrar onde o seu co est, assumindo que todas as 64 casas so igualmente provveis de ocorrerem.
99
33
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Visto que uma deciso binria pode ser representada por um dgito binrio (0 ou 1) ns podemos representar o problema do co de Theil por uma seqncias de 6 dgitos binrios a fim de especificar, de modo completo, isto , sem incerteza, a reduo das 64 possibilidades para apenas 1.
100
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT O nmero de questes sim-no requeridas para determinar o nmero 6. Assim: I = 6 = -log log
2
1/64 = 6
I = 6 bits
101
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT 6 o nmero de decises binrias, isto , escolhas entre duas alternativas igualmente provveis que devem ser feitas na reduo de 64 alternativas, alternativas para se chegar a uma uma. Assim, de acordo com a teoria da informao, esta a medida apropriada do montante de informao contida na reduo das 64 possibilidades para se chegar a uma.
102
34
2/3/2009
O cachorro de Theil
Estratgia # 1 (1/64) (1 + 2 + 3 +... 64) = $ 32,50 Estratgia #2 - $6,00
103
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT A razo para a escolha da funo logartmica dentre todas as funes decrescentes a sua propriedade da aditividade no caso de eventos independentes independentes. H (p1,p2) = log (1/p1p2) = log (1/p1) + log (1/p2) = H(p1) + H(p2)
104
105
35
2/3/2009
b i t s
Probabilidade p
1,0
106
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT Suponha que conhecido que algum evento E ir ocorrer com probabilidade p, tal que 0 p 1. Suponha que em algum estgio posterior voc receba uma mensagem definida e crvel a qual diz que o estado E realmente ocorreu.
107
Quando p= 0,99 voc no ficar surpreso com o evento pois era praticamente certo que ele ir ocorrer. Em outras palavras, a mensagem possua pouco contedo informativo quando p era prximo de 1.
108
36
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT A situao muda quando quando p assume valores pequenos. Quando p = 0,01, 0 01 por exemplo, exemplo ns ficamos muito supressos com a mensagem, pois era quase certo que ela no iria ocorrer. A mensagem, ento, possua grande contedo informativo.
109
Parece bvio que a informao contida em I(p) da mensagem funo decrescente da probabilidade p quanto mais improvvel o evento antes da mensagem sobre sua realizao, maior a informao contida nesta mensagem.
110
Para p prximo a 1, a mensagem tem pouco contedo informativo. Contudo, se o valor de p pequeno, a mensagem tem alto contedo informativo. Quando p tende a zero, o contedo informativo da mensagem tende ao infinito.
111
37
2/3/2009
A teoria da informao mostra que na realidade so os eventos inesperados (improvveis) que informam. o a Mas para haver um um evento inesperado (improvvel) necessrio desconhecimento, pois do contrrio, nada haveria para ser informado.
112
Quanto menor a incerteza, menor a quantidade de informao q contida numa mensagem. Quanto maior a probabilidade de ocorrncia de um evento, menor a incerteza.
113
Qual a quantidade de informao contida na mensagem: o resultado obtido j jogando d - se dois d i dados d d foi f i n? ? Existem 6 x 6 = 36 combinaes possveis e os valores de n situam-se entre [2; 12].
114
38
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT - EXEMPLO Implicao: observamos que os resultados n= 2 e n= 12 so os que possuem maior quantidade de informao, j que so os que apresentam t menor probabilidade b bilid d d de ocorrncia.
116
117
39
2/3/2009
118
AXIOMA #1 - a informao depende somente da probabilidade de ocorrncia do evento, pi. I = -log pi = -log (1/pi) AXIOMA #2 - I(pi) uma funo contnua de pi, contida entre 0 < pi 1.
119
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL AXIOMAS BSICOS AXIOMA #3 - I(p = 0) = e I (p = 1) = 0 Este axioma expressa que a nossa supressa infinita quando somos informados de algo que ocorreu e que tinha probabilidade zero e que nossa surpresa zero quando nos contato que algo aconteceu a qual tinha probabilidade unitria;
120
40
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL AXIOMAS BSICOS AXIOMA # 4 I(p1) > I (p2) se 0 pi 1.
Este axioma nos diz que I (.) uma funo monotnica decrescente. AXIOMA # 5 I (p1,p2) = I (p1) + I (p2) se 0 p1 e p2 1 Isto implica em assumirmos o pressuposto da aditividade na informao.
121
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM Suponhamos que o processo de transmisso de mensagens se repita por N vezes. Cada nova mensagem M1, M2, ...Mi Mi representa um evento com probabilidade p1, p2, p3...pi. Ao fim de N transmisses, o nmero esperado de vezes que foi recebida a mensagem Mi dado por Npi.
122
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM O postulado III estabelece que a informao total igual soma das informaes parciais. Uma mensagem Mi qualquer apresenta informao igual a [-log pi]
2
41
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM Finalmente, somando-se as informaes correspondentes s mensagens M1, M2, ..., Mi, tem-se:
IT = - N
pi log pi
i
124
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM Como foram transmitidas N mensagens no total, a informao mdia por mensagem obtida dividindo-se:
IT/N = Imdia = -
pi log pi
Isto pode ser visto como sendo a esperana matemtica do contedo informativo de uma mensagem, tal como Ei (o evento i) ocorreu.
125
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM O valor mnimo de I(p) ocorre quando uma das probabilidades igual a 1 e as demais so nulas. Neste caso temos que: I(p=1) = 0. Para determinarmos o valor mximo de I(p), sujeito a restrio de que pi=1, utilizamos o mtodo de Lagrange e obtemos as condies de primeira ordem para um mximo:
-pi log pi - ( pi 1)
126
42
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA NFORMACIONAL INFORMAO MDIA POR MENSAGEM Conclui-se que o mximo de I(p) ocorre quando todas as probabilidades so iguais entre si, e portanto iguais a (1/n). Neste caso temos que: I(p) = pi log (1/pi) = (1/n) log n = log n
128
Entropia
- Originalmente definida pelos fsicos no equilbrio termodinmico; - Aps, formalizada no contexto da mecnica estatstica; - Introduzida na teoria da informao por Shannon (1948); - Amplamente usada na teoria do aprendizado computacional.
129
43
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA Shannon (1948) utilizou o mesmo smbolo H definido por Boltzman (H) e denominou entropia o resultado da expresso: H = - pi log pi [entropia da distribuio de probabilidade de pi] - Sendo pi a probabilidade da mensagem ou evento i, a quantidade H, denominada entropia, representa a informao mdia por mensagem ou evento.
130
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA H = - {p1 logp1 + ...+pn log pn} H = - pi log g pi
H representa a incerteza contida na fonte. Shannon(1948) denominou esta expresso de informao mdia da mensagem.
131
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA A entropia tem um valor zero quando h uma mensagem que certa que ir ocorrer (isto , um evento descrito com probabilidade igual a 1) e todos as outras mensagens g nunca iro ocorrer. O mximo de entropia ocorre quando todas as mensagens so igualmente provveis, as quais correspondem a situao de grande incerteza sobre os resultados.
132
44
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA A magnitude da entropia uma medida do grau de indeterminao de uma distribuio probabilstica. A entropia se anula se, e somente se, todos os valores de pi forem nulos , a exceo de um deles, que ser igual a unidade. Neste caso a situao completamente determinada, ocorrendo um evento com plena certeza, insto , sem indeterminao.
133
A entropia maior quando a informao mdia em relao a todos os estados do sistema, i t ou seja, j a informao i f sobre b o conjunto se torna mais importante do que a informao seletiva referida a um estado ou a um indivduo isolado.
134
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL ENTROPIA A entropia uma medida do grau de indeterminao de uma distribuio estatstica. Quando um sistema se organiza temos que h reduo da entropia. Em outros termos, temos que ele se torna mais previsvel. Num sistema completamente organizado s pode ocorrer uma coisa, isto implica, por exemplo que pj=1 e pi = 0 quando ij. Neste caso a entropia mnima e o sistema no informativo.
135
45
2/3/2009
A entropia cresce quando o nmero possvel de estados gerados pelas mltiplas combinaes de eventos e e tos tambm ta b cresce. c esce Isto significa que sistemas mais ricos em nmero de estados e portanto, mais aleatrios, apresentam entropia mais elevada.
136
A entropia atinge seu valor mximo quando os estados do sistema forem iguais ou equiprovveis, ou seja, apresentam probabilidades de ocorrncia iguais.
137
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL O BIT L = 2, Px(0) = Px(1) = H(x) = 1 bit
138
46
2/3/2009
L=2,
Px(0)= p;
Px(1) = 1- p
139
140
A entropia pode ser encarada como uma medida do grau de aleatoriedade do sistema, quanto maior for a entropia, maior i ser a disperso di da d informao i f e, portanto, mais valiosa ela ser.
141
47
2/3/2009
I = - pi log pi H = fi log fi
142
Entropia Um Exemplo
M = meses do ano H(M) =
= log2 12 3.6 (so necessrios 4 bits para codificar um ano)
143
144
48
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA A redundncia aquilo que previsvel ou convencional numa mensagem. O oposto de rendundncia a entropia. A redundncia o resultado de uma alta previsibilidade e a entropia de uma baixa previsibilidade
145
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA Uma mensagem com baixa previsibilidade pode ser dita ser entrpica e conter, assim, uma grade quantidade de informao (medida em bits). ) Ao contrrio, uma mensagem altamente previsvel redundante e com baixo contedo informativo.
146
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA Entropia uma medida do grau de aleatoriedade. Redundncia o que previsvel e convencional numa mensagem; com baixo contedo informacional.
49
2/3/2009
TEORIA MATEMTICA DA INFORMAO ELEMENTOS DE UM SISTEMA INFORMACIONAL REDUNDNCIA A lngua inglesa 50% redundante. Isto significa que ns podemos deletar cerca de 50% das letras e ainda assim termos uma linguagem usvel capaz de transmitir uma mensagem compreensvel. [cf. Edwards, p.63 e Shannon & Weaver, p.13]
148
Redundncia
O fato de que a linguagem natural muito redundante muito til: ela nos permite compreender os textos que so escritos de um modo no claro. claro Redundncia de imagens tambm til quando as reproduzimos de modo imperfeito (xerox, fax, etc).
150
50
2/3/2009
153
51
2/3/2009
154
Bibliografia Sugerida
Cherry, Colin. (1974). A Comunicao Humana. Editora Culturix/Editora Universidade de So Paulo. Edwards, E. (1976). Introduo Teoria da Informao. Editora Culturix. Shannon, C. E. & WEAVER, W. (1949). The Mathematical Theory of Communication. University of Illinois Press.
155
Livros
156
52
2/3/2009
Livros
157
Sites
http://en.wikipedia.org/wiki/Information_theory http://en.wikipedia.org/wiki/Claude_E._Shannon
http://en.wikipedia.org/wiki/Timeline_of_information_theory
158
159
53
2/3/2009
FIM
54