1. Teoria da informao O problema essencial das comunicaes "reproduzir, seja exatamente ou aproximadamente, uma mensagem enviada de um ponto a outro".

. As mensagens transmitidas transportam um certo contedo de informao. Uma medida quantitativa de informao aparece como uma condio preliminar para elaborar uma teoria, em concordncia com o pensamento de Lord Kelvin. As primeiras idias conceituais sobre informao remontam a um passado distante. Os fundamentos da transmisso de informao podem ser encontrados nos trabalhos pioneiros de Nyquist (1924) e Hartley (1928). Porm, muitas das idias s foram compreendidas em 1948 quando Claude Elwood Shannon estabeleceu a teoria em bases firmes. Este marco criava a moderna teoria das comunicaes e a teoria da informao. Essa teoria no trata com o significado da informao, mas somente com quantidades de informao. Como medir a quantidade de informao associada a uma mensagem? O seguinte comentrio pode auxiliar nossa compreenso: "a transmisso de uma mensagem perfeitamente conhecida a priori pelo destinatrio completamente intil". No h necessidade de transmissor e receptor: mesmo desligando-os, sabe-se tudo a respeito da mensagem e o processo de transmisso de informao irrelevante. Isso conduz naturalmente a: 1) tratar uma fonte de informao como uma srie de eventos aleatrios que constituem a mensagem emitida, e 2) definir a quantidade de informao associada a essa mensagem como uma medida da sua imprevisibilidade. Intuitivamente, uma mensagem do tipo E={o Sol nascer amanh} carrega um contedo de informao muito pequeno. Por outro lado, um evento como E={Haver um tremor de terra amanh} carrega um maior contedo de informao. Imagine-se ouvindo uma sinfonia pela primeira vez. A quantidade de informao transmitida grande. Porm, ao ouvi-la reiteradas vezes, a quantidade de informao transmitida em cada audio torna-se cada vez menor. No limite, ao conhec-la completamente (a ponto de prever deterministicamente os prximos acordes), nenhuma informao transmitida. Esse conceito nada tem a ver com a qualidade da melodia, se ela ou no agradvel ao ouvinte etc. O mesmo ocorre com um filme assistido muitas vezes: cada sesso repetida proporciona menos informao adicional ao j conhecido, pois as cenas e os detalhes tornam-se cada vez mais previsveis. As palavras "incerteza", "surpresa" e "informao" esto relacionadas. Antes de um evento, h uma certa quantidade de incerteza e, depois dele, h um ganho de uma quantidade de informao. A definio de informao proposta por Shannon : A quantidade de informao associada a um evento (mensagem) E, denotada I(E), expressa pelo calogaritmo da probabilidade de ocorrncia do evento, i.e., I(E)= log 1/ P(E). A unidade bsica de medida de informao, quando o logaritmo tomado na base 2, foi denotada unidade binria de informao (binary unit) ou bit. Deve-se evitar uma possvel confuso da unidade binria de informao (bit) com dgito binrio (binary digit). Com um alfabeto binrio, tal como usado nos computadores, transmisses de dados, telefonia, os bits podem transportar

diferentes quantidades de informao. Se os bits 0 e 1 so equiprovveis, P(0)=P(1)=1/2, ento cada smbolo binrio transporta 1 bit de informao. Esta definio de engenharia baseada em probabilidades e no no significado dos smbolos ao receptor humano. Ela, entretanto, captura parcialmente a riqueza da noo usual de informao. A fim de entender como a informao de Shannon difere um pouco do "bom senso", considere a seguinte questo: "Qual o livro que contm maior quantidade de informao?". Naturalmente, supe-se aqui ter padronizado questes relativas ao tamanho da pgina, nmero de pginas, alfabeto usado, nmero de fontes e tamanho de fontes etc. Uma vez procedendo assim, a resposta clara: "O livro com maior informao aquele digitado de forma completamente aleatria e uniforme!". O processo de transmisso de informao envolve uma fonte (que produz informaes), um canal de comunicao e um destinatrio (que recebe informaes). O canal simplesmente um meio que permite aos interlocutores trocar informaes, transmitindo e recebendo sinais. A teoria da informao lida fundamentalmente com trs aspectos relativos transmisso e armazenamento da informao: a medida de informao, a codificao de fontes e a codificao de canal. A fim de introduzir as idias da codificao, imagine que um casal entabula uma conversao numa sala barulhenta. H, ocasionalmente, a possibilidade de uma palavra (ou frase) ser perdida ou mal entendida. O sentido da conversa normalmente no perdido. A razo para tal fato que a linguagem inerentemente redundante e esta redundncia permite s pessoas "interligarem" os trechos entre espaos perdidos da conversa. Qual a mnima quantidade de informao necessria para representar uma mensagem? Como se mede a taxa de informao de uma fonte? Como eliminar redundncia? Esses aspectos relativos compresso de informao so abordados na teoria, incluindo a compactao de dados comumente adotada em microcomputadores, fac-smiles, modems etc. Retomemos o problema da comunicao do casal na sala ruidosa. Se o rudo se torna maior, faz-se necessrio introduzir redundncia adicional na conversao, por exemplo, pela repetio da frase vrias vezes. A introduo de redundncia torna a comunicao mais confivel. Esse um exemplo de codificao de canal, para proteger a informao e conferir qualidade transmisso. Esse mecanismo largamente adotado hoje, em particular nos CDs e em todos os sistemas digitais. O rudo no torna pouco confivel a informao recebida: Shannon demonstrou que a confiabilidade pode ser to boa quanto se deseje, provido que a quantidade de informao no ultrapasse um limite chamado de capacidade do canal. A teoria da informao trata tambm da medida da capacidade de canais.

2. Teoria da Codificao O Pioneiro: Claude Shannon, por meio da obra A Teoria Matemtica da Comunicao, 1948.

Dados x Informao x Conhecimento Os dados so qualquer fluxo entre fonte e destino A Informao est associada ao processo da informao O Conhecimento est associado ao processamento da informao Tipos de Fontes Fonte Contnua: Associada ao sinal analgico Fonte Discreta: Associada ao sinal digital, transmite smbolos de um alfabeto fonte. Alfabeto Uma fonte discreta possui um nmero finito de smbolos nicos. O conjunto de smbolos chamado de alfabeto-fonte. Exemplo 1 O conjunto das letras maisculas A = {A, B, C, D,... Z} Exemplo 2 O conjunto das letras maisculas, minsculas e numerais. A = {A, B, C,... X, Y, Z, a, b, c,... x, y, z, 0, 1, 2,... 7, 8, 9} O nmero de elementos de um alfabeto A chamado de cardinalidade e designado por |A|. Um alfabeto de n letras sobre A chamado um n-grama sobre A. A partir de um alfabeto podemos gerar um novo alfabeto pela construo de n-gramas sobre o alfabeto original obtendo um alfabeto extenso. Seja A={a0, a1, a2,... am-1} onde |A| = m. Podemos gerar A2 contendo m2 2gramas tal que A2={a0a0, a0a1, a0a2,... am-1am-1}. Generalizando, concatenando-se n letras de A obtemos o alfabeto An contendo mn n-gramas de A. Exemplo Considere o alfabeto A = {A, B, C,... Z}

 Podemos dizer que UNIRON um 6-grama sobre o alfabeto A. Considerando o alfabeto A3 = {AAA, AAB, AAC,... ZZZ} Podemos dizer que UNI RON um 2-grama sobre o alfabeto A3. Observese que no se trata de separao silbica, e sim a codificao proposta ao alfabeto. Considerando o alfabeto conjunto das instituies de ensino superior Podemos dizer que UNIRON um 1-grama Associaes A -> Z O Alfabeto A foi associado ao conjunto dos inteiros ... A B C X 0 1 2 ... 24

Y 25

Z 26

Quantidade de Informao Hartley escreveu em 1923 o arquivo que inaugurou a Teoria da Informao Shannon em 1948 descobriu que a funo log pode medir a quantidade de Informao. Suponha E1 e E2 dois eventos com probabilidades de ocorrncia p1 e p2. de se esperar que a quantidade de informao obtida pelo conhecimento da ocorrncia de ambos os eventos possa se relacionar ao conhecimento individual da ocorrncia de cada evento I(E1 E2) = I(E1) + I(E2), caso E1 e E2 sejam independentes. A equao acima nos d a medida de informao resultante da ocorrncia de um determinado evento E com probabilidade p(E). Entropia Dada uma varivel aleatria x, a qual pode assumir um nmero finito de valores possveis xi, 1 i n, com probabilidades pi associadas a cada um destes valores, e = 1 i p , denominamos de entropia, designada por H(x), a esperana matemtica para a quantidade de informao contida em um evento possvel qualquer.

"Quanto maior a quantidade de informao, menor a certeza!!!"

3. Algoritmo de Huffman A compresso pelo algoritmo de Huffman reduz o tamanho do cdigo usado para representar os smbolos de um alfabeto. Smbolos do alfabeto que ocorrem frequentemente so atribuidos por codigos mais curtos. A estratgia geral permitir ao tamanho do cdigo variar de caracter para caracter e de assegurar que o cdigo utilizado seja menor. A compresso de Huffman feita atravs da construo de uma rvore binria usando um simples conjunto de exemplo. Isso feito arranjando os smbolos do alfabeto em ordem decrescente de probabilidade. Ento repetidamente adicionando duas menores probabilidades e reorganizando. Este processo se repete at a soma das probabilidades dos dois ltimos smbolos ser igual a 1. Uma vez que este processo seja feito, uma rvore binria de Huffman possvel ser gerada. Se no for obtida uma probabilidade de 1 nos dois ltimos smbolos, provavelmente existe um erro no processo. Essa probabilidade de 1 que forma o ltimo smbolo, a raiz da rvore binria. Os cdigos resultantes so formados traando a rvore a partir da raiz at os ltimos ramos de cdigo depois de assumir os 0s e 1s as subdivises. Um exemplo passo-a-passo da construo de uma rvore binria de Huffman mostrada abaixo: Dados um conjunto de smbolos com uma lista de relativas probabilidades de ocorrncia com uma mensagem. m0 m1 m2 m3 m4 0.10 0.36 0.15 0.2 0.19 (1) Liste os smbolos em ordem decrescente de probabilidade. m1 m3 m4 m2 0.36 0.20 0.19 0.15 m0 0.10

(2) Pegue os dois smbolos com a menor probabilidade. De ao smbolo combinado, um novo nome. m2 m0 0.15 0.10 Combina formando: A 0.25 (3) A nova lista obtida eh mostrada abaixo. Repetindo o passo anterior nos dar um novo smbolo para as prximas duas possibilidades mais baixas.

m1 A m3 m4 0.36 0.25 0.20 0.19 m3 0.20 m4 0.19

Combina formando: B 0.39 (4) Uma nova lista obtida. Repetindo o passo anterior nos dar um novo smbolo para as prximas duas possibilidades mais baixas. B m1 A 0.39 0.36 0.25 m1 A 0.36 0.25 Combina formando: C 0.61 (5)Finalmente h apenas um par faltando e ns simplesmente os combinamos e nomeamos como um novo smbolo. B 0.39 C 0.61

Combina formando D 1.0 (6) Tendo terminado estes passos ns temos:

(7)Agora, uma rvore de Huffman pode ser construda, 0s e 1s so atribudos para as subdivises.

(8)Os cdigos resultantes so formados traando a rvore desde a raiz at o fim dos cdigos. Smbolos m0 m1 m2 m3 m4 Probabilidades Cdigos 0.10 0.36 0.15 0.20 0.19 011 00 010 10 11

Note que a compresso arquivada alocando smbolos de ocorrncias freqentes com cdigos menores.