aula 1 Introduo Teoria da Informao

Introduo a Teoria da Informao A abordagem de informao por Hartley A abordagem sistemtica indita de Shannon Ralph Vinton Lyon Hartley Probabilidade, Expectativa, Informao, Entropia

Introduo
O artigo "Transmission of Information" de Ralph Hartley foi possivelmente o primeiro no campo da Teoria da Informao, onde reconhece que a recepo de um smbolo possui informao apenas se h outras possibilidades para seu valor (um smbolo tem informao s se for uma varivel aleatria). Ele props tambm uma ferramenta para quantificar a informao definida por I(X) = log L onde X uma varivel discreta e L o nmero de valores possveis que X pode assumir e a base do logaritmo determina o tamanho da unidade de informao.

Introduo
A capacidade de transmitir digitalmente a voz, as imagens e os dados usando bits e bytes e enviando-os atravs das telecomunicaes, deve-se a um gnio criador que, h pouco mais de 50 anos, lanou as bases de uma teoria matemtica da comunicao. Esta foi a inestimvel contribuio legada por Claude Elwood Shannon (1916-2001) que 1948 conseguiu um feito rarssimo na histria da cincia, ao conceituar e sistematizar com fundamentao matemtica esta nova rea.

Introduo
Com o artigo Uma Teoria Matemtica da Comunicao, publicado no Bell System Technical Journal, abriu nova indita e rea da cincia, chamada Teoria da Informao Por ser to indito seus contemporneos no perceberam a extenso da aplicabilidade, e talvez at o prprio Shannon, no vislumbrou. Esta rea surgiu consistente, com definies e conceitos bsicos formulados, com modelagem, teoremas e fundamentos j estabelecidos, algo sem precedentes nos anais existentes poca.
1.

Este termo s apareceu num memorando de 1945, e no no artigo referido.

Introduo
A grande idia Interessado em problemas da computao, estudou lgebra booleana. No intervalo da atividade acadmica trabalhou nos clebres Laboratrios Bell, onde estudou problemas de comunicao eltrica. Teve ento a idia pioneira de reduzir o contedo da informao a sequncias de zeros e uns e de trat-la segundo as regras da lgica de Boole. A idia foi concluso do seu mestrado em 1938, sendo premiada e publicada numa revista cientfica.

Introduo
Ele delimita a comunicao ou seja, reproduzir num local, de forma aproximada ou exata, uma mensagem selecionada noutro local. Tambm trata de conceitos: Informao, Codificao da Fonte e do Canal, Largura de Banda, Entropia, Distoro e suas relaes entre outra coisas. Assim ele trouxe resposta perguntas como:
Qual a complexidade irredutvel da qual um sinal no pode ser comprimido? Qual a taxa de transmisso definitiva para uma comunicao confivel atravs de um canal ruidoso?

Introduo
Face aos desenvolvimentos feitos por Hartley em 1928 demonstrando que a capacidade de informao transmitida por um canal proporcional ao produto da largura de banda pelo tempo recebe o nome de Lei de ShannonHartley ou Teorema da Capacidade de Canal. Outros conceitos publicados em 1949 sob o ttulo Communication theory of secrecy systems foram objeto de estudos feitos em 1945 que deram origem Compresso de Dados e a Criptografia alm do sigilo nas transmisses.

Introduo
Por meio de probabilidades, define ento a quantidade de informao com base na sua incerteza ou dificuldade de previso. Ex.: Um emissor transmite a mensagem BOM DIA, letra por letra. No inicio as letras, causam expectativa no receptor, que as v surgir : B, O, M, espao, e depois D e o I. O A final quase intil, pois a probabilidade de ocorrer to grande, dando sentido frase, que a quantidade de informao transmitida pelo A muito menor que a transmitida pelas demais.

Introduo
Para medir a quantidade de informao, Shannon criou o conceito de entropia, termo j encontrado em termodinmica. Com o conceito de entropia pode-se definir a quantidade de informao transmitida e os limites timos de compresso da informao. Conhecendo a capacidade de um canal usando os conceitos da Teoria da Informao de Shannon, pode-se melhorar a transferncia de um sinal e filtrar o rudo, alcanando uma confiabilidade maior.

Introduo
O meio mais simples de contornar o rudo a repetio. Shannon demonstrou que, numa transmisso em que os erros acontecem com determinada probabilidade, pode-se diminuir a probabilidade de erro at ao ponto desejado introduzindo redundncia na informao. Para tanto, o canal deve funcionar abaixo da sua capacidade terica, otimizando os cdigos, compactando e introduzindo formas de correo de erro, como aquele concebido por Richard W. Hamming (1915-1998) em 1950.

aula 2 Probabilidade
Introduo, Definies bsicas de Estatstica Probabilidade e Frequncia de Ocorrncia Probabilidade Conjunta e Condicional Independncia Estatstica Teorema de Bayes

Probabilidade - Introduo
Um processo de observao um experimento Est de acordo com a intuio e experincia que no possvel prever exatamente o que ocorrer num experimento aleatrio (p.ex. jogo da roleta, lanamento de moeda, etc), bem como o resultado de uma transmisso de informao por um canal. A caracterstica de imprevisibilidade denominase aleatrio, dado que se o receptor soubesse qual a mensagem, no seria necessrio enviar

Probabilidade - Introduo
Mas espera-se que o nmero de vezes que um determinado evento designado por A ocorra sendo N o nmero de repeties tal que N >> 1, para esta quantidade de repeties, o experimento seja NA ~ N P(A) assim a Probabilidade s tem significado relativamente a um grande nmero de repeties. Nas abordagens at o momento de Sistemas de Comunicao discutiu-se a transmisso de sinais sem levar em conta a aleatoriedade intrnseca das comunicaes.

Probabilidade - Definies
lgebra de eventos:
O complemento do evento A, denotado por A, o evento contendo as amostras pontuais de S que no esto em A. A unio de dois eventos A e B, denota-se A B o evento contendo todas as amostras de A ou B ou de ambos. A interseo dos eventos A e B, denotado por A B o evento contendo todas as amostras pontuais que esto tanto em A quanto em B. O evento que no contm amostra pontual chamado de evento nulo, denotado por , ou seja um evento impossvel.

Probabilidade - Definies
Dois eventos A e B, so chamados mutuamente exclusivos ou disjuntos se eles no contm amostras pontuais comuns, ou seja A B = .

Identidades decorrentes destas definies:

S = ou = S SA=S SA=A AA=S AA= A=A

Uma associao de nmeros reais com eventos definidos em S chamada de medio probabilstica.

Probabilidade - Definies
O conjunto de todos os resultados possveis de um experimento aleatrio chamado de Espao Amostral e um elemento deste espao a Amostra Pontual. A probabilidade de um evento A representada NA por P ( A ) = lim OBS.: Note que o limite pode no existir n
N

ou

Probabilidade - Definies
Na definio axiomtica de probabilidade P(A) de um evento A um nmero Real associado a A tal que satisfaa os seguintes axiomas
Axioma 1: P(A) 0 Axioma 2: P(S) = 1 Axioma 3: P(A B) = P(A) + P(B) se A B =

Destes axiomas decorrem as propriedades:

P(A) = 1 P(A) P() = 0 P(A) P(B) se A B P(A) 1 P(AB) = P(A) + P(B) P(AB) P(AB) P(A) + P(B)

Probabilidade Conjunta
Definio: Chama-se funo de probabilidade conjunta a varivel aleatria bidimensional (A,B) funo PAB(Ai,Bk) que associa a cada elemento de R2 uma probabilidade. p A, B (ai , bk ) = P ( A = ai , B = bk )
NCF ( A, B ) Logo temos : P ( A, B) = com NTC NTC

A funo de probabilidade conjunta verifica as seguintes propriedades: 1) p A, B (ai , bk ) 0, (ai , bk )

2)

. p (a , b ) = 1
A, B i k i k

Probabilidade Condicional
Definio: probabilidade condicional de um evento a probabilidade obtida com a informao adicional de que algum outro evento ocorreu. P(B|A) representa a probabilidade condicional da ocorrncia do evento B, dado que o evento A j ocorreu.

Exemplo 1
Exemplo 1 - Seja o lanamento de dado, e os eventos: A={sair o nmero 3}. Ento P(A) = 1/6; B={sair um nmero impar} P(B) = 1/3;. Ento qual a probabilidade de ocorrer P(A|B)? Formalmente: Dado dois eventos A e B, denota-se NCF = nmero de casos favorveis NCT = nmero de casos total
NCF ( A B) P( A B) NCF ( A B) 1 NCT P( A | B) = = = = NCF ( B) P( B) NCF ( B) 3 NCT

Exemplo 2
A = {(x1,x2) | x1 + x2 = 10} B = {(x1,x2) | x1 > x2} onde x1 o resultado do dado 1 e x2 o resultado do dado 2. Calcular P(A), P(B), P(A|B) e P(B|A)
NCF ( A) 3 1 P( A) = = = NCT 36 12
NCF ( A B) 1 P( A | B) = = NCF ( B) 15

NCF (B) 15 5 P(B) = = = NCT 36 12

NCF ( A B ) 1 P ( B | A) = = NCF ( A) 3

Exemplo: Lanamento de dois dados

1 (1,1) (2,1) (3,1) (4,1) (5,1) (6,1) 2 (1,2) (2,2) (3,2) (4,2) (5,2) (6,2) 3 (1,3) (2,3) (3,3) (4,3) (5,3) (6,3) 4 (1,4) (2,4) (3,4) (4,4) (5,4) (6,4) 5 (1,5) (2,5) (3,5) (4,5) (5,5) (6,5) 6 (1,6) (2,6) (3,6) (4,6) (5,6) (6,6)

1 2 3 4 5 6

Teorema do Produto
A probabilidade de ocorrncia simultnea de dois eventos, A e B, do mesmo espao amostral S, igual ao produto da probabilidade de um deles pela probabilidade condicional do outro, dado o primeiro. P(AB) P(B) P(AB) P(A)

P(A|B)= P(B|A)=

P(A B) = P(B) . P(A | B)

P(A B) = P(A) . P(B | A)

Exemplo 2
Em um lote de 12 peas, 4 so defeituosas, 2 peas so retiradas um aps a outra sem reposio. Qual a probabilidade de que ambas so sejam boas? Seja A={primeira boa}, B={segunda boa}
8 7 14 P(A B) = P(A) . P(B | A) = = 12 11 33

Independncia Estatstica
Um evento A considerado independente de um outro evento B se a probabilidade de A igual probabilidade condicional de A dado B, isto :
P(A)= P(A|B) se A e B so eventos independentes ou P(B)= P(B|A) se A e B so eventos independentes
P( A, B) P( A, B) Por definio P( A | B) = logo P( A) = P( B) P( B)

P(AB)=P(A,B)=P(A)P(B) se A e B so independentes

Teorema de Bayes
Sejam A1, A2, A3,...,An um conjunto de eventos mutuamente disjuntos de um espao amostral S, isto , S=A1A2 ..., An. Seja B um evento qualquer de S, ento para cada i:
P( B | Ai ) P( Ai ) P( A1 B) P( Ai | B) = = P( B) P( B | A1 ) P( A1 ) + ... + P( B | An ) P( An )

So conhecidas todas as P(Ai) e P(B|Ai). Logo trata-se de uma generalizao da probabilidade condicional ao caso de mais de dois eventos.

Teorema de Bayes
A probabilidade conjunta relaciona-se com a probabilidade condicionada da seguinte forma:
P(A,B) = P(A|B) . P(B) P(A,B) = P(B|A) . P(A)

Face a estas duas igualdades chega-se ao denominado Teorema de Bayes: P ( B | A) P ( A) se P(B) > 0 P( A | B) =
P(B)

Corolrio A e B so independente sss P(A|B) = P(A).

Exemplo 3
Considere um fabricante de automveis que recebe embarques de peas de dois diferentes fornecedores. A1 = evento que uma pea do fornecedor 1: P(A)=0,65 A2 = evento que uma pea do fornecedor 2: P(B)=0,35 B = evento em que uma pea boa R = evento em que uma pea ruim P(B|A1)=0,98; P(R|A1)=0,02; P(B|A2)=0,95; P(R|A2)=0,05 Dado que uma pea ruim, qual a probabilidade da pea ser do fornecedor 1 e qual a probabilidade da pea ser do fornecedor 2? Ou seja P(A1|R)=? e P(A2|R)=?

Exemplo 4
Qual a chance de chover dado que um time de futebol est jogando P(C|J) , sabendo que: Chance de jogar quando chove (C) 0,5; De jogar quando for de noite (N) de 0,3; E quando falta energia no estdio (F) 0,7; P(C) = 0,8; P(N) = 0,2; P(F) = 0,1;

Exemplo 4
P(C|J) = ? P(J|C) = 0,5 P(J|N) = 0,3 P(J|F) = 0,7 P(C) = 0,8 P(N) = 0,2 P(F) = 0,1

Exerccios
Um dado viciado de tal forma que a probabilidade de sair uma certa face proporcional ao seu valor (o valor 6 seis vezes mais provvel de sair do que o 1, por exemplo). Calcule: a) a probabilidade de sair 5, sabendo que saiu um nmero mpar b) a probabilidade de tirar um nmero par, sabendo que foi um nmero maior que 3

Exerccios
Dada a seguinte tabela, calcule a probabilidade de uma mulher ter sido escolhida, dado que ela tem menos de 25 anos.
Idade\Sexo Idade < 25 25 =< Idade < 40 Idade => 40 Total Homens 2000 4500 1800 8300 Mulheres 800 2500 4200 7500 Total 2800 7000 6000 15800

Exerccios
Verifique se os eventos A e I so independentes, dada a tabela de probabilidade de eventos.
I A Total 0,04 0,08 0,12 0,06 0,82 0,88 Total 0,10 0,90 1,00