Você está na página 1de 81

Natureza da Informao

Semana 4: Teoria da informao

David Correa Martins Jr


david.martins@ufabc.edu.br

Como medir a quantidade de


informao?

Entropia de Boltzmann
S=k log W

Inscrio na lpide de
Boltzmann: S = k log W
Boltzman no especificou a
base do logaritmo.
Contudo a frmula
independe da base porque:

S = k log a W =
log b W
k
k
=
log b W =
log b a log b a
= k log b W

Entropia de Boltzmann (metfora da sinuca)


Entropia de Boltzmann: mede o
quo uniforme os molculas de um
gs se distribuem ao longo de um
ambiente
Suponhamos um tabuleiro de
sinuca (ambiente) com quatro bolas
de cores diferentes (molculas).
O tabuleiro est dividido em duas
partes: a parte direita e a parte
esquerda.
Existem 16 possveis formas de
colocar as bolas

E
E
E
E
E
E
E
E
D
D
D
D
D
D
D
D

E
E
E
E
D
D
D
D
E
E
E
E
D
D
D
D

E
E
D
D
E
E
D
D
E
E
D
D
E
E
D
D

E
D
E
D
E
D
E
D
E
D
E
D
E
D
E
D

0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1

0
0
0
0
1
1
1
1
0
0
0
0
1
1
1
1

0
0
1
1
0
0
1
1
0
0
1
1
0
0
1
1

0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1

16 possibilidades ou combinaes ou estados possveis

S3=kLog(6)

S4=kLog(4)

S2=kLog(4)

S1=kLog(1)

1/16

S5=kLog(1)

4/16

6/16

4/16

1/16

Se quisermos calcular a entropia de todo o


conjunto de possveis combinaes (16) e
decidirmos utilizar na frmula de Boltzman,
com k=1 e a base do logaritmo igual a 2, a
entropia termodinmica seria:

S = k log2W = 1 log216 = 4

Entropia do arranjo da coluna central do histograma


16 combinaes

E
E
E
E
E
E
E
E
D
D
D
D
D
D
D
D

E
E
E
E
D
D
D
D
E
E
E
E
D
D
D
D

E
E
D
D
E
E
D
D
E
E
D
D
E
E
D
D

E
D
E
D
E
D
E
D
E
D
E
D
E
D
E
D

0 0 0

6 com 2 bolas na direita


e 2 na esquerda

0 0 1
0 1 0
0 1 1
1 0 0
1 0 1

Somente precisamos de 3
bits para nomear as 6
possveis combinaes

Se quisermos calcular a entropia do arranjo


onde tm duas bolas a direita e duas a
esquerda (6 combinaes):

S = k log2W = 1 log26 =
log106 0,7782
=
= 2,585
log102 0,3010

Entropia de Boltzmann (Termodinmica)

Entropia de Shannon (Informao)

Claude Elwood Shannon (1916-2001)


Trabalhava nos
Laboratrios Bell
Quanta informao pode
passar por uma linha de
telefone?
Inventou o termo bigit ou
bit
Toda informao pode ser
representada por uma
cadeia de bits

Modelo de sistema de comunicao




Modelo completo

Entrada
(smbolos)

Codificador
de fonte

(Arrays
de bits)

Sada

Decodificador
de fonte
(Arrays
(smbolos)

de bits)

ys
ra t s
Ar bi

Canal
ruidoso

ys s
a
r it
Ar e b
d

Codificador
de canal

de

Modelo de sistema
que lida com informao
Smbolos de uma entrada so
codificados em bits,
Bits so enviados por um canal
at um receptor e
So decodificados em smbolos

(Ar
Compressor de rays
bits
)

Expansor

Decodificador
de canal

ys
a
r
(Ar bits)
de

Componentes


Fonte (entrada)


Modelar em termos de distribuies de


probabilidade
Funo da fonte: prover um cdigo a um conjunto
de smbolos


Experimento





Ex.: jogar moeda ou dado

Observao de aes
Representao de um objeto


Ex.: caracteres de texto, pixels de imagem

Fonte


Consideraremos nmero finito de smbolos




E mutuamente exclusivos


S um pode ser escolhido a cada instante

Cada escolha = um resultado




Objetivo: rastrear a sequncia de resultados

Fonte


Sabendo o resultado, como denot-lo?




Fornecendo sua denominao (codificao)

E se no sabemos ainda o resultado, ou


estamos incertos sobre ele?


Como expressar conhecimento sobre ele se h


incerteza?



Usar probabilidades
Estudar Teoria de Probabilidades no final dos slides
(Apndice)

Informao


Queremos expressar a informao (ou falta


dela) a respeito da escolha de um smbolo


Conhecida a resposta, no h incerteza sobre o


smbolo escolhido
E antes da seleo ser feita ou de sabermos a
resposta?


Temos incerteza


Quanta?

Um mtodo simples para medir a informao:


Quantas perguntas preciso fazer para saber qual nmero voc
pensou dentre este conjunto de nmeros?

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16





Um dos alunos pensa um nmero


O professor faz as perguntas e anota 1 no quadro
branco se a resposta for sim e 0 se a resposta for
no

Um mtodo simples para medir a informao:

Supor que o aluno pensou no nmero 5







O nmero maior do que 8? No 0


O nmero maior que 4? Sim
01
O nmero maior que 6? No
010
O nmero maior que 5? No
0100
Ento o 5
Se as questes esto corretamente formuladas,
possvel identificar o nmero somente com log2(16)=4
questes ou 4 bits

Codificao Binria (0 e 1)

Permite identificar qualquer magnitude em


termos de sim e no


Para identificar nmero entre 1 e n, precisaramos realizar


log2(n) questes bem formuladas
Bem formuladas: cada resposta tenta sempre dividir o
espao pela metade (em duas partes iguais)
Exemplo: para identificar um tomo no meio do universo
que tem 1080 tomos


Precisaramos de log2(1080) = 266 perguntas bem


formuladas (cujas respostas consigam dividir o espao em 2
partes aproximadamente iguais)

O Bit



Grau de imprevisibilidade
Bit a quantidade de informao necessria
para tomar uma deciso perante duas
opes igualmente provveis
Calcular grau de imprevisibilidade (em bits)
segundo a frmula de Boltzmann



S = k log(W)
W so possveis configuraes que toma um
determinado arranjo de particulas
k=1

Informao


Informao medida em bits




Como tamanho em metros e tempo em segundos

Quantidade de informao aprendida ao


conhecer o resultado o nmero mnimo de
bits que seriam usados para especificar
cada smbolo

A informao medida em bits


S = log 2 (n)

S = log 2 (1) = 0 bits


Supondo que sempre
faz sol no
Deserto do Saara

S = log 2 (2) = 1 bits


S = log 2 (6) = 2,58 bits

Quantificando informao


Supor situao com vrias sadas possveis




Ex.: jogar uma moeda




2 sadas possveis: cara ou coroa

Ex.: selecionar uma carta de um baralho




52 possibilidades

Quo compactamente Alice pode contar a


Bob a sada de alguma dessas situaes?

Quantificando informao


Jogando uma moeda

Alice deve comunicar a Bob o resultado:




Assumindo codificao de tamanho fixo, deve-se


transmitir a mesma quantidade de informao, para
falar cara ou coroa (0 ou 1)


Informao transmitida de um bit por resultado (seja ele


cara ou coroa)

Quantificando informao


Jogando duas moedas

Para falar uma das quatro possibilidades:




Experimento com oito possibilidades




Falar 0 ou 1 duas vezes (2 bits)


Pode ser transmitido com 3 bits

2n possibilidades: n bits

Quantidade de informao = log2W


W = nmero de possibilidades

Transmitindo informao
Transmisso de informao requer duas fases:
Fase setup:
Alice e Bob concordam sobre o que vo comunicar
e o que cada sequncia de bits significa

Ou seja, eles estabelecem um cdigo (conveno)


Ex.: transmitir naipe de uma carta de um baralho
00 Copas
01 Ouros
10 Espada
11 Paus

Transmitindo informao
Cdigo
Ex.: transmitir naipe de uma
carta de um baralho
00 Copas
01 Ouros
10 Espada
11 Paus

Note que o primeiro bit informa a cor do naipe


Vermelho (0), Preto (1)

E o segundo bit informa qual o naipe dado que o


primeiro bit j foi recebido

Transmitindo informao
Transmisso de informao requer duas fases:
Fase de comunicao:
Envio das sequncias de 0 e 1
Dos dados

Transmitindo informao


Aps Bob saber que uma carta retirada, ele


se encontra incerto sobre o naipe


Incerteza (ou falta de informao) tambm pode


ser expressa em bits

Escutando o resultado, incerteza reduzida




Pela informao recebida


Incerteza de Bob aumenta na fase de setup e
diminuda durante a fase de comunicao

Resumindo


Informao pode ser aprendida por observao,


experimento ou medida
Informao pode ser perdida



Por perda dos dados


Por perda do cdigo

Forma fsica de informao est localizada no


tempo e espao



Informao pode ser enviada de um local para outro


Informao pode ser armazenada e recuperada depois

Exemplo


Sinais do truco










Piscar um olho = Zap (manilha de paus)


Subir as sobrancelhas = Copeta (manilha de copas)
Fazer um montinho na bochecha usando a lngua =
Espadilha (manilha de espadas)
Mostrar a ponta da lngua = Pica Fumo (manilha de ouros)
Levantar um ombro = Trs
Levantar dois ombros = duas cartas Trs
Encher as bochechas de ar = duas ou mais manilhas
Colocar as cartas na mesa = nada de bom

Lula apresentando alguns sinais do truco

S=log2W
Se W o numero de diferentes mensagens
equiprovveis que precisamos transmitir, o cdigo mais
enxuto aquele que tem log2W bits.
No caso do truco, podemos transmitir a informao de
manilha (4 possibilidades) com 2 bits, sendo suficiente
usar os dois olhos
olhos fechados
olho esquerdo fechado
olho direito fechado
olhos arregalados

Exerccio


O jogo de truco consiste de um jogo onde 3


cartas so distribudas para cada
participante. Usando as prprias cartas da
mo, onde cada carta pode estar deitada de
cabea para baixo na mesa ou na mo (em
p), possvel projetar um cdigo para
representar os sinais de truco descritos
anteriormente? Caso afirmativo, determine
uma possvel codificao para esses sinais.

Informao


E quando os eventos tm probabilidades


diferentes?


Aprendemos diferentes quantidades de


informao


Se resultado era provvel, aprendemos menos do que


se ele era improvvel
Informao ganha por uma resposta i log2(1 / p(Ai))


= - log2(p(Ai))

Exemplo


Classe de 32 alunos: 2 mulheres e 30


homens


Um aluno escolhido


Incerteza inicial de 5 bits




Objetivo saber qual


Necessrio para especificar o resultado

Escolha aleatria probabilidade de cada um


ser selecionado 1/32



Mulher: p(M) = 2/32


Homem: p(H) = 30/32

Exemplo


Classe de 32 alunos: 2 mulheres e 30


homens


Quanta informao ganhamos sabendo que a


escolha de uma mulher, sem saber qual?


Incerteza diminuda de 4 bits para 1 bit





Necessrio para especificar qual das duas mulheres


Ganhamos 4 bits de informao!

E se for homem?



Reduz incerteza de 5 a 4,91 bits (log230)


Aprendemos 0,09 bits de informao

Informao


No caso dos sinais do Truco





Sinais no so equiprovveis!
No Truco, existem 40 cartas (incerteza inicial = log2(40) =
5,32 bits)
Probabilidade de uma determinada carta ser manilha =
4/40 = 10% (informao ganha = - log2(4/40) = 3,32 bits)
Probabilidade de uma determinada carta ser um Zap =
1/40 = 2,5% (informao ganha = - log2(1/40) = 5,32 bits =
incerteza inicial! temos certeza de qual a carta!)
Probabilidade de uma determinada carta ser um 3 = 4/40 =
10% (informao ganha = - log2(4/40) = 3,32 bits)
Probabilidade de uma determinada carta no ser boa (no
3 e nem manilha) = 32/40 = 80% (informao ganha = log2(32/40) = 0,32 bits)

Uma interpretao da frmula:


informao = -log(probabilidade)


Numa sequncia binria, se todos so um, no


h incerteza (-log2(100%) = -log2(1) = 0)


1111111111

Mas se o nmero 1 aparece 10% das vezes:





Ex: 0001000000
Neste caso, o nmero 1 possui -log2(1/10) de
informao ou:
log2(p) = -log2 (0,1) = log2 (10) = 3,3219 bits
Enquanto que o nmero 0 possui:
log2(p) = -log2 (0,9) = log2 (10/9) = 0,152bits

Ento, quanta informao temos nesta


mensagem?
0000010000

Poderia pensar que como temos 10 dgitos, teramos 10 bits de informao,


mas na verdade cada 0 vale 0,15 bits porque tem pouca incerteza
(imprevisibilidade ou surpresa),
enquanto que o nico 1 carrega muita informao (3,32 bits)

A entropia ou informao total da mensagem


seria:
Htotal=9x(informao do zero)+1x(informao do 1)=
=9x0,15+1x3,32= 4,67 bits (ao invs de 10 bits)

Informao


Se queremos quantificar nossa incerteza


antes de saber uma resposta


Mdia ponderada sobre as quantidades de


informao de todos os possveis resultados
Informao mdia:


Soma da multiplicao da informao de cada evento Ai


pela probabilidade p(Ai)

H = - p(Ai) log2(p(Ai))
Entropia de uma fonte (Entropia de Shannon)
Fundamental para caracterizar informaes de fontes

Informao


Ateno: cuidado quando probabilidade de um


evento 0








- log(0) = infinito
Embora tenha quantidade de informao infinita, a
probabilidade de ocorrncia zero
Ou seja: se P(X) = 0, ento H(X) = - 0 log(0)
- 0 log(0) indeterminado (0 multiplicado por infinito)
Mas H(X) = 0
X um evento inexistente


No entra na conta da entropia

Verdadeira contribuio de Shannon





Quanta informao cabe numa mensagem?


Como arranjar melhor a informao para que
a mensagem seja mais enxuta?



Exemplo de aplicao: compresso de dados


Veremos nas prximas aulas

Informao


Ex.: Informao contida na jogada de uma moeda


alterada para cair 60% das vezes em cara e 40%
em coroa
H = 0,6 log 2 (0,6) (0,4) log 2 (0,4) = 0,97 bits

44

Propriedades da informao


conveniente pensar em informao como


quantidade fsica com dimenses



Ex. como velocidade: tamanho/tempo (m/s)


Menos natural, uma vez que probabilidades no
possuem dimenso
Mas frmula usa log2


Informao em log de base 2 expressa em bits




Poderia usar outras bases


 logk(x) = log2(x) / log2(k)

Propriedades da informao


Se h dois eventos com probabilidades p e (1-p), a


informao por smbolo :


H = - p log2(p) - (1-p) log2(1-p)


Entropia de uma fonte com 2
smbolos como funo de p
Entropia (Shannon):
maior (1 bit) quando p = 0,5
(probabilidade dos dois eventos igual)
0 para p = 0 e p =1 (nestes casos,
resposta certa e nenhuma
informao ganha conhecendo-a)

Propriedades da informao
Ex.: moeda
p(cara) + p(coroa) = 1
H = p(cara) log 2 ( p (cara)) p(coroa) log 2 ( p(coroa)) =
p(cara) log 2 ( p(cara)) ((1 p (cara)) log 2 (1 p(cara))
Quando ambas possibilidades tm a mesma probabilidade de acontecer,
p(cara) = p(coroa) = 0,5 e a entropia ou imprevisibilidade mxima, e igual
a 1 bit

Propriedades da informao


Para parties com mais de dois eventos, a


informao por smbolo pode ser maior


Se h n possveis eventos, a informao por


smbolo situa-se entre 0 e log2n bits


Valor mximo H = log2(n) quando todas as


probabilidades so iguais (eventos equiprovveis)

pi = 1 / n, i
1
1
H = pi log 2 pi = n log 2 = log 2 (n )
n
n
i=1
n

Exemplo


Supondo que sempre faz sol no


deserto do Saara




P(sol) = 1
H apenas um estado possvel: sol
No h informao em amanh
far sol no Saara


Entropia = 0 (incerteza nula)

Um emissor que fornece sempre a mesma mensagem, fornece 0 bits de


informao
(enquanto o contedo informativo de uma mensagem
pouco previsvel grande)
49

H = pi log 2 pi

H = 1 log 2 (1) = 0 bits


Um nico evento com probabilidade = 1
50

Exemplo


1 bit dois estados


igualmente provveis
Precisamos transmitir um bit
para informar sobre o estado
da moeda
Mas sabemos que s pode
ser cara ou coroa


Um bit resolve
51

Dois eventos (cara e coroa),


cada um deles com
probabilidade 0,5
2

H = pi log 2 pi = pi log 2 pi =
i =1

= pcara log 2 pcara pcoroa log 2 pcoroa =


= 0,5 log 2 0,5 0,5 log 2 0,5 =
= 0,5 log 2 (1 / 2) 0,5 log 2 (1 / 2)) =
= 0,5 log 2 2 + 0,5 log 2 2 = 0,5 + 0,5 = 1bit
52

Exemplo




Dado: 6 estados
2 bits no so suficientes
3 bits: sobram 2 estados

53

Seis eventos 1,2,3,4,5,6


cada um deles com
probabilidade 1/6
6

H = pi log 2 pi = pi log 2 pi =
i =1

= p1 log 2 p1 p 2 log 2 p 2 p3 log 2 p3


p 4 log 2 p 4 p5 log 2 p5 p6 log 2 p6 =
= ( 16 )log 2 ( 16 ) ( 16 )log 2 ( 16 ) ( 16 )log 2 ( 16 )
( 16 ) log 2 ( 16 ) ( 16 )log 2 ( 16 ) ( 16 ) log 2 ( 16 ) =
= 6( 16 )log 2 ( 16 ) = log 2 ( 16 ) = log 2 6 = 3,32 log 10 6 =
= 2,58bits
54

Informao transmitida, It


a diferena entre o grau de entropia ou


imprevisibilidade inicial (H) e a
imprevisibilidade final Hm obtida aps o envio
da mensagem m

Hm

It
55

Informao transmitida It


H a entropia (ou incerteza) inicial da fonte


de informao


 It:


Representa tambm a capacidade potencial (ou


mxima) de informao que pode ser fornecida
por um determinado arranjo ou dispositivo no
instante inicial

Informao transmitida
Hm a entropia (ou incerteza) final, depois da
mensagem m ter sido transmitida

Exemplo:


Jogar uma bola em uma


matriz com 16 buracos


Ela cair em qualquer um


dos buracos com igual
probabilidade (1/16)
Quais so as entropias
(incertezas) inicial e final?
Qual seria a quantidade de
informao fornecida pela
bola?


Ou seja, Hinicial Hfinal?

Exemplo:


Entropia inicial: Hinicial =


log2(16) = 4

Exemplo:
Entropia final: Hfinal = log2(15)
 Informao: diferena de
entropias:
 I = Hinicial Hfinal
 I = log2(16) log2(15) =
= log2(16/15) = 0,09 bits


Para a prxima aula





Aula de exerccios
Estudar e fazer os exerccios da Semana 4


Teoria da Informao



Tidia, seo Repositrio->Aulas->Semana 4


TIdia, seo Repositrio->Exerccios->Lista - Semana 4

No precisa entregar, mas fundamental


fazer os exerccios para estudar e se preparar
para as aulas


e consequentemente para as provas

Apndice

Reviso sobre Teoria das Probabilidades

Probabilidades
Ex.: caractersticas dos estudantes MIT
2007
Tipo/nmero

Mulheres Homens Total

Calouros

482

596

1078

Graduao

1916

2316

4232

Ps-graduao

1916

4236

6152

Total estudantes

3832

6552

10384

Probabilidades
Ex.: caractersticas dos estudantes MIT
Mulheres

Homens

calouros

Graduao

Ps

Mulheres

Homens

Probabilidades


Ex.: caractersticas dos estudantes MIT




Supor que um calouro selecionado





Smbolo = um estudante individual


Conjunto de possveis smbolos = 1078

No sabendo qual foi, homem ou mulher?




Como voc caracteriza o seu conhecimento?




Qual a probabilidade de uma mulher ter sido


selecionada?

Probabilidades


Ex.: caractersticas dos estudantes MIT




Supor que um calouro selecionado




Qual a probabilidade de uma mulher ter sido


selecionada?



45% dos calouros so mulheres (482 / 1078)


Se todos tm mesma probabilidade de serem escolhidos,
probabilidade de selecionar mulher 45%
E se seleo feita no corredor de um dormitrio
feminino?
 Probabilidade ser maior que 45%

Eventos


Resultado: algo que segue como


consequncia


Smbolo selecionado, conhecido ou no para ns

Evento: subconjunto dos possveis


resultados de um experimento


Quando seleo feita, h vrios eventos






Um o prprio resultado: evento fundamental


Outros: seleo de smbolo com propriedade particular
Por simplicidade, as selees sero chamadas eventos

Eventos


Ex.: um calouro do MIT selecionado




Resultado a pessoa em especfico selecionada




Evento fundamental

Outros eventos:






Seleo de uma mulher


Seleo de algum da California
Seleo de algum maior de 18 anos
Seleo de mulher do Texas
Seleo de qualquer pessoa


Seleo de nenhum smbolo




Evento universal
Evento nulo

etc.

Eventos


Diferentes eventos podem ou no se sobrepor




Ocorrem para o mesmo resultado

Eventos que no se sobrepem: mutuamente exclusivos


Ex.: aluno selecionado ser homem ou mulher


Conjunto de eventos exaustivo: ao menos um deles


ocorre quando um smbolo escolhido


Ex.: aluno escolhido tem:





Evento 1: menos que 25 anos


Evento 2: mais que 17 anos


So exaustivos, mas no so mutuamente exclusivos

Eventos


Partio: conjunto de eventos mutuamente


exclusivos e exaustivos


Ex.: Eventos mulher e homem formam uma


partio

Partio fundamental: contm todos os


eventos fundamentais


Ex.: Eventos fundamentais associados a cada


uma das 1078 pessoas formam partio
fundamental

Resultados conhecidos


Sabendo um resultado, fcil denot-lo






Especificando o smbolo que foi selecionado


Sabe ento que eventos ocorreram
Mas deve conhecer o resultado


Enquanto no conhecido, no possvel expressar


dessa forma

Outra forma de denotar: probabilidades




Generalizvel a situao em que resultado ainda


no conhecido

Resultados conhecidos


Seja i um ndice dentro de uma partio




De 0 a n -1 (n o nmero de eventos na partio)

Para qualquer evento particular Ai




p(Ai) = 1 se resultado correspondente


selecionado
p(Ai) = 0 caso contrrio


Partio ser 1 para exatamente um evento i e 0


para demais eventos


Ex. p(evento universal) = 1 e p(evento nulo) = 0


Mesma notao se aplica a eventos A quaisquer
(no necessariamente em uma partio)

Resultados desconhecidos


Se smbolo ainda no foi selecionado, o


resultado no conhecido


Ento cada p(A) pode ter um valor entre 0 e 1







Valores maiores = maior crena de que o evento vai


ocorrer
Valores menores = menor crena de que o evento vai
ocorrer
Se evento certamente impossvel p(A) = 0
Quando resultado aprendido, cada p(A) pode ser
ajustado para 0 ou 1

Resultados desconhecidos


Forma de atribuir os valores




Obedecer teoria da probabilidade




Valores = probabilidades


Conjunto de probabilidades que se aplicam a uma partio


= distribuio de probabilidade

Axiomas da probabilidade:
Para qualquer evento A: 0 p(A) 1
Se um evento A ocorre somente em funo de outros eventos
mutuamente exclusivos Ai (porque, por exemplo, formam uma
partio): p(A) = p(Ai)
Para qualquer partio: p(Ai) = 1
(j que p(evento universal) = 1)

Eventos conjuntos


Probabilidade de smbolo escolhido ter duas


propriedades diferentes


Ex.: escolha de caloura (mulher) do Texas






p(M) = probabilidade de ser mulher


p(T) = probabilidade de ser do Texas
p(M,T) = probabilidade de ser mulher do Texas

Se os eventos so independentes multiplica


probabilidades dos eventos individuais


Probabilidade de um no depende do outro ocorrer




p(A,B) = p(A) p(B)

Eventos conjuntos


Independncia no usual


Frmula mais geral para a probabilidade do


evento conjunto (ambos ocorrerem)


Probabilidades condicionais: probabilidade de um


evento dado que outro ocorreu


Ex.: p(M | T) = probabilidade condicional de selecionar


mulher, dado que o calouro escolhido do Texas

p(A,B) = p(B) p(A | B)


= p(A) p(B | A)

Teorema de
Bayes

Eventos conjuntos


Ex.:


p(M, T) = p(T) p(M | T)




Probabilidade de calouro escolhido ser mulher do Texas


probabilidade de estudante ser do Texas vezes a
probabilidade de que, sendo texana, a pessoa mulher
OU

p(M, T) = p(M) p(T | M)




Probabilidade de calouro escolhido ser mulher do Texas


probabilidade de estudante ser mulher vezes a probabilidade
de que a pessoa escolhida, sendo mulher, texana

Exemplo


Considere que um estudante qualquer


selecionado (entre todos) aleatoriamente



Igual probabilidade para todos estudantes


Partio fundamental: 10384 eventos
fundamentais



Cada aluno em particular


Soma de todas probabilidades = 1


Ento cada um tem probabilidade 1/10384 = 0,01%

Exemplo


Considere que um estudante qualquer


selecionado (entre todos) aleatoriamente


Qual a probabilidade de ser um graduando?





p(G) = 6152 / 10384 = 0,59


Soma das probabilidades fundamentais dos 6152
eventos associados a estudantes graduandos

Exemplo


Considere que um estudante qualquer


selecionado (entre todos) aleatoriamente


Qual a probabilidade de ser um homem


graduando?




p(G) = 0,59
Probabilidade conjunta p(H,G)?
Selecionado graduando, qual a probabilidade
condicional dele ser um homem?


p(H | G)?

Exemplo


Considere que um estudante qualquer


selecionado (entre todos) aleatoriamente


p(H | G)


Nova partio fundamental = 6152 possveis


graduandos (G)



4236 desses so homens (P(H|G))


Evento selecionar um homem relacionado a 4236 dos
6152 graduandos
 p(H | G) = 4236/6152 = 0,69

Exemplo


Considere que um estudante qualquer


selecionado (entre todos) aleatoriamente


p(H, G)


Teorema de Bayes


p(H, G) = p(G) p(H | G)


= 6152 x 4236 = 4236 = 40,8%
10384
6152
10384
Exerccio: usar p(H) e p(G | H) para determinar P(H,G)