Aluno: Lucas Hélio Silva Ramos

2.3

Queremos achar todos os vetores de probabilidade que querem minimizar a função

H(p) = − ∑ 𝑝𝑖 𝐿𝑜𝑔 𝑝𝑖
𝑖
sendo assim, os valores de pi = 1 e pi = 0 zeram a função. Como existem n vetores, as
combinações são sempre de um p = 1 e os outros p’s=0. Exemplo: (1, 0, 0, …, 0), (0, 0,.., 1)
etc.

2.4
a) H(X, g(X)) = H(X) + H(g(X)|X) pela regra da cadeia para entropia
b) H(g(X)|X) = 0 para qualquer valor particular de X, onde g(X) é fixo e

H(g(X)|X) = ∑ 𝑥 𝑝(𝑥)𝐻(𝑔(𝑋)|𝑋 = 𝑥) = ∑ 𝑥 0 = 0

c) H(X, g(X)) = H(X | g(X)) + H(g(X)) pela regra da cadeia para entropia.
d) H(X| g(X)) ≥ 0, igual a 0 caso X for uma função de g(X).

2.5

Base: Entropia condicional = 0

Hipótese: Assumindo que existe um x e dois valores de y onde p(x, y1) > 0 e p(x,y2) > 0.

p(x) ≥ p(x, y1) + p(x, y2) > 0 e p(y1|x) e p(y2|x) não são iguais a 0 ou 1, então:

H(Y |X) = −∑ p(x) ∑ p(y|x) log p(y|x) ≥ p(x)(−p(y1|x)log p(y1|x) − p(y2|x)log p(y2|x)) >> 0
𝑥 𝑦

já que para o log, -t log t ≥ 0 quando 0 ≤ t ≤ 1, onde é extremamente positivo quando t

não é igual a 0 ou 1.

Então a entropia condicional H(Y|X) é 0 se Y é uma função de X

2.15

Pela regra da cadeia pra informação mútua:

I(X1;X2;X3;...;Xn) = I(X1;X2) + I(X1;X3|X2)+ ... + I(X1;Xn|X2, … , Xn-2)

Pela propriedade de Markov os eventos que acontecem antes e depois são independentes
dado o momento atual. Logo todos os termos são zero, com exceção do primeiro. Logo:

I(X1;X2;X3; … ; Xn) = I(X1;X2)

2.21

P(p(X) < d) log 1/d = ∑ p(x) log 1/d

𝑥:𝑝(𝑥)<𝑑

P(p(X) < d) log 1/d ≤ ∑ p(x) log 1/p(x)

𝑥:𝑝(𝑥)<𝑑

P(p(X) < d) log 1/d ≤ ∑ p(x) log 1/p(x)

𝑥

P(p(X) < d) log 1/d = H(X)