Codificação de Sinais, Imagens e Vídeo - 2020/1

Universidade de Brasília - UnB

Faculdade Gama - FGA
Prof. Dr. Marcus Chaffim

Capítulo 2 - Sayood

1. Suponha que X seja uma variável aleatória que assume valores de um alfabeto com
M letras. Mostre que: 0 ≤ H(X) ≤ log2 M .

2. Mostre que para o caso onde os elementos de uma dada sequência são independente
e identicamente distribuídos, a entropia é a entropia de primeira ordem.

3. Dado um alfabeto A = {a1 , a2 , a3 , a4 }, encontre a entropia de primeira ordem para

os seguintes casos:

(a) P (a1 ) = P (a2 ) = P (a3 ) = P (a4 ) = 41 .

(b) P (a1 ) = 21 , P (a2 ) = 14 , P (a3 ) = P (a4 ) = 18 .
(c) P (a1 ) = 0.505, P (a2 ) = 41 , P (a3 ) = 81 , P (a4 ) = 0.12.

4. Dados X e Y, duas variáveis aleatórias, a entropia condicional H(X | Y ) é definida

como XX
H(X | Y ) = − P (X, Y ) log P (X, Y )
x Y

(a) Mostre que H(X | Y ) ≤ H(X)

(b) Que condição é necessária para que se mantenha a igualdade na relação?
(c) Explique por que esse resultado é esperado, dado nosso entendimento da en-
tropia H(X) como aincerteza sobre a variável aleatória X.

5. Suponha que tenhamos uma fonte com um modelo de probabilidade P = {p0 , p1 , . . . , pm }

e entropia HP . Suponha que tenhamos outra fonte com modelo de probabilidade
Q = {q0 , q1 , . . . , qm } e entropia HQ , onde:

qi = pi , i = 0, 1, . . . , j − 2, j + 1, . . . , m

e
pj + pj−1
qj = qj−1 =
.
2
Como HQ se relaciona com HP (maior, menor ou igual)? Justifique sua resposta.

6. Dada a sequência:

AT GCT T AAGCT GCT T AACCT GAAGCT T CCGCT GAAGAACCT G

CT GAACCCGCT T AAGCT GAACCT T CT GAAGCT T AACCT GCT T

CSIV - 2020/1 Prof. Dr. Marcus Chaffim

(a) Estimando as probabilidades da sequência, calcule a entropia de primeira, se-

gunda, terceira e quarta ordem, para esta sequência.
(b) Baseado nas entropias, você pode inferir como esta sequência está estruturada?

7. Existem vários arquivos de imagem e fala entre os datasets que acompanham o livro.

(a) Escreva um programa que calcule a entropia de primeira ordem de algumas

das imagens e arquivos de fala.
(b) Escolha uma das imagens e calcule sua entropia de segunda ordem. Comente
sobre a diferença entre a entropia de primeira e segunda ordem.
(c) Calcule a entropia da diferença entre os pixeis adjacentes da imagem usada no
item (b). Comente sua descoberta.

8. Conduza um experimento para verificar a eficácia da estimação de uma fonte por

um modelo.

(a) Escreva um programa que selecione aleatoriamente das 26 letras do alfabeto

{a, b, . . . , z} e forme anagramas com quatro letras. Forme 100 deles e verifique
quantos fazem sentido.
(b) Entre os itens que acompanham o livro existe um arquivo chamado 4letter.words,
que contem uma lista de anagramas com 4 letras. Utilizando o arquivo, obtenha
o modelo de probabilidade para o alfabeto. Agora, repita o ítem (a) gerando os
anagramas com o modelo de probabilidade. Para escolher as letras de acordo
com o modelo de probabilidade, construa a função de densidade cumulativa
FX (x) (veja o Apêndice A do livro para a definição da cdf ). Utilizando um
gerador de números pseudoaleatórios para gerar um valor r, onde 0 ≤ r ≤ 1,
escolha xk se FX (xk − 1) ≤ r < FX (xk ). Compare seus resultados com os
encontrados no item (a).
(c) Repita (b) utilizando contexto de uma letra.
(d) Repita (b) utilizando contexto de duas letras.

9. Você foi contratado para elaborar um código binário unicamente decodificável para
um alfabeto {a1 , a2 , a3 , a4 , a5 } com os tamanhos de palavra-código {1, 2, 3, 3, 3}. Ela-
bore uma codificação atendendo os requisitos ou explique porque não é possível.

10. Determine se os seguintes códigos são unicamente decodificáveis.

(a) {0, 01, 11, 111}

(b) {0, 01, 110, 111}
(c) {0, 10, 110, 111}
(d) {1, 10, 110, 111}

11. Você foi contratado para elaborar um código m-ário para um alfabeto de 5 letras
com os tamanhos de palavra-código {1, 1, 2, 2, 2}. Qual o menor valor de m para o
qual seja possível desenvolver um código unicamente decodificável?

12. Utilizando um arquivo de texto, calcule a probabilidade pi de cada letra.

2
CSIV - 2020/1 Prof. Dr. Marcus Chaffim

(a) Assuma que seja necessário uma palavra-código de tamanho dlog2 p1i e para
codificar a palavra i. Determine o número de bits necessários para codificar
todo o arquivo.
(b) Calcule a probabilidade condicional P (i/j) da letra i dada a letra anterior j.
1
Assuma que seja necessário dlog2 P (i/j) e para determinar a letra i que sucede
a letra j. Determine a quantidade de bits necessária para codificar todo o
arquivo.
13. Considere um conjunto de experimentos nos quais uma moeda viciada é lançada com
probabilidade de o resultado ser cara igual a 0.4. No primeiro experimento, a moeda
é lançada uma vez, logo são possíveis dois resultados. No segundo experimento, a
moeda é lançada três vezes, logo são possíveis 8 resultados diferentes.
(a) Qual é a informação associada com cada resultado possível no primeiro exper-
imento? Qual é a informação média associada ao primeiro experimento?
(b) Qual é a probabilidade de cada possível resultado no segundo experimento?
Qual é a informação média associada ao segundo experimento?
(c) Qual a relação entre as informações médias associadas aos dois experimentos?
14. (De M. Hoffman) Dada a seguinte cadeia de Markov de 3 estados (estados a, b e c)

P (Sa ) = 0.1 P (a|a) = 0.33 P (a|b) = 0.1 P (a|c) = 0.04

P (Sa ) = 0.5 P (a|a) = 0.33 P (a|b) = 0.8 P (a|c) = 0.06
P (Sa ) = 0.4 P (a|a) = 0.34 P (a|b) = 0.1 P (a|c) = 0.9

Encontre:
(a) A entropia de um modelo de probabilidade simples definido pelos estados Sa , Sb
e Sc .
(b) A entropia da cadeia de Markov.
(c) A razão pela qual um deles é menor que o outro e explique porque.
15. Um arquivo contém as variações da média da temperatura global dos anos 1880 até
o presente e pode ser encontrado através do link da NASA:

https://data.giss.nasa.gov/gistemp/tabledata_v3/GLB.Ts+dSST.txt

Selecione o mês do seu nascimento e faça o seguinte:

(a) Plote a temperatura em função do ano. Utiliza o ano 1880 como o ano 0. Se
seu aniversário for em dezembro, utilize os dados de 1880 até 2014.
(b) Ajuste a curva através dos dados (ax + b), onde x é o ano e a e b são os
parâmetros calculados.
(c) Calcule a diferença entre sua modelagem e os dados reais e calcule a diferença
quadrática entre os valores.
(d) Preveja a temperatura média global para o ano que você terá 40 anos ou daqui
a 10 anos, o que estiver mais distante.