Teoria da Informação e Códigos

Irineu Antunes Júnior

Feb. 2021

I.2 - Informação e Entropia

Estude este capítulo da apostila e complete após as marcas de completar com texto
b e de completar com código b.

I.2.1 Fonte de Informação

Uma fonte de informação emite bmensagens dados símbolos sinais formas de onda

O termo informação aqui não se refere ao significado ou conhecimento adquirido

com a mensagem mas à capacidade de representar diferentes mensagens na forma
de dados: símbolos; sinais; formas de onda; abstrações; representações, entes,
matemáticos ou físicos.

Quando a mensagem emitida é representável por um conjunto finito de elementos,

a fonte de informação é dita discreta; digital; contável e finita.

Caso contrário, a fonte de informação é dita bcontínua; analógica; incontável;

infinita.

Nota: um sinal pode ser de tempo contínuo, mas pode ter um número finito
de amplitudes; neste caso, se a informação estiver representada em características
temporais do sinal, ela será contínua; se estiver representada na amplitude do sinal,
será discreta. Circuitos eletrônicos digitais são um bom exemplo de sinais deste
tipo em que as amplitudes são binárias (0;1), mas o instante em que ocorrem as
transições varia de forma contínua, fenômeno conhecido como “jitter”.

G Complete o diagrama com o que foi apagado após a marca b

1
G Complete os itens a seguir que descrevem a fonte de informação discreta e sem
memória (DMS) do diagrama de blocos a seguir.

Uma DMS é
a) É discreta pois a saída assume valores num alfabeto discreto.
b) É sem memória pois buma dada saída não depende das saídas anteriores.
c) É definida apenas pelo conjunto de probabilidades da saída:
P = [ P1 P2 ... PK ],
em que K é a quantidade de símbolos distintos e Pi é a probabilidade de cada
símbolo xi
Uma fonte que emite símbolos com intervalo Ts (constante) tem taxa de símbolos
Rs = 1 / bTs
A soma das probabilidades
sum(P) = b1
A quantidade de informação (em bits) de um símbolo é definida como
Ii = -log(Pi)
sendo o logarítmo calculado na base b2
Vale lembrar a mudança de bases
log2(u) = logb(u) / logb(2)
com b a base usada nos cálculos, decimal ou neperiana, normalmente disponíveis
em calculadoras simples.

2
Ao se observar a saída de uma fonte de informação, a quantidade de informação
observada nunca decresce, daí resulta a propriedade
Ii ≥ b0
que vale sempre.
A quantidade Ii é uma variável aleatória do experimento ‘observar a saída da fonte’.
Uma característica útil de uma fonte é a quantidade média de informação que emite
H = E{I}
em que E{I} é a esperança ou média da variável I discreta.
E{I} = Média ( Pi Ii )
que é a soma ponderada dos valores Ii com pesos Pi.
Exemplo 1
a) Calcule a entropia de uma fonte binária que gera símbolos “0” e “1” com
igual probabilidade.
b) Verifique que o resultado satisfaz a relação geral
0 ≤ H ≤ log K
G Complete o código e o execute.

# a)
p=[1/2 b1/2]
H=-sum(log2(p).*p)
# ESaída:
p =

0.50000 0.50000

H = 1

# b)
K=b2
log2(K)

3
# ESaída:
K = 2
ans = 1

Exercícios
v Resolver computacionalmente os exercícios do capítulo.