INSTITUTO SUPERIOR DE TRANSPORTES E COMUNICAÇÕES

Instituto Superior de Transportes e Comunicações

Departamento de Tecnologias da Informação e das Comunicações.

Disciplina: Sistemas de Comunicação II

Tema No. Introdução aos Sistemas de Comunicação Digital.

Aula prática No. 1. Teoria da Informação.

Sumário: Cálculo de medida e velocidade da Informação.

Introdução.

1.- Enuncie o Teorema fundamental da teoria da Informação.

Fonte
codificador canal

R ≤ C

2.- O que é a Informação e com que se associa?

O que a fonte produz e se associa com a probabilidade de

ocorrência.

3.- Qual é a expressão geral para calcular a Autoinformação?

I i = log (1 / Pi )
2  
 INSTITUTO SUPERIOR DE TRANSPORTES E COMUNICAÇÕES
4.- Qual é a expressão para calcular a Autoinformação, dado o caso de que as mensagens
sejam estatisticamente independentes?

I”mensagem” = I”A” + I”B” ; mensagem = AB

5.- Qual é a expressão para calcular a Autoinformação, dado o caso de que as mensagens
sejam equiprováveis?

I”A” = I”B”

6.- Qual é o significado 1 bit?

Quantidade de informação conduzida por eleição entre

dois possibilidades equiprováveis.

7.- Qual é a expressão para calcular a Entropia?

N
H = ∑ Pi log (1 / Pi )
2
i =1  

8.- Qual é a expressão para calcular a velocidade da informação?

H Quantidade de informação produzida pela fonte num tempo dado

R=
T  
 INSTITUTO SUPERIOR DE TRANSPORTES E COMUNICAÇÕES

Desenvolvimento:

Problema No. 1.
Uma fonte de informação fornece 4 símbolos (X1, X2, X3, X4), os quais tem probabilidades de
ocorrência ½, ¼, 1/8 e 1/8 respectivamente. Calcule a informação contida na mensagem de
três símbolos X= X1 X2 X3. Suponha que os mesmos são estatisticamente independentes.

Solução:
Como os símbolos são independentes, a medida da informação é aditiva e pode-se
expressar

IX = IX1 + IX2 + IX3

IX = log21/1/2 + log21/1/4 + log21/1/8 = log22 + log22 + log28
IX = 1 + 2 + 3
IX = 6 bits

Problema No. 2.
Determine a informação média por símbolos para

a) O código de 4 símbolos do problema anterior X= X1 X2 X3 X4

b) O caso de que os 4 símbolos sejam equiprováveis.

Solução:

4
H = ∑ Pi log (21 / pi )
a)
i =1

H = PX1 log2(1/PX1) + PX2 log2(1/PX2) + PX3 log2(1/PX3) + PX4 log2(1/PX4)

H = ½ log22 + ¼ log24 + 1/8 log28 + 1/8 log28
H = ½ + ½ + 2 (3/8)
H = 1, 75 bits/ símbolos
 INSTITUTO SUPERIOR DE TRANSPORTES E COMUNICAÇÕES

b) Se os símbolos são equiprováveis

PX1 = PX2 = PX3 = PX4 = 1/N = ¼

4
H = ¼ log2 + ¼ log24 + ¼ log24 + ¼ log24
H= 4 (2/4)
H= 2 bits / símbolos
De forma geral a expressão ficaria

H = N (PX log2(1/PX)

Problema No. 3.
Uma fonte dispõe dum alfabeto composto por 8 símbolos diferentes. Os símbolos se
transmitem em blocos de 3 símbolos a uma frequência de 1000 blocos/seg. O primeiro
símbolo de cada bloco sempre é fixo para propósitos de sincronização. Os restantes
símbolos são equiprováveis.

Solução:

Suponhamos que os símbolos sejam gráficos:

1 2 3 4 5 6 7 8

     
Como o primeiro símbolo sempre é fixo, a sua probabilidade é
      igual a 1, pois não contêm informação.
2
     
O sistema transmitirá 8 símbolos diferentes Æ N = 82
símbolos.
     

Como os símbolos são equiprováveis, a sua probabilidade é Pi = 1/ 82 = 1/ 64;

Então a informação média ou Entropia será:

 INSTITUTO SUPERIOR DE TRANSPORTES E COMUNICAÇÕES

4
H = ∑ Pi log (21 / pi )
i =1  

H = N [PX log2(1/PX)] = 64 [1/64 log2(1/1/64)] = log2N = 6 bits/símbolo

A duração média de cada símbolo é

1 1
T = = seg
f 1000
H 6bits / símb
R= = = 6 x10 3 bits / seg
T 1
1000blo cos/ seg

R = 6 kbps

Problema No. 4.
Seja uma fonte que produz símbolos na língua espanhola, num total de 27 caracteres (26
letras + 1 espaço). Se todos os símbolos tivessem a mesma probabilidade qual seria o valor
da informação média fornecida pela fonte?

Hmáx = log N2
Hmáx = log227 = 4, 755 bit/carácter
Curiosidade:

- Na verdade não todos os caracteres têm a mesma probabilidade de ocorrência, é a letra “E”
a de maior probabilidade, porem a sua H”E” = 4,2 bit;

- Uma palavra em língua espanhola têm uma entropia equivalente a H”palavra” = 9,3 bits
 INSTITUTO SUPERIOR DE TRANSPORTES E COMUNICAÇÕES

Estudo independente:

1.- Calcule a quantidade de informação que se precisa para abrir um cadeado, cujas
combinações são 3 números e cada um deles pode ter 100 amplitudes diferentes.

Solução:
A probabilidade seria
1 1 1 1
P= 3 =
100 100 100 100

I = log2(1/P) = log2(100 ) =19,92 bits ≈ 20 bits

3

2.- Calcule a entropia duma fonte telegráfica que possui:

- a probabilidade do ponto (P”.” = 2/3);
- o tempo de duração do ponto (τ”.” = 0,25 s);
- a probabilidade do travessão (P”-” = 1/3);
- o tempo de duração do travessão (τ”-” = 0,5 s);

2
H = ∑ Pi log(21 / pi )
i =1   
Como apenas são dois caracteres a entropia tem o valor máximo,

0 ≤ H ≤ log2N
H = 2/3 log2(3/2) + 1/3 log2(3) = 2/3 [ 3,32 log10(3/2)] + 1/3[ 3,32 log10(3)]

H = 0, 917 bit/símbolo