Instituto Superior de Transportes e Comunicações

Departamento de Tecnologias da Informação e das Comunicações.

Disciplina: Sistemas de Comunicação II

Tema No.1. Introdução aos Sistemas de Comunicação Digital.

Aula prática No. 5. Teoria da Informação.

Sumário: Sistematização da teoria da Informação.

Introdução.

1.- Que se entende por quantidade de informação

È a medida da diminuição da incerteza dum evento.

A quantidade de informação é proporcional à probabilidade dum evento: Considera-se a
diminuição da incerteza proporcional ao aumento de certeza, isto é
Se Px Æ 1: I Æ 0 ) não aporta informação alguma)

I = log 2(1/P) Æ Shannon.

2.- Existe alguma relação entre quantidade de informação e número de bits;
Sim, dado o caso que as mensagens tenham equi- probabilidade

I = log2N=n log2m; como são equiprováveis, então I = n Æ representa a quantidade de

símbolos possíveis para representar a mensagem.

3.- Que significa entropia da fonte?

A entropia é o valor médio da informação produzida pela fonte, e é igual a soma ponderada
das quantidades de informação de todos os estados possíveis aleatórios,

N ( 1 )
H ( s ) = ∑ Pi log 2 Pi

i =1
N
O valor máximo da entropia é quando os símbolos são equiprováveis H(s) = log2

4.- Qual é relação entre a entropia e o comprimento médio das mensagens?

A entropia é proporcional ao comprimento médio das mensagens, necessário para codificar

uma serie de elementos da fonte
− N ( 1 )
L = ∑ Pi log2 Pi
=H
i =1

−
H( S ) ≤ L ≤ H( S ) + 1

Desenvolvimento:

Problema No. 1:

Seja uma fonte que produz N símbolos independentes e equiprováveis, os quais foram
codificados na forma em que se mostram na figura: cinco impulsos quaternários com pulsos
de arranque e parada (codificação multi-nível com redundância). A velocidade de modulação
é de 10 kbauds.

a) Determine o número de
estados modulados
(símbolos);
b) Qual é a quantidade de
informação média
produzida pela fonte?;
c) Calcule as velocidades
da fonte, de modulação e
da informação,
respectivamente;
d) Calcule a largura de
banda mínima necessária
para transmitir a informação fornecida pela fonte:
e) Quanta informação transmitirá a fonte em 1 hora?

Solução:

Da gráfica observa-se que o número de níveis de informação (m) é 4 ( -3; -1; 1; 3), o número
de pulsos de informação (n) é 5; Portanto o número de elementos da fonte (N) é 45 = 1024.

A informação média produzida pela fonte é

1024 ( 1
H= ∑ pi log 2
i =1
Pi )
= log N2 Æ Dado pelo facto de que os símbolos são
independentes e equiprováveis.
 1024 ( 1
H= ∑ pi log 2
i =1
Pi )
= log N2 = log1024
2 = 10bits / símbolos

Da gráfica é possível obter: n = 5τ, p = 2τ, q = 3τ;

Portanto T = n + p + q = 5τ + + 2τ + 3τ = 10 τ; K = 5/10 = 0,5 (50%);

1 1
Como fb = = 10 4 Bd = ; T = 10-3 S;
τ T
10

1
A velocidade da fonte fs = = 10 3 símbolos / s
T

A velocidade da informação
n
H log m2 n log m2 n log m2 n 5 1
Vi = = = = = fb log m2 = 10 4 log 42 = 10 4.2 = 10 4 bps
T T T 10τ 10 10 2
A largura de banda mínima será B = fb = 10 kHz.

A quantidade de bits produzidos pela fonte numa hora será de

Ht = fi Tt = 104 bps 3600 s = 3,6 x 107 bits

Problema No. 2:

Considere agora que a fonte utilizada no problema anterior, produz os mesmos 1024
símbolos independentes e equiprováveis, que são codificados em binário sem redundância e
que o tempo de duração dos símbolos é o mesmo, também 1mS.
a) Determine o número de bits de informação;
b) Qual será a informação média produzida pela fonte;
c) Esboce a representação gráfica da sequência de bits;
d) Calcule a velocidade da informação;
e) Qual será a largura de banda mínima que se precisará para transmitir esta informação

Solução:

a), b) e c)
Neste caso, se o número de níveis m = 2 e número de símbolos N mantêm-se igual a 1024,
então o número de bits será N = mn Æ n = 10 bits.

A informação média da fonte será

H = log21024 = 10 bits/símbolos .
Um esboço da sequência de bits será:

Informação

d) Como T = nτ = 10 τ = 1 mS; então a velocidade de modulação será fb = 1/ τ = 104 Bd;

A velocidade da informação será fi = H/T = fb = 104 bps Æ dado que o sistema é binário;

e) A largura de banda mínima será Bmín = fb = 10 KHz.

A codificação efectuada nos casos anteriores ilustra a maneira de ajustar a fonte com uma
velocidade de informação. Repara-se que as duas fontes produzem sinais com as mesmas
velocidades de informação e de modulação.

A codificação multi-nível é utilizada muitas vezes para diminuir a largura de banda mínima do
canal. O que não significa que na realidade vai se diminuir, senão que é possível utilizar
outro canal de menor largura de banda, porque a largura de banda dum canal pelo geral é
fixo e não pode se modificar.

Problema No. 3:

Considere uma fonte que possui o seguinte alfabeto de texto

S= A, B, C, D, E, F, G, H e as respectivas probabilidades de ocorrências

PA = ½; PB =1/4; PC = 1/8; PD = 1/16; PE = 1/32; PF = 1/64; PG = PH = 1/128

A representação de cada carácter se mostra na seguinte tabela:

a) Calcule a Entropia da fonte;

Carácter Representação
A 0
B 10
C 110
D 1110
E 11110
F 111110
G 1111110
H 1111111

Solução:
 8 ( 1 )
H ( s ) = ∑ Pi log 2 Pi
= 1 log 22 + 1 log 42 + 1 log 82 + 1 log16
2 +
1 log 32
2 +
1 log 64 1 1
2 + 128 log 2 + 128 log 2
128 128

i =1
2 4 8 16 32 64
1 2 3 4 5 6 7 7
= + + + + + + +
2 4 8 16 32 64 128 128
H ( s ) = 1,984375bits / símbolos

Outra forma de calcular seria:

8
H ( s ) = ∑ Pi nbits / representa ção = 1 1 + 1 2 + 1 3 + 1 4 + 1 5 + 1 6 + 1 7+ 1 7
i =1
2 4 8 16 32 64 128 128
H ( s ) = 1,98bits / símbolos

Problema No. 4:

Considere uma fonte que emite os seguintes símbolos e as suas respectivas probabilidades
de ocorrências:
A, PA = ½; C, PC = 1/4; G, PG = 1/8; T, PT = 1/8;

a) Calcule a informação de cada símbolo;

b) Calcule a informação média por símbolos;
c) Esboce uma representação de cada símbolo.

Solução:

( 1 )
a) A I = log 2 PA
= log 22 = 1bit
( 1 )
I C = log 2 PC
= log 42 = 2 bit
( 1 )
I G = log 2 PG
= log 82 = 3 bit
( 1 )
IT = log 2 PT
= log 82 = 3 bit
b)
 4
(1
∑ Pi log 2
)
H (S ) = Pi
= 1 log 22 + 1 log 42 + 1 log 82 + 1 log 82
i =1
2 4 8 8
H ( S ) = 1,75 bits / símbolos

d) Uma possível representação seria a seguinte:

AÆ1
C Æ 01
G Æ 000
T Æ 001

Problema No. 5:

Considere uma fonte que gera os seguintes símbolos S= (A1, A2, A3 , …. A8), com as
seguintes probabilidades de ocorrência, respectivamente, ½,1/4, 1/8, 1/16, 1/64, 1/64, 1/64,
1/64

a) Calcule o valor da entropia da fonte

b) Suponha que se deseja codificar os símbolos em cadeias binárias de igual comprimento.
Qual devia ser o valor?

Solução:

a)
8 ( 1 )
H ( s ) = ∑ Pi log 2 Pi
= 1
2 + 1
2 + 38 + 1
4 + 4( 6 64 ) = 2bits / símbolos
i =1
_
b) L = N = mn = 2n = 23 Æ o comprimento médio de cada palavra de código deve ser de 3
bit ;

_
Lmín ≤ H ≤ 2 bit Æ como as probabilidades são diferentes, o mais adequado é utilizar
descrições mais curtas para símbolos mais prováveis e mais longas para os símbolos
menos prováveis.

Se poderia utilizar a seguinte descrição

O comprimento médio das representações é de 2 bits, coincidindo com o valor da

entropia.
 Um exemplo disto é código Morse

Problema No. 6
Uma determinada fonte emite os seguintes símbolos dum alfabeto de texto

S= A, B, C, D, E, F, G, H, I

PA = 1/3, PB = PC = PD = PE = PF = 1/9; PG = PH = PI = 1/27;

A fonte utiliza um canal de comunicação ternário para transmitir a informação.

Fonte [S] Codificador Canal

A, B, ….I -1, 0, 1

a) Calcule o comprimento médio mínimo das palavras de código;

b) Calcule a Entropia da fonte;
c)
Solução:

O comprimento médio mínimo está determinado pelo valor da entropia da fonte, Portanto
_
Lmín = H (s);
_ 9
L mín = ∑ Pi log
i =1
(1 )
b
Pi
3
[ 9
2
] [
= 1 log33 + 5 1 log33 + 3 1 log33 =
27
3
]
= 1 + 10 + 9 = 1,77dígitosternários / símbolos
3 9 27
Usa-se a base 3 porque o código é ternário.

c) A entropia da fonte calcula-se

N ( 1 )
H (S ) = ∑ Pi log 2 = 1 log32 + 5 log32 + 3 log 32 = 2,81bits / símbolos
Pi 2 3

i =1
3 9 27

Aqui se deve utilizar a base 2, porque estamos a calcular informação média, em

bits/símbolos.

Problema No. 7

Uma fonte transmite mensagens, baseados no abecedário composto por 37 símbolos.

a) Quantos bits se necessitam para codifica-los ?

Solução:

Como N = mn = 2n = 32

25 ≤ 37 ≤ 26; 32 ≤ 37 ≤ 64;

Pelo que se necessitam 6 bits/símbolos, mas isto resulta um desperdiço, toda vez que
sobram 64 – 37 = 27 palavras de código, que não correspondem a qualquer símbolo do
alfabeto original.

Outra forma de avaliar o desperdiço consiste em verificar a entropia da fonte

H = log237= 5,21 bits / símbolos Æ Se os símbolos fossem equiprováveis, a entropia seria

igual à informação própria de cada símbolo.

A informação média de casa símbolo é inferior ao comprimento da palavra de código,

indicando que este código corresponde uma representação redundante do alfabeto