Modelo de um Sistema de Comunicação de Informação

( Modelo de Shannon)

Informática Engenharia de Comunicação

(Ciência da Computação)
Baud
(Símbolos
Fonte de Codificador Codificador Elétricos/s)
Transmissor
Informação de Fonte de Canal
Sh/s bit/s Baud

CANAL ∑ Ruído

Destinatário
Decodificador Decodificador Receptor
de
de Fonte de Canal
Informação

42
 Princípios básicos de Teoria de Informação

1. Símbolo e Alfabeto de Símbolos

Alfabeto de Símbolos I(xi) = Informação associada a

seleção do elemento xi
I(xi) = - log2 pi
ALFABETO X
Q: Quantidade de informação
xi: elemento i
ou mensagem
pi: probabilidade de m
ocorrência de xi Q= ∑ − log pi 2
N: numero total de i=1
elementos H(X): Entropia do Alfabeto X
Informação média associada a cada símbolo
N N
H( X ) = ∑ pi. I(xi ) = − ∑ pi.log
i=1 i=1
2 (pi )
[bit/simb.]

2. Codificação da Informação

Alfabeto de Símbolos
Alfabeto de Elementos Cada símbolo
ALFABETO X
xi: elemento i do Alfabeto X
n: número de codificado
pi: probabilidade de
elementos segundo os
ocorrência de xi
Ex.: digitos símbolos do
N: numero total de
elementos
binários alfabeto de
elementos

Relação entre N e n:
Arranjo de n elementos tomados m a m é dado por : N = n m
Exemplo: Os caracteres do alfabeto Internacional N.5 (ou ASCII)
são formados pelo Alfabeto de elementos binarios zero e um
segundo os arranjos destes elementos tomados 8 a 8, ou seja
N = n m => 2 8 = 256 caracteres de 8 bits cada
3. Variedade de um Símbolo
O número total de configurações possíveis que pode assumir um símbolo é definido
como a variedade deste símbolo. Obviamente é função de N e é representado por v e
definida matematicamente como:
v = log2N
como N = n e se a fonte de elementos é binária, n = 2, temos;
m

v = log2 2 m = m

43
4. Velocidade de sinalização e velocidade de modulação

A variabilidade de uma fonte ou a velocidade de sinalização de uma fonte é definida

como:
v
Vs = [bit/s]
τ
Onde v é variedade do símbolo e τ é o tempo de duração de um símbolo.
Podemos definir também uma velocidade de modulação como sendo :
1
VM = [Baud]
τ
medido em símbolos por segundo e medido em Baud

5. Eficiência de Fonte e Eficiência de Código

O valor médio de informação associado a cada símbolo de um alfabeto de uma fonte de

informação foi definido como a Entropia associada a este Alfabeto ou seja;
N N
H( X ) = ∑ pi. I(xi ) = − ∑ pi.log
i=1 i=1
2 (pi )

Para que o fluxo de informação da fonte seja máximo o valor médio de informação de
cada símbolo deverá ser máximo, ou seja, a entropia deverá ser máxima. Pode-se
demonstrar que para que H(X) seja máximo devemos ter que as probabilidades de
ocorrência dos símbolos seja equiprovável, ou seja, pi = 1/n (n: número total de símbolos
do alfabeto). Nestas condições temos então que:
n n
H( X ) max = ∑ pi. I(xi ) = − ∑ 1 / n.log
i=1 i=1
2 (1 / n ) = log2 n, ou

H(X)max = log2 n

que é entropia máxima de uma fonte com n elementos. Podemos definir a eficiência da
Fonte como ηf = H(X)/ H(X)max , ou então como;

H( X )
ηf =
log. n
Num código qualquer, por outro lado, podemos definir n , como o número médio de
bits por símbolo deste código.
N
n = ∑ pi. ni , podemos então definir a eficiência do código como:
i=1

H( X )
ηcod = [sh/bit]
n

A eficiência ótima será aquela que associa 1sh a cada bit e neste caso temos ηcod = 1

44
 H( X )
ηcod = = 1, ou seja, n otimo =1[sh/bit] e portanto, n otimo = H(X)
n

6.Teorema de Nyquist

Nyquist demonstrou pela primeira vez que a capacidade máxima de um canal físico, C,
com uma largura de banda de B Herz, pode ser expressa por :

CT = 2B [Baud]
1
Lembrando que VM = [Baud] , Nyquist demonstrou que existe um τmin associado a
τ
um canal físico com largura de banda B e neste caso VM está maximizado e representa
portanto a capacidade máxima de transmissão do canal, representada por CT. Se
quisermos, portanto, a capacidade máxima de sinalização do canal em [bit/s] temos que
multiplicar a expressão anterior pela variedade v do símbolo. Com isto obtemos a
expressão geral do teorema como:
CT = 2B v
e lembrando que, se os símbolos são formados por bits v=m e
CT = 2B m
Portanto m representa o número de bits associados a cada símbolo. Se;
m=1 os símbolos são os próprios digitos binários (neste caso a taxa em Baud e em
bit/s é igual)
m=2 o símbolo é o dibit e pode ser representado por um sinal de 4 níveis,
m=3 o símbolo é o tribit e pode ser representado por um sinal de 8 níveis,
m=4 o símbolo é o quadribit e pode ser representado por um sinal de 16 níveis.
Se representarmos o número de níveis de um símbolo por n podemos escrever que ;
m = log2 n, e a expressão do Teorema de Nyquist será:

CT = 2B log2 n [bit/s]

B: Banda passante do canal medido em Herz

n: número de níveis associados aos símbolos utilizados
Nota : Como o número de níveis associados aos símbolos pode sempre ser aumentado,
teoricamente até o infinito, a capacidade máxima teórica de um canal segundo Nyquist
seria então infinito, o que, como nos sabemos, não corresponde à realidade.

7. O Teorema de Shannon

Em 1948 o cientista francês Claude Shannon lançou as bases da teoria da Informação e

entre outras coisas definiu a capacidade máxima de transmissão através de um canal
físico com um determinada largura de banda [B] e uma determinada relação sinal ruido
[S/N: Signal to Noise Ratio], que pode ser escrito como:

CT = B log2 (1 + S/N) [bit/s]

45
A expressão acima pode ser derivada a partir do próprio teorema de Nyquist
maximizando o número de níveis:

CT = 2B log2.nmax, para o qual vamos tentar obter o número máximo de níveis

possíveis para um determinado nível de ruído do canal.
Supondo o sinal com uma determinada amplitude s e o ruido com uma
determinada amplitude n, podemos dizer que o numero máximo de níveis possíveis será
dado por nmax =(s+n)/n.. Transformando em relação de potências em vez de amplitudes e
lembrando que a potência do sinal será dado por S= ∑ s 2 e do ruido por N= ∑ n 2 temos
i i
S+N S+N
que; nmax = , e portanto; CT = 2B log 2 e finalmente:
N N

CT = B log2 (1 + S/N) [bit/s]

Exemplo:

Determinar a capacidade máxima de transmissão de um canal de voz telefônico cuja

largura de banda é 3,1kHz e possui uma relação sinal ruido de 30 dB.
Solução: 30 dB = 10log S/N => 30/10= 10log S/N => log S/N = 3
S/N = anti log 3 = 1000
Substituindo em CT temos:
CT = 3100 log2 (1 + 1000) = 3100 log2 1001
CT = 3100 (log 1001/log 2) = 3100. 3/0,3
CT = 31.000 bit/s

46