SlidesTeoriadaInformacao PDF

Teoria da Informação
Codificação de Fonte
Prof. Dr. Luciano Leonel Mendes

lucianol@inatel.br
Teoria da Informação 1/62 Prof. Dr. Luciano Leonel Mendes
Pós-graduação – Redes e Sistemas de Telecomunicações
Conteúdo e Referência
1. Revisão: Probabilidade e Variáveis Aleatórias
2. Fontes de informação – amostragem e quantização
3. Princípios da Teoria da Informação
4. Compactação de Fonte
5. Limitantes para Canais AWGN
Livro Texto: Haykin, Simon, “Sistemas de Comunicação”, 4° Edição,

John Wilwy & Sons, 2001.

Revisão de Probabilidade
1. Noções Básicas de Probabilidade
• Diagrama de Venn: permite realizar uma representação gráfica dos

conjuntos e/ou sua probabilidade de ocorrência.
A AB B

2. Os Axiomas da Probabilidade
• Para qualquer evento A, P[A]=0.

• P[S]=1, onde S é o espaço amostral.
• P[AUB]=P[A]+P[B]-P[AB].
Exemplo: Seja o espaço amostral S={0, 1, 2, 3}. Então:

P[S]=P[0]+P[1]+P[2]+P[3]=1. Logo
P[ S ] = ∑i =0 P[ si ] = 1
3
“A probabilidade é sempre um número entre 0 e 1”

Continuando...
Seja um evento B={números pares}. Logo B = ? Qual é P[B]?

P[B]=P[0]+P[2]
Seja um evento C={números menores que 2}. Logo C=? Qual é P[C]?
P[C]=P[0]+P[1]
Seja D=BUC. Logo D=? Qual é P[D]?

P[D]=P[BUC]=P[B]+P[C]-P[BC]=P[0]+P[2]+P[0]+P[1]-P[0]
P[D]=P[0]+P[1]+P[2]

3. Eventos Mutualmente Exclusivos: são aqueles que nunca acontecem
ao mesmo tempo.
Exemplo: A={números pares} e B={números ímpares}.
Se A e B são mutualmente exclusivos, então P[AB]=0.
4. Probabilidade de eventos conjuntos: considere o diagrama de Venn.
B1 B2 B3 B4 Qual é a P[A]?
P[A]=P[AB1]+P[AB2]+P[AB3]+P[AB4]
4
P[ A] = ∑ P[ A ⋅ Bi ]
A i =1
Note que Bi e Bj são mutualmente

exclusivos!
5. Eventos Independentes: dois eventos são independentes somente se a
probabilidade de ocorrência de um evento não alterar a probabilidade de
ocorrência do outro evento.
P[AB]=P[A]xP[B] somente se A e B forem independentes.
6. Probabilidade Condicional: é a probabilidade de ocorrência de um

evento, sabendo-se que outro evento já aconteceu.
Exemplo: Qual é a probabilidade de um pneu novo estourar?
Qual é a probabilidade de um pneu novo estourar,
dado que existem pregos na pista?
P[ A ⋅ B ]
P[ A / B ] =
P[ B ]
Qual é P[A/B], quando A e B são independentes?
Exercício: considere um dado honesto e os seguintes eventos:
Ei={número sorteado é i}
Mj={número sorteado é maior do que j}
P={número sorteado é par}
a) Qual é a probabilidade de ter-se sorteado um 3, dado que o número

sorteado é maior do que 1, ou seja, P[E3/M1]=?
b) Qual é a probabilidade condicional de se obter um 6 dado que o
número sorteado é maior do que 3?
c) P[M3/P]=?
d) Dado que o número sorteado é maior do que 3, qual é a
probabilidade dele ser par?
e) P[E1E2], P[M6P], P[M3UP], P[M3P]

7. Variáveis aleatórias: são variáveis cujo valor em um dado instante de
tempo não pode ser determinado. No entanto é possível determinar a
probabilidade do valor desta variável estar dentro de uma faixa de
valores.
Parâmetros de uma V. A.
a) Função densidade de probabilidade (f.d.p.) - fX(x): mostra como os
valores que a variável pode assumir estão distribuídos.
b) Função distribuição cumulativa (F.D.C.) - FX(x): mostra a
probabilidade de uma variável assumir um valor maior do que x. 1.1
0.99
0.88
0.77
x 0.66
FX ( x) = P[ X ≤ x] = ∫f
−∞
X ( y )dy Função densidade de probabilidade 0.55
Função distribuição cumulativa
0.44
0.33
0.22
0.11
3 2.4 1.8 1.2 0.6 0 0.6 1.2 1.8 2.4 3

x

Continuando...
c) Média: é o valor médio da variável aleatória, também conhecido

como valor esperado. Eqüivale ao nível DC, se a variável aleatória for
um sinal elétrico.
∞ +∞
E[ X ] = ∑ x ⋅ P[ X = x ]
i = −∞
i i E[ X ] = ∫ x⋅ f X ( x)dx
−∞
d) Desvio padrão: é uma medida de quanto a variável aleatória pode se

distanciar da média. Pode ser interpretado como sendo a tensão RMS, se
a V.A for um sinal elétrico.

Continuando...
e) Variância: é o quadrado do desvio padrão. Pode ser associado à

potência AC do sinal.
σ 2 = E[ X 2 ] − E[ X ] 2
∞ ∞
E[ X 2 ] = ∑ xi ⋅ P[ X = xi ] E[ X 2 ] = ∫ ⋅ f X ( x)dx
2 2
x
i = −∞ −∞

8. Alguns tipos de variáveis aleatórias.
a) Distribuição uniforme
1
X ∈ {x0 , x1 , x2 ,..., x N −1} f X ( x) = a≤ X ≤b
1
f X ( x) = b−a
N
0.2
0.2
0.18
0.15 0.16
0.14
f (x)
0.12
f (x)
X
0.1
X
0.1
0.08
0.05 0.06
0.04
0.02
0
1 2 3 4 5 6 0
X 0 1 2 3 4 5 6 7
X
Calcule a média e a variância das duas F.D.P’s.
Continuando...
b) Gaussiana
1  ( x − µ )2  µ = E[ X ]
f X ( x) = exp  
 2σ 
2
2πσ 2
σ 2 = E[ X 2 ] − µ 2
0.4
0.35
0.3
0.25
f (x)
X
0.2
0.15
0.1
0.05
0
-3 -2 -1 0 1 2 3
X
Fontes de Informação
• As fontes de informação em um sistema de comunicação digital são os
dispositivos que geram os dados que devem ser transmitidos.
• Toda fonte de informação de um sistema de comunicação digital deve

ter um número discreto de símbolos.
• Algumas fontes são discretas por natureza.
• Outras possuem um número infinito de símbolos. Essas fontes devem

ser discretizadas.
• Tipos de fontes: binárias, m-árias e analógicas.

• Fontes binárias: são aquelas que somente geram dois tipos de
símbolos. Exemplo: computador.
• Os dados emitidos por esta fonte não precisam sofrer maiores

processamentos para serem transmitidos por um sistema de
comunicação digital.
Bits
mk s(t) r(t) ^
m
Fonte Digital Transmissor Canal Receptor k
Destino
Binária Digital Ruidoso Digital

• Fontes discretas ou fontes m-árias; são aquelas que podem emitir até
M símbolos diferentes. Exemplo: texto.
• Os símbolos emitidos por esta fonte devem ser codificados em bits.
• A quantidade de bits necessária para codificar uma fonte com M

símbolos é:
m = dlog2 (M )e
• Exemplo: qual é a quantidade de bits necessária para representar o

nosso alfabeto?

• O dispositivo responsável em atribuir os bits aos símbolos da fonte é
conhecido como codificador.
Símbolos Bits ^
s(t) r(t) ^
m Ak
Fonte Ak mk Transmissor Canal Receptor k De-
Codificador Destino
Discreta Digital Ruidoso Digital codificador
• Exemplo: assuma que a fonte de informação seja um dado. Proponha

uma tabela de codificação para que os símbolos gerados por esta fonte
possam ser transmitidos por um sistema de comunicação digital.

•.Fontes Analógicas: são aquelas que geram sinais com uma quantidade
infinita de amplitudes. Exemplo: câmera de vídeo ou microfone.
• As fontes analógica devem ser digitalizadas para que os dados possam

ser transmitidos em um sistema de comunicação digital.
• Esse procedimento consiste de dois passos:
a) Amostragem: consiste em discretizar o sinal no domínio do tempo.

Esse processo não introduz distorções no sinal.
b) Quantização: consiste em limitar a amplitude das amostras em M

níveis possíveis. Esse processo introduz uma distorção denominada de
ruído de quantização.
• Transmissão de um sinal analógico através de um sistema de
comunicação digital.
Símbolos Bits
Fonte Ak mk Transmissor s(t) Canal
Amostragem Quantizador Codificador
Analógica Digital Ruidoso
r(t)
^ ^
Filtro de Ak De- m k Receptor
Destino
Recuperação codificador Digital

• Amostragem: consiste em pegar o valor da amplitude do sinal a cada
Ts segundos, que é chamado de período de amostragem.
• A freqüência de amostragem é fs=1/Ts.
Amostragem temporal
1.0
t=kTs .5
-.5
-1.0
0 .5 1 1.5 2 2.5 3 3.5 4
Tempo [s]

• Teorema da Amostragem ou Teorema de Nyquist:
\Um sinal limitado em freqÄu^encia, cuja freqÄ

u^encia m¶axima ¶e dada por fmax ,
pode ser perfeitamente representado por suas amostras, desde que estas sejam
tomadas a uma taxa de amostragem maior ou igual a duas vezes fmax , ou seja,
se
fs ¸ 2 ¢ fmax
ent~ao ¶e poss¶³vel recuperar o sinal original a partir das suas amostras, sem dis-
tor»c~ao."

• Para recuperar o sinal original a partir das suas amostras, basta
empregar um filtro passa-baixa.
Sinal Original e Sinal Recuperado

2
t=kTs 1
-1
-2
0 .5 1 1.5 2 2.5 3 3.5 4
Tempo [s]

• Outro tipo de amostragem bastante utilizado é a amostragem com
retenção, onde o valor da amostra é mantido até o próximo instante de
amostragem.
Sinal Original e Sinal Amostrado com Retenção

1.0
Retenção
.5
t=kTs
0
-.5
-1.0
0 .5 1 1.5 2 2.5 3 3.5 4
Tempo [s]
• A recuperação da informação original é feita da mesma forma que na

amostragem instantânea.
• Quantização: é processo no qual o valor da amplitude das amostras é
discretizado.
• Um quantizador permite apenas NQ níveis de amplitude em sua saída.
• O número de bits necessários para representar cada uma das amostras

é q = log2(NQ), ou seja, o número total de níveis possíveis com q bits é
NQ = 2q.
Sinal Contínuo e Sinal Quantizado
1.0
Quantizador
.5
-.5
-1.0
0 .5 1 1.5 2 2.5 3 3.5 4
Tempo [s]

• A quantização insere uma distorção que não pode ser mais removida
do sinal.
• Essa distorção pode ser modelada como um ruído de potência:
2 ¢2
¾Q =
12
• A taxa de bits mínima para representar essa fonte analógica é limitada

pelo Teorema de Nyquist e pelo número de amostras na saída do
quantizador.
Rb ¸ 2 log2 (NQ ) ¢ fmax

• Exemplo: qual é a menor taxa para representar um sinal telefônico que
foi quantizado com 256 níveis?

• O que é Teoria da Informação?
Teoria da Informação é o modelo matemático que permite tratar, de
modo analítico, os diferentes modos de transmitir informação em um
canal de comunicação.
• Questões tratadas na Teoria da Informação:

a) Qual é a menor quantidade de bits necessária para representar uma
fonte discreta sem perda de informação?
b) Qual é a máxima taxa de transmissão para uma comunicação
confiável em um canal ruidoso?
Para responder a essas questões, é necessário compreender o que é

Informação, Entropia, Canal e Confiável!
• Informação: é a quantidade de surpresa que um evento causa ao
ocorrer.
Seja S ={s0, s1, s2 , s3 ,..., sK-1} uma fonte discreta com K elementos,
onde pk é a probabilidade de ocorrência de sk.
A quantidade de informação associada ao símbolo sk é dada por
 1 
I (sk ) = log 2  
 pk 
• Conclusões importantes:
- Se há certeza de ocorrência de um evento, não há ganho de
informação quanto esse evento ocorre!
- A ocorrência de um evento nunca causa perda de informação!
- Quanto menor a probabilidade de ocorrência, maior é a informação
ganha quando o evento acontece!

• Algumas propriedades da informação:
1) I(sk) = 0 quando p(sk) = 1
2) I(sk) > 0 para 0 < p(sk) < 1
3) I(sk) > I(si) para p(sk) < p(si)
4) I(sksi) = I(sk) I(si) se sk e si forem independentes.
Exemplo: calcule a informação associada a cada um dos símbolos
pertencentes S={a, b, c, d}, sendo que p(sk) = {0.5, 0.3, 0.15, 0.05}.
• Entropia: é a quantidade média de informação fornecida por uma fonte
discreta.
K −1 K −1
 1 
H (S ) = ∑ pk I (sk ) = ∑ pk log 2   bits
k =0 k =0  pk 
• Propriedades da Entropia:
1) 0 = H(S) = log2(K)
A entropia é nula quando a fonte possui um evento certo.
A entropia é máxima quando a fonte é equiprovável.
Exercício: calcule a entropia de uma fonte binária onde o símbolo “0”
possui probabilidade p0 e o símbolo “1” possui probabilidade p1.
• Fonte discreta sem memória: é uma fonte que envia símbolos discretos
a cada T segundos, onde a ocorrência de um símbolo específico não
muda a probabilidade de ocorrência do próximo símbolo.

• Extensão de uma fonte discreta sem memória: consiste em criar uma
nova fonte cujos elementos são combinações da fonte inicial.
• A probabilidade de cada novo elemento será o produto das
probabilidades individuais dos elementos elementares.
Exemplo: Considere uma fonte que representa o resultado de uma
jogada de um dado honesto.
S={1, 2, 3, 4, 5, 6} pk = [1/6, 1/6, 1/6, 1/6, 1/6, 1/6]
Quais serão os elementos da extensão de ordem 2 desta fonte, ou seja,
de uma fonte que consiste em duas jogadas sucessivas de um dado?

• A entropia de uma fonte estendida de ordem n é n vezes maior do que
a entropia da fonte original.
• Exemplo: Seja uma fonte S = {s0, s1, s2} com pk = {¼, ¼, ½}.
a) Qual é a entropia desta fonte?
b) Encontre a fonte estendida de ordem 2. Qual é a entropia desta fonte?

• Codificação de fonte: utilizar a estatística da fonte para minimizar o
número de bits necessários para representar seus eventos. As palavras
códigos devem ser inequívocas.
Exemplo: uma fonte emite os caracteres S={a,b,c,d}. Associe bits a

cada evento dessa fonte de modo intuitivo.
Sabendo que P[a]=0.8, P[b]=0.1, P[c]=0.07 e P[d]=0.03, calcule a

entropia da fonte e compare com o número médio de bits que você
utilizou anteriormente. É possível fazer algo mais eficiente?
A resposta para esta questão é fornecida pelo 1° Teorema de Shannon!

• 1° Teorema de Shannon: Teorema de Codificação de Fonte.
“O número médio de bits necessários para representar

uma fonte discreta é maior ou igual à Entropia desta
fonte.”
K −1 L ≥ H (S )
L = ∑ pk ⋅ l k
H (S )
η=
k =0 L
• É possível construir uma representação binária mais eficiente para
uma fonte discreta utilizando palavras código de comprimento variável.
Exemplo: código Morse.
• Compressão: retira a redundância da fonte, reduzindo a entropia de
maneira controlada. Exemplos: JPEG, MPEG, Vocoders.
• Compactação: retira a redundância da fonte, sem alterar sua entropia.

Exemplo: compactadores de arquivos. Redundância
Entropia
Redundância
Entropia Entropia
Redundância
Compactação Compressão

• Código do Prefixo: compactação de fonte onde a representação binária
de um símbolo nunca é o prefixo da representação binária de outro
símbolo.
• O símbolo mais provável é sempre representado pela menor
quantidade de bits.
Quais destes códigos é um código do prefixo?
• Códigos do prefixo podem ser codificados ou decodificados utilizando

Estado 0 ξ
uma árvore. inicial 0
1 0 ξ1
1 0 ξ2
1
ξ3
• Exemplo: encontre um código do prefixo para representar a seguinte
fonte: S ={s0, s1, s2 , s3}, onde p0=0.7, p1=0.2, p2=0.15 e p3=0.05.
Codifique a seguinte seqüência de dados: s1 s0 s0 s0 s2 s0 s3.
Desenhe a árvore deste código. Calcule a eficiência da codificação.

• Limites para o comprimento médio do código do prefixo:
H(sk) = L = H(sk)+1
• O limite inferior é obtido quando pk = 2-lk.
• Quando o limite inferior é atingido, então o código está casado com a
fonte.
• Pode-se utilizar o conceito de fonte estendida para casar um código do
prefixo com a fonte. Note o que ocorre com os limites do comprimento
médio normalizado de uma fonte estendida:
¹ n < H(S n ) + 1
H(S n ) · L
nH(S) · L ¹ n < nH(S) + 1
¹n
L 1
H(S) · < H(S) +
n n
• Código de Huffman: é a técnica de codificação empregada nos
compactadores ZIP.
Procedimento para codificação empregando código Huffman:
a) Liste os símbolos em ordem decrescente de probabilidade. Atribua os
bits “1” e “0” aos últimos dois símbolos da lista.
b) Os dois símbolos combinados formam um novo símbolo cuja
probabilidade de ocorrência é a soma das probabilidades anteriores. O
novo símbolo deve ser reposicionado na lista, que contém um símbolo a
menos.
c) Repita o processo até que se tenha apenas dois símbolos. O código
para cada símbolo é obtido pegando-se os “1” e “0” no sentido reverso
que culminou nos últimos dois símbolos.
• Exemplo: Seja uma fonte S={ ?0, ?1, ?2, ?3, ?4}, onde p0=0.15, p1=0.2,
p2=0.4, p3=0.15 e p4=0.1. Encontre o código de Huffman para esta
fonte. Encontre a árvore de decodificação e calcule a eficiência do
código.
ξ2 0,40 0,40 0,40 0,60 0
ξ1 0,20
0,25 0,35 0
0,40
1
ξ0 0,15 0,20 0 0,25 1
ξ3 0,15
0
0,15
1
ξ4 0,10
1

• Continuando...
Estado 1 ξ2
inicial
0 1 1 ξ4
0
0 ξ3
1 ξ0
0
ξ1
• Código Lempel-Ziv: é um código de comprimento fixo que é
adaptativo à fonte discreta.
• Este código utiliza a correlação entre os símbolos enviados pela fonte

para aumentar a sua eficiência.
• Outra vantagem: não requer o conhecimento prévio das estatísticas da

fonte para obter um alto desempenho.
• Para que este código atinja um desempenho adequado é necessário

que uma longa seqüência de símbolos seja codificada.
• O Lempel-ziv utiliza um livro de palavras-código cujo tamanho é

definido pelo comprimento da palavra-código.
• Exemplo: veja página 32 da apostila.
• Exercício: utilize o código de Lempel-ziv com n=3 para codificar uma

fonte discreta S={s0, s1, s2 s3} cujas estatísticas não são conhecidas.
Recupere os símbolos a partir do resultado da codificação.
Seqüência de saída da fonte: s0 s1 s2 s0 s0 s0 s2 s2 s0 s1 s3

• Canais discretos sem memória: é um modelo estatístico do canal de
comunicação com J entradas e K saídas.
• O sinal de entrada é modelado por uma variável aleatória:
X={x0 x1 x2 ... xj-1}
• O sinal de saída, que é uma versão ruidosa do sinal de entrada, é

modelado por uma variável aleatória Y:
Y={y0 y1 y2 ... yk-1}
• Para caracterizar o canal é necessário conhecer as probabilidades de

transição p(yk/xj) para todo k e todo j.
• Caracterização de um canal discreto sem memória através da matriz
de transição:
 p ( y0 / x0 ) p ( y1 / x0 ) L p ( yk −1 / x0 ) 
 p( y / x ) p ( y / x ) L p ( y / x ) 
P=  0 1 1 1 k −1 1 
 M M O M 
 
 p ( y0 / x j −1 ) p ( y1 / x j −1 ) L p ( yk −1 / x j −1 )
• Dado que um símbolo foi inserido na entrada do canal, haverá um

símbolo na saída com uma dada probabilidade. Logo:
K −1
∑ p( y
k =0
k / xj) =1

• Utilizando a lei das probabilidades marginais pode-se obter a
probabilidade de um dado símbolo Y aparecer na saída do canal.
J −1
p ( yk ) = ∑ p ( x j , yk )
j =0
J −1
p ( yk ) = ∑ p ( yk / x j ) p( x j )
j =0

• Modelo de canal binário discreto sem memória: é uma maneira
simples e eficiente de modelar o comportamento de um canal de
comunicação binário.
1-p
x0 = 0 y0 = 0
p p
x1 = 1 y1 = 1
1-p
• A matriz de transição deste canal é dada por:
1 − p p 
P= 
 p 1 − p
• Exemplo: um canal binário discreto sem memória apresenta p=0.1.
• Assumindo que uma fonte com p0=0.4 e p1=0.6 seja empregada na

entrada do canal, qual é a entropia do sinal na saída do canal?
• Qual é a probabilidade de erro de bit neste canal?
• Qual será a entropia na entrada e na saída deste canal se a fonte

sempre emitir o símbolo “1”?

• Informação Mútua: determina a quantidade de informação obtida
sobre uma ponta do canal, dado que foi observada a outra ponta do
canal.
I(X :Y) = H (X ) − H (X /Y )
I (Y : X ) = H (Y ) − H (Y / X )
• Entropia condicional: determina a quantidade de incerteza

remanescente sobre uma ponta do canal, dado que a outra ponta foi
observada
K −1 J −1  1 
H ( X / Y ) = ∑∑ p ( x j , yk ) log 2  
 p( x / y ) 
k =0 j =0  j k 
K −1 J −1  1 
H (Y / X ) = ∑∑ p ( x j , yk ) log 2  
 p( y / x ) 
k =0 j =0  k j 

• Propriedades da Informação Mútua:
a) Simetria: I(X:Y) = I(Y:X)
b) Polaridade: I(X:Y) = 0
c) Dependência conjunta: I(X:Y)=H(X)+H(Y)-H(X,Y) H ( X ;Y )
K −1 J −1  1 
H ( X , Y ) = ∑∑ p ( x j , yk ) log 2  
 p( x , y ) 
k =0 j =0  j k 
H (X | Y) I ( X ;Y ) H (Y | X )
H(X ) H (Y )

• Exemplo: Qual é a informação mútua do canal do exemplo anterior,
para ambas distribuições de probabilidade da fonte de entrada?

• Capacidade do canal: é a máxima informação mútua que se pode obter
de um canal de comunicação.
• A informação mútua depende da distribuição da fonte de entrada e da
probabilidade de transição do canal.
• A capacidade do canal somente será atendida se a fonte de entrada
apresentar a distribuição adequada.
• Para um canal binário, a capacidade do canal é atingida apenas quando
1
a fonte de entrada é equiprovável. 0.9
0.8
C = 1 + (1 ¡ p) ¢ log2 (1 ¡ p) + p ¢ log2 (p) 0.7
Capacidade do Canal
0.6
0.5
0.4
• Qual é a Capacidade do Canal quando: 0.3
0.2
p = 0, p = 0.5 e p = 1? 0.1
0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Probabilidade de transição

• Qual é a variação da Informação Mútua de um canal binário sem
memória em função da distribuição da fonte de entrada e da
probabilidade de transição?

• Codificação de canal: tem como objetivo inserir bits de redundância
de maneira controlada que permitem detectar e corrigir erros causados
pelo canal.
Fonte discreta Codificador Canal discreto Decodificador

Destino
sem memória de canal sem memória de Canal
Ruído

• Transmissão confiável: é aquela em que a probabilidade de erro de bit
pode ser tão baixa quanto necessário.
• O 2° Teorema de Shannon determina qual é a condição para que tenha
uma transmissão confiável.
“Existe um esquema de codificação de canal que permite que a taxa de

erro de bit seja tão baixa quanto desejada se a seguinte condição for
satisfeita:
H (S ) C
≤
Ts Tc
• Ts é o tempo de emissão dos símbolos pela fonte e TC é o tempo de bit
após a codificação de canal.
• Aplicação do Teorema de Codificação de Canal:
a) Taxa de codificação: é a razão entre o número de bits de informação
pelo número total de bits inseridos pelo codificador de canal:
k k
r= =
n k+p
b) Se a vazão do sistema tiver que se manter constante, então o tempo
de sinalização na saída do codificador terá que ser menor do que o
tempo de sinalização na entrada.
Tc
r=
Ts
c) Portanto a condição para que a probabilidade de erro possa ser tão
baixa quanto necessária pode ser reescrita como
r·C

• Exemplo: Código de Repetição – ver página 50 da apostila.

• Ruído AWGN (Additive White Gaussian Noise): é o ruído térmico
presente em todos os modelos de canais de comunicação. Suas
características são:
a) Média nula.
b) Potência: Pruído=s 2=B.N0, onde N0 é a densidade espectral de

potência do ruído e B é a largura de faixa do sinal transmitido.
SN(f)
c) Distribuição Gaussiana e independente.
N0/2

• Teorema da Capacidade do Canal: 3° Teorema de Shannon.
“Um canal de comunicação limitado em B Hertz de

largura de faixa e contaminado por um ruído AWGN
com densidade espectral de potência de N0/2 permite
a comunicação confiável a uma taxa menor ou igual a
 P 
C = B log 2 1 +  = B log 2 (1 + SNR )
 N0 B 
P é a potência do sinal. SNR é a relação sinal-ruído.
• Limitante de Shannon
100
Região para a qual Rb>C
10
Fronteira onde
Eficiência de BW (Rb/B) Rb=C
1 Região para a qual

Rb<C
0.1
0 10 20 30
Eb/N0 em dB

• Exemplo 1: qual é a máxima taxa de dados para uma transmissão
confiável em um canal telefônico com relação sinal ruído igual à 15dB?
• Exemplo 2: Qual é a menor largura de faixa possível para se obter

uma taxa de transmissão de 15kb/s em um canal com SNR=10dB?
• Exemplo 3: Qual é a potência necessária para se conseguir 15kb/s em

um canal com 5kHz de banda, sabendo-se que a potência do ruído é
igual a 2mW?


SlidesTeoriadaInformacao PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

SlidesTeoriadaInformacao PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Teoria da Informação

Prof. Dr. Luciano Leonel Mendes

1. Revisão: Probabilidade e Variáveis Aleatórias

2. Fontes de informação – amostragem e quantização

3. Princípios da Teoria da Informação

5. Limitantes para Canais AWGN

Livro Texto: Haykin, Simon, “Sistemas de Comunicação”, 4° Edição,

Teoria da Informação 2/62 Prof. Dr. Luciano Leonel Mendes

• Diagrama de Venn: permite realizar uma representação gráfica dos

Teoria da Informação 3/62 Prof. Dr. Luciano Leonel Mendes

• Para qualquer evento A, P[A]=0.

Exemplo: Seja o espaço amostral S={0, 1, 2, 3}. Então:

“A probabilidade é sempre um número entre 0 e 1”

Teoria da Informação 4/62 Prof. Dr. Luciano Leonel Mendes

Seja um evento B={números pares}. Logo B = ? Qual é P[B]?

Seja D=BUC. Logo D=? Qual é P[D]?

Teoria da Informação 5/62 Prof. Dr. Luciano Leonel Mendes

4. Probabilidade de eventos conjuntos: considere o diagrama de Venn.

Note que Bi e Bj são mutualmente

P[AB]=P[A]xP[B] somente se A e B forem independentes.

6. Probabilidade Condicional: é a probabilidade de ocorrência de um

a) Qual é a probabilidade de ter-se sorteado um 3, dado que o número

Teoria da Informação 8/62 Prof. Dr. Luciano Leonel Mendes

3 2.4 1.8 1.2 0.6 0 0.6 1.2 1.8 2.4 3

Teoria da Informação 9/62 Prof. Dr. Luciano Leonel Mendes

c) Média: é o valor médio da variável aleatória, também conhecido

d) Desvio padrão: é uma medida de quanto a variável aleatória pode se

Teoria da Informação 10/62 Prof. Dr. Luciano Leonel Mendes

e) Variância: é o quadrado do desvio padrão. Pode ser associado à

Teoria da Informação 11/62 Prof. Dr. Luciano Leonel Mendes

• Toda fonte de informação de um sistema de comunicação digital deve

• Algumas fontes são discretas por natureza.

• Outras possuem um número infinito de símbolos. Essas fontes devem

• Tipos de fontes: binárias, m-árias e analógicas.

Teoria da Informação 14/62 Prof. Dr. Luciano Leonel Mendes

• Os dados emitidos por esta fonte não precisam sofrer maiores

Teoria da Informação 15/62 Prof. Dr. Luciano Leonel Mendes

• Os símbolos emitidos por esta fonte devem ser codificados em bits.

• A quantidade de bits necessária para codificar uma fonte com M

• Exemplo: qual é a quantidade de bits necessária para representar o

Teoria da Informação 16/62 Prof. Dr. Luciano Leonel Mendes

• Exemplo: assuma que a fonte de informação seja um dado. Proponha

Teoria da Informação 17/62 Prof. Dr. Luciano Leonel Mendes

• As fontes analógica devem ser digitalizadas para que os dados possam

• Esse procedimento consiste de dois passos:

a) Amostragem: consiste em discretizar o sinal no domínio do tempo.

b) Quantização: consiste em limitar a amplitude das amostras em M

Teoria da Informação 19/62 Prof. Dr. Luciano Leonel Mendes

• A freqüência de amostragem é fs=1/Ts.

Teoria da Informação 20/62 Prof. Dr. Luciano Leonel Mendes

\Um sinal limitado em freqÄu^encia, cuja freqÄ

Teoria da Informação 21/62 Prof. Dr. Luciano Leonel Mendes

Sinal Original e Sinal Recuperado

Teoria da Informação 22/62 Prof. Dr. Luciano Leonel Mendes

Sinal Original e Sinal Amostrado com Retenção

• A recuperação da informação original é feita da mesma forma que na

• Um quantizador permite apenas NQ níveis de amplitude em sua saída.

• O número de bits necessários para representar cada uma das amostras

Teoria da Informação 24/62 Prof. Dr. Luciano Leonel Mendes

• Essa distorção pode ser modelada como um ruído de potência:

• A taxa de bits mínima para representar essa fonte analógica é limitada

Rb ¸ 2 log2 (NQ ) ¢ fmax

Teoria da Informação 25/62 Prof. Dr. Luciano Leonel Mendes