O capitulo 9 do livro sistemas de comunicação do haykin
aborda os limites fundamentas da teoria da informação. Neste trabalho será realizado um resumo sobre as seções 9.0 até 9.3 deste capítulo. Porém, este resumo não é baseado apensas nas explicações apresentadas no livro sistemas de comunicações pois, para um melhor entendimento deste assunto fez-se necessário a leitura de outros documentos que discutem este mesmo tema. Estes documentos foram encontrados na internet e sua referencia apresenta-se ao final deste trabalho.
Conceito e Explicação:
Claude Shannon escreveu um artigo intitulado
“mathematical theory of communication” em 1948. esta publicação definiu A teoria da informação moderna. Vale ressaltar, que de acordo com o artigo, teoria da informação do site da Wikipédia, A teoria de Shannon foi a primeira a considerar comunicação como um problema matemático rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de ocorrência de bits. A teoria não se preocupa com a semântica dos dados, mas pode envolver aspectos relacionados com a perda de informação na compressão e na transmissão de mensagens com ruído no canal. [3].
Os três limites fundamentais para um sistema de
comunicação digital são: teorema da codificação da fonte, teorema da codificação do canal e o teorema da capacidade do canal e estes se baseiam na teoria de informação feita por Shannon. Entretanto, em relação a esses três, apenas o teorema da codificação do canal será aprofundado.
De acordo com o capitulo 9 do livro sistemas de
comunicação o primeiro tópico a ser tratado é Incerteza, informação e entropia. Abaixo segue a explicação de cada um e como eles se relacionam na teoria da informção. A incerteza e a entropia só podem ser explicadas a partir do esclarecimento sobre a quantidade de informação de uma mensagem e o site criptografia numaboa apresenta de forma simples o conceito disso que se segue aseguir: A quantidade de informação de uma mensagem é definida como sendo o menor número de bits necessários para conter todos os valores ou significados desta mensagem. Por exemplo, se quisermos transmitir ou armazenar os números dos meses do ano, serão necessários, no mínimo, 4 bits para representar esta informação. Caso esta mesma informação fosse representada pelos caracteres ASCII, o número de bits necessários seria bem maior. E a informação, no entanto, seria a mesma. [2] A entropia é a quantidade mínima de bits necessários para transmitir ou armazenar um tipo de informação. A informação "sexo", por exemplo, possui entropia 1. Já a informação mês do ano possui um entropia um pouco menor do que 4 bits (alguns deles não são usados). Portanto, a quantidade de informação de uma mensagem M é medida pela entropia da mensagem, designada deH(M) por Shannon. Na grande maioria dos casos, a entropia de uma mensagem é log2n, onde n é o número de significados possíveis, se todos os significados forem igualmente prováveis. [2]. A incerteza tamb´me é medida pela entropia de uma mensagem. A incerteza é o número de bits que precisam ser recuperados quando a mensagem está cifrada para obter novamente o texto claro. [2] Na seção 9.3 é abordado o tema do teorema da codificação da fonte. Este tema está claramente resumido no site Universidade do porto. O artigo afirma que o teorema da codificação da fonte fornece um padrão pelo qual pode-se medir a informação proveniente de uma fonte discreta sem memória. O teorema mostra que pode-se tornar o número médio de elementos binários por símbolo da fonte tão pequeno como, mas não menor que, a entropia da fonte medida em bits. A entropia de uma fonte é uma função das probabilidades dos símbolos que a fonte produz. Visto a entropia ser uma medida de incerteza, é máxima quando os símbolos são equiprováveis. [4] Os objetivos do teorema da codificação da fonte são perseguidos e aproximados se, antes da codificação, os símbolos produzidos pela fonte forem agrupados em blocos de N símbolos. Daí, tem-se uma extensão de ordem N se os códigos forem de comprimento variável. Destes só interessa os códigos unicamente descodificáveis, em especial um seu subconjunto, o dos códigos sem prefixos, definidos através de árvores. [4]
Referências: [1] Haykin. Sistemas de comunicação. Seções 9.0 a 9.3.
[2] Teoria da informação. Criptografia Numaboa. Encontra-
se no site: < http://www.numaboa.com/criptografia/gerais/337- teoria-informacao>
[3] teoria da informação. Wikipédia. Encontra-se no site: <