Avaliação da Qualidade de Codecs de Código Aberto para
Transmissão VoIP
Thiago Brito Bezerra Leandro S. G. Carvalho Edjair de Souza Mota
Universidade Federal do Amazonas
Av. Gen. Rodrigo Octávio Jordão Ramos, 3000, Coroado I
69077-000 – Manaus – AM – Brasil
{tbb,galvao,edjair,edson}@dcc.ufam.edu.br
ABSTRACT
One of the main components of voice over IP technology is voice
coding algorithm, known as vocoders. There is a wide variety of
vocoders and some have better quality than others. This work
aims to evaluate the quality of some open source vocoders, and as
starting point the implementation of evaluation procedure defined
by ITU-T Recommendation P.834 for thus obtain the parameter of
impairment factor at 0% of packet loss (Ie). This parameter,
specific to each vocoder, it is used by the E-Model (ITU-T Rec.
G.107 [6]) for evaluation of the quality of speech on VoIP calls.
RESUMO
Um dos principais componentes da tecnologia de voz sobre IP são
os algoritmos de codificação da fala, conhecidos como codecs.
Existe uma grande variedade de codecs e alguns apresentam
melhor qualidade que outros, a depender do grau de perda de
informação proporcionada pelas técnicas de compressão
empregadas. Este trabalho tem por finalidade avaliar a qualidade
de alguns codecs de código aberto, tendo como ponto de partida a
implementação do procedimento de avaliação definido pela Rec.
ITU-T P.834 [4] para derivação do parâmetro de degradação da
fala a 0% de perda de pacotes (Ie). Este parâmetro, específico para
cada codec, é utilizado pelo Modelo E (Rec. ITU-T G.107 [6])
para avaliação da qualidade da fala.
Palavras-Chaves
VoIP, Codecs, Qualidade de fala, Medição, Modelo E
1.INTRODUÇÃO
A Internet vem experimentando um crescimento considerável nos
últimos anos, devido à sua capacidade de compartilhamento dos
mais diversos tipos de dados (texto, áudio, vídeo) e também por
ter se tornado um meio de comunicação global de baixo custo se
comparado a outros meios de comunicação, como por exemplo a
telefonia convencional. Isso despertou o interesse para o
desenvolvimento de novas tecnologias de comunicação de voz
que possam aproveitar a infra-estrutura da Internet e a sua
flexibilidade na transmissão de dados.
No processo de envio de pacotes de voz em um sistema VoIP, os
codecs desempenham o papel básico de codificação/
decodificação do sinal analógico de voz em um sinal digital.
Durante esse processo, os codecs realizam a compressão dos bits
que representam o sinal de voz, o que normalmente se dá por
meio de perda de informação. O tempo de processamento dessa
tarefa e a quantidade de perda que efetivamente afeta a percepção
do sistema auditivo humano determina a qualidade de um codec.
© 2008 Brazilian Computer Society
Edson Nascimento
Além da função básica de codificação e compressão, os codecs
mais modernos implementam outras funcionalidades que visam
atenuar os efeitos das degradações inseridas pelo sistema de
comunicação. Por exemplo, vários codecs costumam implementar
algum mecanismo de detecção de silêncio (VAD) e transmissão
descontínua da fala (DTX), evitando o envio desnecessário de
pacotes quando o usuário está em silêncio. Outro mecanismo
comumente implementado por codecs é a compensação de perdas
de pacotes (PLC), pela qual tenta-se amenizar a perda de um ou
mais pacotes que não chegam a tempo de serem reproduzidos no
receptor. A depender da técnica empregada (substituição por
silêncio, substituição pelo último pacote tocado, interpolação,
etc.), da quantidade de pacotes perdidos em seqüência e da
duração do(s) pacote(s) perdido(s), algumas técnicas de PLC
mostram-se mais eficientes que outras, determinando um melhor
ou pior desempenho do codec.
Por um lado, tais funcionalidades contribuem para a oferta de um
serviço VoIP de melhor qualidade para o usuário final. Por outro,
a tarefa de medição da qualidade da fala torna-se não trivial,
devido às minúcias a serem aferidas.
Entre os métodos de medição da qualidade da fala mais utilizados,
temos o Modelo E [6]. Seu procedimento de medição consiste na
coleta de parâmetros do fluxo de voz, os quais servem de entrada
para um conjunto de equações que devolvem como resultado o
fator R, cujo valor varia de 0 (ruim) a 100 (ótimo) como medida
da qualidade da fala avaliada. Normalmente, o resultado do
Modelo E é transformado para a escala de 1 (péssimo) a 5
(excelente) do MOS (Mean Opinion Score) [2].
Dois dos parâmetros utilizados no cômputo do Modelo E refletem
diretamente a qualidade do codec utilizado na fala avaliada: o
fator de degradação a 0% de perda de pacotes (Ie) e do fator de
robustez à perda de pacotes (Bpl). A Rec. ITU-T G.113 [5]
apresenta valores desses parâmetros para apenas alguns codecs
(G.711, GSM, G.726 e G.729), de forma que não é possível medir
a qualidade da fala segundo o Modelo E para os codecs que não
estão listados nessa recomendação (Speex, AMR e iLBC).
A obtenção dos valores de Ie e Bpl para novos codecs é realizada
de maneira off-line, antes do momento da medição do fluxo de
voz baseado no codec estudado. A Rec. ITU-T P.834 [4]
especifica o procedimento de obtenção do parâmetro Ie, mas não
para o Bpl. Contudo, uma metodologia para a derivação deste
último pode ser facilmente definida com base na do primeiro.
Este trabalho tem por objetivo aplicar a metodologia definida na
Rec. ITU-T P.834 para derivação do parâmetro de degradação da
fala a 0% de perda de pacotes (Ie) dos codecs iLBC (15,2 kbps) e
167
Speex (diversas taxas). A definição e execução de uma
metodologia para a derivação de Bpl estão fora do escopo, no
momento, ficando reservados para a continuação deste trabalho.
O presente artigo está organizado da seguinte forma. Na próxima
seção, apresentaremos brevemente a metodologia descrita na Rec.
P.834. Na seção 3, será apresentado o cenário de testes utilizado.
Os resultados obtidos serão apresentados e analisados na seção 4
e, na seção 5, serão expostas as conclusões e indicados alguns
trabalhos futuros.
2.METODOLOGIA
Aqui apresentaremos brevemente a metodologia defina na rec.
ITU-T P.834. Os leitores interessados podem encontrar em mais
detalhes a respeito em [4]. Basicamente, ela consiste em realizar
experimentos com codecs cujo valor de Ie é conhecido, a fim de
retirar o viés (bias) do ambiente de experimentação, e por fim
determinar o valor de Ie do codec desejado.
O valor de Ie é determinado de forma reversa ao processo de
determinação da qualidade da fala: utiliza-se um método de
medição diferente do Modelo E para determinar a qualidade da
fala das amostras; converte-se o valor obtido para a escala do fator
R; aplica-se as equações do Modelo E para encontrar o parâmetro
desconhecido, nesse caso, o fator Ie. É importante notar que
quando a taxa de perda de pacotes é zero, o fator Bpl não
influencia na qualidade da fala, de forma que, nessas condições, o
parâmetro Ie é realmente o único fator desconhecido.
A Rec. ITU-T P.834 estabelece os seguintes passo para a
determinação do fator Ie:
1. Determinação dos valores brutos do fator R para codecs
conhecidos. Neste passo, vários arquivos de voz codificados
com codecs conhecidos (i.e. cujos valores de Ie e Bpl são
conhecidos).
2. Cálculo da linha de interpolação. Realizando uma
regressão linear entre os valores teóricos de Ie com os
valores obtidos no passo anterior (valores brutos), determina-
se uma reta de interpolação, que será utilizada no próximo
passo para ajustar o valor de Ie do codec sob teste.
3. Determinação do valor definitivo de Ie para o codec sob
teste. Segue-se o mesmo procedimento do passo 1, mas desta
vez para o codec cujo valor de Ie deseja-se determinar.
4. Teste de aditividade. Tem a finalidade de verificar se o
efeito de vários processos de codificação/decodificação em
seqüência utilizando-se o codec estudado tem efeito aditivo
com relação ao fator Ie ou não. Este passo não foi realizado
neste trabalho.
3.DESCRIÇÃO DOS EXPERIMENTOS
Para gerar as chamadas de voz, foram utilizados dois
computadores, um como gerador e o outro como gravador das
chamadas. Em ambos os computadores foram instaladas as
bibliotecas PwLib e Openh323 que são de código aberto e podem
ser encontradas em [7].
No computador gerador de chamadas foi instalado o programa
Callgen, um softfone de código aberto baseado no protocolo de
sinalização H.323. Já no computador receptor foi instalado o
programa OpenAM, que é uma secretária eletrônica que grava as
chamadas VoIP. Ambos podem ser encontrados em [8]. É
importante observar que o estudo da qualidade do codec
independe do protocolo de sinalização empregado para
estabelecer a chamada, uma vez que o fluxo de voz é controlado
pelo protocolo RTP, o qual é utilizado tanto pelo H.323 como
pelo SIP para transporte de mídia.
Para que o nosso experimento não sofresse interferência da rede
de dados da UFAM, esses dois computadores foram colocados em
uma rede isolada, evitando competição com outros serviços. O
ambiente pode ser visto na Figura 1.
Figura 1. Ambiente utilizado para geração de chamadas.
Nesse ambiente favorável, utilizamos a ferramenta de medição da
qualidade da fala desenvolvida em [9] e verificamos que a taxa de
perda de pacote foi nula (Ppl = 0). Apesar de não especificado na
Rec. P.834, observamos ser necessária a medição do atraso de
transmissão fim a fim para a determinação correta do valor de Ie,
pois a qualidade da fala também é afetada por esse parâmetro, que
no Modelo E é expresso pelo fator Id.
A partir do computador gerador de chamadas, foram executados
scripts que estabeleciam chamadas seqüenciais com intervalos de
3 segundos de uma para a outra. No receptor, com o auxílio do
OpenAM, foi possível a gravação do sinal degradado.
Os dois arquivos de áudio contendo os sinais original e degradado
foram comparados utilizando-se o método PESQ (Perceptual
Evaluation of Speech Quality), definido na Rec. ITU-T P.862 [3].
Seu resultado é um valor entre 0 e 4,5, o qual deve ser convertido
para a escala MOS (1 a 5). Utilizou-se a versão acadêmica do
PESQ disponibilizada no próprio site da ITU-T. A instalação foi
testada e homologada segundo testes recomendados pelo manual
que acompanha o software.
Os arquivos de voz utilizados nas chamadas geradas foram os
mesmos que acompanham a Rec. ITU-T P.834. São um total de
392 arquivos de 8 segundos de duração contendo frases faladas na
língua inglesa. Metade das frases é falada por duas vozes
masculinas e a outra metade por duas vozes femininas.
Para calibração do ambiente de testes (retirada do viés), a Rec.
ITU-T P.834 define 14 condições de testes de referência, baseadas
nos codecs cujos valores de Ie e Bpl são conhecidos. Destas,
pudemos reproduzir onze, devido a problemas de propriedade
intelectual do algoritmo de codec. Para melhorar a precisão,
acrescentamos como uma décima segunda condição de teste o
codec iLBC 13,33 kbps, cujo valor de Ie foi determinado em [1],
posteriormente à definição da metodologia P.834 [4].
Com o ambiente montado, procedeu-se os três primeiros passos
das metodologia ITU-T P.834, conforme exposto na seção
anterior, para determinar o valor de Ie do codec iLBC (15,2 kbps)
e do Speex (24,6; 18,2; 15 e 11 kbps).
4.RESULTADOS OBTIDOS E ANÁLISES
Com os resultados das medições realizadas utilizando-se o PESQ
foi feito o cálculo da regressão linear para que se pudesse obter o
168
nível de erro inserido pelo ambiente nas medições, esse nível de
erro pode ser verificado no gráfico da Figura 2.
Esse gráfico apresenta a relação entre o valores K e Ie, onde K
pode ser obtido da seguinte fórmula: com essa relação pudemos
calibrar o nosso ambiente de testes e passar para a fase de
avaliação dos codecs selecionados.
Figura 2. Gráfico da reta de erro do ambiente
Depois da geração das amostras para os codecs de código aberto
selecionados, cada uma dessas amostras foi analisada pelo método
PESQ que obtém a nota MOS e com essa nota foram derivados os
parâmetros de qualidade.
Neste projeto foram avaliados três codecs de código aberto: iLBC
e o Speex. O Speex e o iLBC possuem mais de uma taxa de
transmissão. Portanto, foi derivado o parâmetro Ie para cada uma
dessas taxas de transmissão.
Os resultados obtidos com as medições neste trabalho para cada
um desses codecs podem ser observados na Tabela 1.
Tabela 1. Tabela do fator de perda (Ie) dos novos codecs
Taxa de
Codec Ie
transmissão (kbps)
iLBC 15,2 4,5
SpeexNarrow 11,0 18
SpeexNarrow 15,0 6 band telephone networks and speech codecs. Genebra (Suíça), 2001.
SpeexNarrow 18,2 6
SpeexNarrow 24,6 0 factors from instrumental model. Genebra (Suíça), 2003.
Com esses resultados pode-se averiguar que, à medida que a taxa
de transmissão de um codec aumenta, a sua qualidade tende a
aumentar proporcionalmente, visto que quanto maior a quantidade
de informações que uma amostra digital carrega melhor será a sua
qualidade quando esta for decodificada em uma amostra
analógica.
Pode-se notar também que, quanto maior a taxa de transmissão
para um codec, menor é seu valor de Ie. Isso se deve ao fato de
que uma quantidade maior de informações a respeito da amostra
original permite reconstruí-la de uma forma mais precisa, o que se
traduz em uma pontuação MOS melhor e, proporcionalmente, em
uma valor de Ie mais baixo.
Os resultados apresentados na Tabela 1 são coerentes visto que os
dados obtidos obedecem a regra acima e os resultados obtidos
através de testes com codecs que já tem seus valores de Ie
definidos comprovam que o ambiente segue as normas da ITU-T.
5.CONCLUSÕES
Através deste trabalho, derivou-se o parâmetro de degradação da
qualidade da fala a 0% de perda de pacotes (Ie) para os codecs
iLBC (15,3 kbps) e Speex (24,6; 18,2; 15 e 11 kbps). Como eles
não possuem seu valor de Ie listados na Rec. ITU-T G.113 [5], até
a conclusão deste trabalho, não era possível determinar a
qualidade da fala através do Modelo E de chamadas de voz
baseadas nesses codecs. A metodologia para derivação do
parâmetro Ie está definida na Rec. ITU-T P.834 [4].
Os valores do parâmetro Ie obtidos para os codecs de código
aberto aqui avaliados mostraram-se coerentes com o fato de que
taxas de transmissão pequenas implicam em alto grau de
compressão dos pacotes de voz, o que se reflete em valores
maiores do parâmetro Ie.
Como o ambiente apresentado neste trabalho foi completamente
implementado em ferramentas de código aberto, poderá ser usado
por qualquer desenvolvedor de vocoders para avaliar a qualidade
de seu projeto e ter como modificá-lo baseando nos resultados
apresentados pelo ambiente que seguem as normas definidas nas
Rec. ITU-T P.834 e G.113.
Mais detalhes sobre este trabalho podem ser obtidos no relatório
final de PIBIC [10]. Alguns trabalhos que se encontram em
andamento são a implementação de codecs definidos na Rec.
P.834 da ITU-T para uma melhor calibração do ambiente,
sabendo que alguns possuem versões acadêmicas; a derivação do
parâmetro de robustez a perda de pacotes em chamadas VoIP
(Bpl); e também a submissão dos novos valores de Ie e Bpl para
apreciação da ITU-T, a fim de atualizar a Rec. ITU-T G.113.
6.REFERÊNCIAS
[1] A. Raake. Speech quality of VoIP: Assesment and Prediction. John
Wiley & Sons, 2006.
[2] ITU-T Rec. P.800: Methods for subjective determination of transmission
quality. Genebra (Suíça), 1996.
[3] ITU-T Rec. P.862: Perceptual Evaluation os Speech Quality (PESQ): An
objective method for end-to-end speech quality assessment of narrow-
[4] ITU-T Rec. P.834: Methodology for derivation of equipment impairment
[5] ITU-T Rec. G.113: Transmission impairments due to speech processing.
Genebra (Suíça), 2001.
[6] ITU-T Rec. G.107: The E-model, a computational model for use in
transmission planning. Genebra (Suíça), 2002.
[7] VOXGRATIA. Open source Voice-over-IP. www.voxgratia.org Último
acesso em: 14/06/2007.
[8] OPENH323. Openh323 Project. www.openh323.org Último acesso em:
14/06/2007.
[9] Carvalho, L.S.G. Uma Implementação do Modelo E para Avaliação
Objetiva da Qualidade da Fala em Redes de Comunicação VoIP.
Dissertação de mestrado. Universidade Federal do Amazonas (UFAM).
2004.
[10] Brito, T. Avaliação da Qualidade de Vocoders de Código Aberto para
Transmissão VoIP UFAM. Relatório de PIBIC. Universidade Federal do
Amazonas, 2007.
169