HDI Seguros

POC Ferramenta NPMD

(Network Performance Monitoring and Diagnostic)

Prova de Conceito Prática

Caderno de Testes

Setembro/2022
 Sumário
1. Introdução:.................................................................................................4
2. Objetivo:.....................................................................................................4
3. Escopo:......................................................................................................4
4. Fora do Escopo:.........................................................................................4
5. Resultado:..................................................................................................4
6. Referência a manuais:...............................................................................5
7. Contatos:....................................................................................................5
8. Diretrizes Gerais:.......................................................................................5
9. Responsabilidades HDI Seguros:..............................................................6
10. Responsabilidades Fornecedor:............................................................6
11. Pré-condições de Execução:.................................................................6
12. Topologia do Ambiente da POC:...........................................................7
13. Roteiro de Testes:..................................................................................9
13.1- Visão “Dashboards” e geração de relatórios................................................................9

13.2- Análise de métricas, protocolos e correlação de eventos..........................................12

13.3- Captura e armazenamento de pacotes......................................................................24

13.4- Integrações com plataformas existentes....................................................................25

13.5- Monitoração do tráfego de máquinas virtuais (VM)..................................................26

13.6- Monitoração do ambiente Cloud...............................................................................27

1-
 1.1- Introdução:

Prova de conceito (POC) de solução NPMD (Network Performance Monitoring and Diagnostics) dentro
das instalações da HDI Seguros.

Serão utilizados os coletores e tráfego da rede produtiva da HDI para avaliar as soluções NPMD de
mercado que atendam às necessidades de monitoração do desempenho e diagnóstico de rede.

A capacidade dos appliances para a Prova de Conceito (POC) é:

 Pacotes por segundo – XXXXXX;

 Throughput – XXXXX.

1.2- Objetivo:

Avaliar e comprovar a capacidade e funcionalidades das soluções NPMD de mercado em atender aos
requisitos definidos pela HDI Seguros em monitoração do desempenho e diagnóstico de rede, visando
melhoria da experiência dos clientes.

1.3- Escopo:
 Monitorar o tráfego e desempenho da rede a partir de dados coletados em switches e
firewalls da rede;
 Monitorar o tráfego leste-oeste, norte-sul;
 Monitorar o tráfego em ambiente Cloud da HDI;
 Análise de pacotes coletados na infraestrutura da HDI;
 Análise e métricas de desempenho da rede;
 Auxiliar no diagnóstico de rede.

1.4- Fora do Escopo:

 Avaliar ferramentas (hardware) de coleta de pacotes – será utilizada a infraestrutura
existente.

1.5- Resultado:

O fornecedor deverá:

 Detalhar as especificações de hardware e software do teste, incluindo os modelos e

versões;
  Explicar o resultado de cada teste e elaborar uma conclusão final.

1.6- Referência a manuais:

Como forma de apoio no resultado do plano de teste, poderá ser informado o link do manual e o
número da página correspondente.

1.7- Contatos:

HDI Seguros:

 Paulo Moura
 Jennifer Rodrigues
 Rafael Pereira
 Mauricio Oliveira

Empresa Fornecedor NPMD: VIAVI

1.8- Diretrizes Gerais:

 A HDI terá autonomia para reexecutar os testes sempre que necessário durante a fase de
POC;
 É vedado ao fornecedor a execução de configurações nas soluções que mascarem os
resultados, por não executar corretamente o que foi especificado no plano de testes ou
por simular respostas de sucesso na ocorrência de falhas;
 É vedado ao fornecedor a inclusão de componentes ou alteração da arquitetura
previamente validada sem o consentimento formal da HDI;
 É vedado ao fornecedor apagar os logs de rastreabilidade de acesso aos
servidores/appliances do ambiente do POC, mesmo que seja infraestrutura de laboratório;
 O fornecedor poderá ajustar as configurações de sistema operacional e das ferramentas
para maior eficiência na execução dos testes, desde que sejam respeitadas as demais
diretrizes e o time HDI seja comunicado das alterações;
 Ao término da POC a HDI executará um checklist de verificação do cumprimento das
diretrizes;
 Em caso de detecção de desvios em qualquer uma destas diretrizes o fornecedor será
desclassificado automaticamente do processo da POC;
 Casos omissos serão tratados pela equipe HDI responsável pelos testes;
 Escrever em conjunto com o fornecedor um plano de testes.

1.9- Responsabilidades HDI Seguros:

 Prover a infraestrutura para instalação e configuração das soluções testadas no ambiente

da POC e/ou laboratório da HDI (quando os testes forem executados no ambiente da HDI).
Testes comparativos de desempenho entre diferentes soluções deverão ser executados
sob uma mesma especificação e capacidade de infraestrutura.
 Validar o desenho de arquitetura proposto pelo fornecedor para execução dos testes;
 Auditar em qualquer tempo os logs e as configurações das soluções efetuadas pelo
fornecedor.
 Coletar evidências do resultado dos testes executados durante a POC.

1.10- Responsabilidades Fornecedor:

 Apresentar a arquitetura da solução e esclarecer as dúvidas da HDI;

 Compreender as diretrizes, responsabilidades e o plano de testes definido pela HDI e
enviar formalização de aceite por e-mail (Fornecedor e parceiros);
 Documentar e apresentar a HDI o desenho de arquitetura da solução proposta para
atender os objetivos definidos no plano de testes, com a devida explicação sobre cada um
dos componentes, indicando uso, pontos únicos de falha, escalabilidade, alta
disponibilidade e possibilidades de parametrização;
 Instalar e configurar as soluções na infraestrutura da POC.
 Fornecedor evidências do resultado dos testes executados durante a POC.

1.11- Pré-condições de Execução:

 Garantir que os testes não gerem impacto na produção;

 Os planos de testes devem estar configurados na ferramenta de geração de carga nos
casos em que se aplicar;
 Certificar que o consumo de CPU, memória, conexões por segundo e pacotes por segundo
foram normalizados antes da execução do teste seguinte.
1.12- Topologia do Ambiente da POC:
Figura 1: Topologia de rede do POC NPMD na HDI Seguros.

 A coleta do tráfego de rede será realizada através do envio de flows.

 1.13- Roteiro de Testes:

O conjunto de testes abaixo, visa demonstrar que as ferramentas que irão compor a solução final do
NPMD, serão capazes de atender aos requisitos definidos pela HDI seguros como importantes para a
aquisição da solução de monitoração.

1.14- Visão “Dashboards” e geração de relatórios

 Dashboard com visão executiva;
 Dashboard que consiga direcionar um problema entre diversas camadas;
 Criação de “Dashboards”.

Item Atendido Comprovação

2.1.1- Demonstrar os “dashboards” da ferramenta:

 Pesquisa por objeto (Hostname, IP, Aplicação, Interface,
Dispositivo, etc.);

 Mapa das aplicações, utilizando os dados coletados por módulos

de captura de outros “vendors” (infra existente);

 Informações sobre de tráfego para os 10 principais itens das

seguintes categorias:
o Por aplicação;

o Por porta TCP;

o Por host;

o Por grupo de Hosts;

o Por conversação entre hosts;

o Por conversação entre Grupos de Hosts;

o Por marcação de DSCP.

 Informações sobre as aplicações mapeadas:

o Status da aplicação mapeada por métrica;

o Status da aplicação mapeada por localidade;

o Mapa da aplicação e o status das métricas entre cada

componente.
 Listar os eventos na plataforma.

2.1.2- Demonstrar recursos da ferramenta:

 Pesquisa por objeto (Hostname, IP, Aplicação, Interface,
Dispositivo, etc.);

 Fazer “drill down” em “dashboards” para refinar informação;

 Apresentação alternada (rodízio) de “dashboards” na tela de

gerenciamento do Centro de Operação (NOC) ;
 Fazer comparações com métricas de diferentes períodos (diário,
semanal, mensal, dia anterior, semana anterior);
 Configurar período de tempo a ser exibido e mostrar qual a menor
granularidade a solução permite gerar métrica.

2.1.3- Demonstrar a criação de “dashboards” da ferramenta:

 Mostrar se é possível customizar para exibir informações de mais
de um módulo.

 Configurar “tresholds”, alertas e/ou alteração na apresentação

(cores) que auxiliem na identificação visual de mudança de perfil;

 Agrupar diversos elementos: User experience, etc.

o Agrupamento por Site;

o Agrupamento por tipo de dispositivo;

o Agrupamento por interface.

o Agrupamento de interfaces com possibilidade

2.1.4- Demonstrar, se houver, assistente de criação de Dashboard que

guiem o administrador.

Relatórios
2.1.5- Demonstrar geração de relatórios com análise de métricas em
intervalo igual ou inferior a 1 minuto.
2.1.6- Extrair relatórios no formato PDF, HMTL e CSV das informações
exibidas em “dashboards” e/ou pesquisadas.

2.1.7- Demonstrar automatizações na extração de relatórios periódicos

(a cada hora ou diariamente ou mensalmente).

2.1.8- Demonstrar relatórios consolidados com informações recebidas

via Flow e Coleta de Pacotes. Mostrar os detalhes que a ferramenta
permite averiguar (tempo de resposta nos elementos observados,
auxílio a troubleshooting).

2.1.9- Exibir o desenho de topologia de uma comunicação entre dois

IPs e informações de porta TCP/UDP.
Mostrar a exportação do diagrama no formato PDF, Visio e CSV.

2.1.10- Gerar relatórios que demonstrem quais os elementos que mais

trafegaram (“Top Talkers”):
 Top Hosts
 Top Pares de Host
 Top Pares de Host com as Portas TCP/UDP utilizadas
 Top Grupos de Host
 Top Pares de Grupos de Host
 Top Pares de Grupos de Host com as Portas TCP/UDP
utilizadas
 Top Aplicações

 Top Aplicações com as Portas TCP/UDP utilizadas

 Top Portas TCP / UDP

 Top Grupos de Portas TCP/UDP
 Top Protocolos
 Top Interfaces de Rede
2.1.11- Mostrar Relatório de Tráfego de Host, Grupo de Host ou
Subnet, exibindo as seguintes informações:
 Aplicação;
 Porta TCP/UDP;
 Conversação entre hosts;
 Conversação entre Grupos de Hosts;
 Marcação de DSCP.

2.1.12- Mostrar Relatório do Tráfego online de uma determinada

interface que esteja exportando flow para solução. Exibir as seguintes
informações:
 Aplicação;
 Porta TCP/UDP;
 Host;
 Grupo de Hosts;
 Conversação entre hosts;
 Conversação entre Grupos de Hosts;
 Marcação de DSCP

1.15- Análise de métricas, protocolos e correlação de eventos

 Análise em Real Time na menor granularidade possível sendo a base mínima de 1 minuto;
 Correlação de eventos entre métricas, por exemplo, um problema de retransmissão em
uma camada impactando o tempo de resposta de outras camadas;
 Análise de protocolos através dos pacotes capturados, por exemplo, analise do código de
retorno do HTTP e possibilidade de inclusão de certificado para análise de pacotes em
HTTPS;
 Análise de métricas e ligações no ambiente de voz, sendo necessário à validação de Jitter,
MoS e Delay;
 Threshold de alarme realizado através de baseline automático com possibilidade da
definição através de porcentagem para minor ou major;


Item Atendido Comprovação

2.2.1- Demonstrar os tipos de flow que a ferramenta suporta
(Netflow, Sflow, JFlow, Netstream, IPFix, dentre outros) e
também que suporta trabalhar com o módulo de captura de
pacotes.
Demonstrar que a ferramenta consegue fazer “de-duplicação”
de flow.
Demonstrar a criação de Grupos de Hosts, Subnets, Interfaces,
Aplicações, Portas TCP/UDP, DSCP para classificar tráfego.
Demonstrar a criação de políticas e geração de relatórios.

Demonstrar como criar uma assinatura com endereços IPs e

portas TCP/UDP para identificar aplicações, utilizando
parâmetros de camada 4.
Demonstrar como agrupar as interfaces que estão exportando
flows em um “Grupo de Interfaces” para simplificar o processo
de criação de políticas.
Demonstrar que é possível sobrepor a banda coletada via
SNMP no dispositivo que está exportando flow, para que a
ferramenta faça o cálculo correto do percentual de utilização
da Interface.
Demonstrar a capacidade de gerar alertas caso os valores de
uma métrica ultrapassem um limite configurado, informando
mudança de perfil.

Mostrar análise de comportamento, aprendizado de perfil e

métrica.
Exibir análise de comportamento para as seguintes métricas:
 Banda
 Novas Conexões
 Conexões ativas
 Tempo de Resposta
 Média de Duração da Conexão
 Número de Reset do TCP
 Número de Retransmissão TCP
 Para o tráfego de voz:
o MOS

o Jitter Perda de Pacotes

o R-factor
 Monitorar e gerar alertas caso o limite (threshold)
definido seja excedido para as seguintes métricas
 Pacotes por segundo
 Bits por segundo

 Novas conexões por segundo

 Conexões ativas por segundo
 Percentual de utilização da interface
 Percentual de pacotes retransmitidos
 Percentual de bits retransmitidos
 Tempo de resposta total Delay de servidor
 Tempo de resposta de rede
 Duração da conexão
Demonstrar a capacidade de integração com outras
plataformas através de atalhos customizados (chamadas via
URL). Esses atalhos devem permitir a passagem dos
parâmetros relativos ao objeto que está sendo analisado, de
modo que permita seguir com a análise do objeto na outra
plataforma.

 Pelo menos os seguintes parâmetros devem estar

disponíveis:
o Hostname;
o Endereço
IP;
o MAC Address;

o Nome do Usuário do Active Directory Porta

TCP/UDP ;
o IfIndex ou inDescription da Interface

Demonstrar que possuir API que permita outras plataformas

fazerem consultas aos eventos gerados e aos relatórios de
tráfego.
Demonstrar a capacidade de consultar/coletar informações
ARP e MAC Address via consulta SNMP nos roteadores e
switches da rede para obter informações da porta do switch
onde o Servidor e/ou Cliente estão conectados.

Mostrar relatório de acessos, usuários, ações executadas,

detalhes de data, horário.
Demonstrar que é possível atribuir diferentes níveis de
privilégio para os usuários que acessam a interface. Pelo
menos os seguintes níveis devem estar disponíveis, não
importando se o Usuário pertence a base de usuários local, ou
se é autenticado via RADIUS ou TACACS+:

 Administrador: Usuário que tem o direito máximo dentro

do equipamento e pode executar qualquer operação de
configuração e executar qualquer tipo de relatório
 Operador: Esse usuário pode alterar algumas
configurações do equipamento, mas não tem permissão
para alterar ou criar contas de usuário e nem ver o log de
auditoria.
 Usuário Monitor: Ele pode visualizar o dashboard,
visualizar e executar relatórios e ajustar as preferências da
sua própria interface e trocar a sua própria senha.
 Usuário Visualizador do Dashboard: Esse usuário poderá
apenas visualizar os dashboards já criados, ajustar as
preferências da sua própria interface e trocar a sua
própria senha.
 Usuário Visualizador de Eventos: Esse usuário poderá
apenas visualizar os eventos ocorridos, e que foram
enviados para uma plataforma de gerenciamento externa.
Mostrar a política de definição de senha com pelo menos os
seguintes recursos:

 Tamanho mínimo da senha;

 Senha que misturem letras maiúsculas e minúsculas
 Depois de quantas senhas o usuário poderá repetir
uma senha utilizada anteriormente;
 Período de validade da senha;
 Bloquear a conta do usuário se ele errar a senha por
uma determinada quantidade de vezes;
 Definir o período de inatividade de uma sessão para
que seja feito o logout automático do usuário;
 Definir se será permitido fazer mais de um login com
o mesmo usuário e senha.
Monitoração com Análise de Comportamento
 A Ferramenta deve possuir um mecanismo que
analise e entenda o comportamento de uma
determinada métrica. Esse comportamento deve
gerar uma base de conhecimento, que deve ser
utilizada para informar ao administrador quando
aquela métrica desviou do comportamento
esperado.
 Caso a métrica mude o comportamento, deve ser
gerado um alerta informando como é o
comportamento esperado e como a métrica está se
comportando nesse momento.
 Essa função deve “aprender” de maneira
automática o comportamento, sem que seja
necessário o administrador especificar quais são os
limites (“Thresholds”) para aquela métrica.
Monitoração de Métricas de Desempenho

 Demonstrar a monitoração da interação entre as

diversas camadas de uma aplicação com diversas
métricas. Por exemplo: monitorar o tempo de
resposta entre os clientes e o servidor de aplicação e
entre o servidor de aplicação e o banco de dados.
 Mostrar o diagrama de como as diversas camadas se
comunicam.
 Demonstrar ser possível exportar esse digrama no
formato PDF, Visio e CSV.
 Demonstrar que possui um assistente (“Wizard”) que
auxilie no mapeamento das dependências da
aplicação.
 Demonstrar ser possível monitorar pelo menos as
seguintes métricas:
o Conexões Ativas
o Banda
o Novas Conexões
 o Número de TCP Resets
o Banda de TCP Retransmission
o Throughput Médio da Aplicação por Conexão
o Tempo Médio de duração de uma Conexão
o Tempo de Resposta
o Jitter
o MOS
o Pacote Perdidos
o Percentual de Pacotes Perdidos
o R-factor
 Os alertas podem ser enviados via email ou SNMP
caso alguma métrica saia fora do comportamento
esperado.Need screen shot
Métricas da Solução
Informar quais das métricas abaixo a solução suporta:
• Número Total de Conexões Ativas
• Número Médio de Conexões TCP com Reset do Cliente
por Minuto
• Número Total de Conexões TCP com Reset do Cliente
• Número Médio de Conexões TCP requisitadas por Minuto
• Número Total de Conexões TCP requisitadas
• Tempo Médio de Setup de Conexões TCP em Segundos
• Número Total de Conexões TCP que Falharam
• Número Médio de Conexões TCP que Falharam por
Minuto
• Número Total de Conexões TCP Abertas
• Número Médio de Conexões TCP Abertas
• Tempo Médio do de Transferência do Dado Requisitado
de Conexões TCP
• Tamanho Médio Payload Requisitado em Bytes das
Conexões TCP
• Tempo Médio de Transferência do Payload Requisitado
em Segundos das Conexões TCP
• Número Médio de Pacotes do Payload Requisitado das
Conexões TCP
• Percentual de Pacotes Requisitados Retransmitidos
• Tempo de Médio Delay em Segundos das Requisições
TCP que foram Retransmitidas
• Número Médio de Pacotes das Requisições TCP que foram
Retransmitidos por Segundo
• Taxa de Retransmissão Média em Bytes Por Segundo das
Conexões TCP Requisitadas
• Tempo de Médio Delay em Segundos das Requisições TCP
que foram Retransmitidas
• Número Médio de Pacotes das Requisições TCP que foram
Retransmitidos por Segundo
• Taxa de Retransmissão Média em Bytes Por Segundo das
Conexões TCP Requisitadas
•
• Tempo Médio do de Transferência do Dado Respondido
de Conexões TCP

• Tamanho Médio Payload Respondido em Bytes das

Conexões TCP
• Tempo Médio de Transferência do Payload Respondido
em Segundos das Conexões TCP
 • Número Médio de Pacotes do Payload Respondido das
Conexões TCP
• Percentual de Pacotes Respondidos Retransmitidos
• Tempo de Médio Delay em Segundos das Respostas TCP
que foram Retransmitidas
• Número Médio de Pacotes das Respostas TCP que foram
Retransmitidos por Segundo
• Taxa de Retransmissão Média em Bytes Por Segundo das
Conexões TCP Respondidas
• Tempo de Médio Delay em Segundos das Respostas TCP
que foram Retransmitidas
• Número Médio de Pacotes das Respostas TCP que foram
Retransmitidos por Segundo
• Taxa de Retransmissão Média em Bytes Por Segundo das
Conexões TCP Respondidas
• Tempo Médio de Round Trip em Segundos
• Número Médio de Resets TCP Enviados pelo Servidor por
Minuto
• Número Total de Resets TCP Enviados pelo Servidor
• Tempo Médio de Resposta em Segundos do Servidor em
Segundos para as Conexões TCP
• Número total de Respostas TCP do Servidor
• Número Médio de Respostas TCP do Servidor por
MinutoTempo Total Médio de Transferência do Dado em
Segundos
• Throughput Médio Total de Pacotes por Segundo
• Número Total de Pacotes
• Tempo Médio Total de Transferência do Payload do
Pacote em Segundo
• Número Médio de Resets TCP Por Minuto
• Número Total de Resets TCP
• Percentual Total de Resets TCP
• Delay Médio Total em Segundos devido a Retransmissão
• Throughput Total em Bits por Segundo
• Tamanho Total de Bytes
• Tempo de Resposta Médio do Usuário em Segundo
Monitoração de Aplicações Web
Demonstrar quais métricas para o Monitoração de Aplicações
Web Protocolo HTTP e HTTPs abaixo são suportadas:
 % HTTP status-code % Slow Pages - Percentage of HTTP
responses with a specific status code or range
 % Slow Pages - Percentage of Individual Page Views
with page times that exceed a slow threshold
 Client Busy Time - Average Client Busy Time in seconds.
 Client Busy Time (Normalized) Custom metric 1 -
Average Client Busy Time (Normalized) in seconds.
 HTTP XXXs - Number of HTTP responses the specified
status code or code or range
 Objects Requested - Number of HTTP server responses
to HTTP client requests
 Network Busy Time - Average network transfer time in
seconds for all resources in a page. Because the server
might have processed multiple requests in parallel, the
total-page-view busy time might be less than the sum
of the busy times for all resources in the view. This
metric appears in the “Individual Page Views Waterfall
(Resource Timeline)” Graph only.
  Network Busy Time (Normalized - Average network
transfer time in seconds for the full payload of an
individual request or response, from the first observed
packet to the last. This metric appears in the
“Individual Page Views Waterfall (Resource Timeline)”
Graph only.
 Page Request Size - Average size of HTTP request
messages sent
 Page Request Throughput - Average size of HTTP
request messages sent
 Page Request Traffic - Page Request Traffic
 Page Response Size - Page Request Traffic
 Page Response Throughput - Average bytes-per-
second of HTTP response messages sent
 Page Response Traffic - Total size of all HTTP response
messages sent
 Page Time - Average page time per page
 Page Total Size - Average total size page
 Page Total Throughput - Average bytes-per-second of
total request and response messages
 Page Total Traffic - Total of page request and response
traffic
 Page View Rate - Average number of page views per
second
 Page Views - Total Number of Page View
 Server Busy Time - Average total time in seconds that
the HTTP server spent processing all resource requests
in a page. Because the server might have processed
multiple requests in parallel, the total-page-view busy
time might be less than the sum of the busy times for
all resources in the view. This metric appears in the
“Individual Page Views Waterfall (Resource Timeline)”
Graph only.
 Server Busy Time (Normalized) - Average time in
seconds that the HTTP server spent processing an
individual resource request. This time is measured
from the resource request (last observed packet of
HTTP request) to the initial response (first
observedpacket).
Thismetricappearsinthe“IndividualPageViews
Waterfall (Resource Timeline)” Graph only.
 Slow Pages - Number of Individual Page Views with
page times that exceed a slow threshold
 Slow Page Rate - Average rate per second of page
views with page times that exceed a slow threshold
Métricas de VoIP
Informar das métricas abaixo, quais são suportadas pela
solução:

 Burst Duration - The maximum duration of packet loss

burst for a single channel.
 Bursts - The number of occurrences of packet loss
burst for the channel.
 Channel Duration - The duration of the RTP channel.
 MOS-CQ (End of Call) - The conversational quality
MOS score for the channel.
 MOS-V (End of Call) - The average relative MOS score
for the video stream.
 Gap Duration - The maximum duration of no packet
loss for a single channel.
 Gaps - The number of occurrences of packet loss gap
for the channel.
 Jitter (Min) - The jitter of the single RTP channel for
the current interval.
 Jitter (Max) - RTP channel jitter of the current interval
 Jitter - RTP channel jitter of the current interval
 Lost Packets - The number of packets that have never
been received for an RTP stream for the current
interval. Interval MOS-CQ (Min) - The lowest channel
conversational quality MOS score for the current
interval. Interval MOS-CQ - The average channel
conversational quality MOS score for the current
interval.
 Interval MOS-CQ (Max) - The highest channel
conversational quality MOS score for the current
interval.
 MOS-CQ (Min) - The minimum cumulative channel
conversational quality MOS score.
 MOS-CQ (Max) - The maximum cumulative channel
conversational quality MOS score.
 Interval Absolute MOS-V (Min) - The minimum
absolute MOS score for the video stream for the
current interval.
 Interval Absolute MOS-V (Max) - The maximum
absolute MOS score of the video stream for the
current interval.
 Interval Absolute MOS-V - The average absolute MOS
score of the video stream for the current interval,
where the interval is calculated every minute, for the
minute.
 Absolute MOS-V (Max) - The maximum cumulative
absolute MOS score of the video stream.
 Absolute MOS-V (Min) - The minimum cumulative
absolute MOS score of the video stream.
 Interval MOS-V (Min) - The minimum relative MOS
score for the video stream for the current interval.
 Interval MOS-V (Max) - The maximum relative MOS
score for the video stream for the current interval.
 Interval MOS-V - The average relative MOS score of
the video stream for the current interval, where the
interval is calculated every minute, for the minute.
 MOS-V (Min) - The minimum cumulative relative MOS
score of the video stream.
 MOS-V (Max) - The maximum cumulative relative
MOS score of the video stream.
 Packet Traffic - The number of RTP packets in the
stream for the current interval.
 Out Of Sequence Packets - The maximum cumulative
number of stream packets arriving out of sequence
 for the current interval.
 Traffic - The number of RTP bytes in the stream for
the current interval.
 Throughput - The rate of RTP traffic, in bits per
second.
 Jitter (Min) - The lowest jitter value observed across
all channels associated with the call at the time
observed.
 MOS-CQ (Max) - The best MOS CQ score observed
across all RTP streams associated with this call.
 MOS-V (Max) - The best MOS video score observed
across all RTP streams associated with this call.
 Call Duration - The cumulative duration of the call.
 Call Ended Status Value - The numerical value
corresponding to the final call status (Canceled,
Rejected, Completed or Timeout).
 Status (End of Call) - The text name corresponding to
the final call status (Canceled, Rejected, Completed or
Timeout).
 MOS-CQ (End of Call) - The worst final cumulative
MOS CQ score observed accross all RTP streams
associated this call.
 MOS-V (End of Call) - The worst final cumulative MOS
video score observed accross all RTP streams
associated this call.
 Post Dial Delay - The time delay between dial and call
start.
 Jitter (Max) - The highest jitter value observed across
all channels associated with the call at the time
observed.
 MOS-CQ (Min) - The worst MOS CQ score observed
across all RTP streams associated with this call.
 MOS-V (Min) - The worst MOS video score observed
across all RTP streams associated with this call.
Informar quais dos seguintes CODECs de Áudio, Vídeo e Voz são
suportados pela solução:
 Áudio
• MPEGL1
• MPEGL2
• MPEGL3
• MPEG2AAC
• AC3
• MPEG4AAC
• MPEG4LDAAC
• MPEG4HEAAC
• WMAP
• MPEG4HEAACv2
• MPEG4LCAAC
• AMRWBPlus
• AudioVorbis
 Vídeo
• Motion JPEG
• MPEG-1
• MPEG-2
• ITU-T H.261
• ITU-T H.263
 • ITU-T H.263+
• ITU-T H.264/MPEG-4 AVC
• MPEG-4 ASP
• VC-1 SMTPE 421M (Microsoft)
• VP6 (On2 TrueMotion)
• ITU-T H.264 SVC
• VP8 (On2 Technologies/Google)
• VP9 (Google)
• ITU-T H.265
 Voz
• G.711 64k u-law
• G.711 64k u-law with PLC
• G.723.1 (5.3kbit/s)
• G.723.1 (6.3kbit/s)
• G.728 (16 kbit/s)
• G.729 (8.0 kbit/s)
• G.729A, AB (8.0 kbit/s)
• GSM 6.10 (full rate)
• GSM 6.20 (half rate)
• GSM 6.30 (enhanced full rate)
• Lucent/elemedia SX7300/8300
• Lucent/elemedia SX9600
• G.711 64k A-law
• G.711 64k A-law with PLC
• G.726 ADPCM (16 kbit/s)
• G.726 ADPCM (24 kbit/s)
• G.726 ADPCM (32 kbit/s)
• G.726 ADPCM (40 kbit/s)
• GIPS Enhanced G.711 u-law
• GIPS Enhanced G.711 A-law
• GIPS iLBC
• GIPS iSAC
• GIPS iPCM-wb
• G.729E (8.0 kbit/s)
• G.729E (11.8 kbit/s)
• Wideband Linear PCM
• Wideband Linear PCM with PLC
• G.722 (64 kbit/s)
• G.722 (56 kbit/s)
• G.722 (48 kbit/s)
• Siren7/G.722.1 (32 kbit/s)
• Siren7/G.722.1 (24 kbit/s)
• AMR-WB/G.722.2 (23.85 kbit/s)
• AMR-WB/G.722.2 (23.05 kbit/s)
• AMR-WB/G.722.2 (19.85 kbit/s)
• AMR-WB/G.722.2 (18.25 kbit/s)
• AMR-WB/G.722.2 (15.85 kbit/s)
• AMR-WB/G.722.2 (14.25 kbit/s)
• AMR-WB/G.722.2 (12.65 kbit/s)
• AMR-WB/G.722.2 (8.85 kbit/s)
• AMR-WB/G.722.2 (6.6 kbit/s)
• QCELP (8 kbit/s)
• QCELP (13 kbit/s)
• EVRC-A (4.0-8.3 kbit/s)
• SMV (3.67-7.95 kbit/s)
• AMR-NB (12.2 kbit/s)
• AMR-NB (10.2 kbit/s)
• AMR-NB (7.95 kbit/s)
• AMR-NB (7.4 kbit/s)
• AMR-NB (6.7 kbit)
• AMR-NB (5.9 kbit/s)
• AMR-NB (5.15 kbit/s)
• AMR-NB (4.75 kbit/s)
• iLBC (13.3 kbit/s)
• iLBC (15.2 kbit/s)
• G.711 56k u-law
• G.711 56k u-law with PLC
• G.711 56k A-law
• G.711 56k A-law with PLC
• G.723.1 Annex C (0.7-14.3 kbit/s)
• Speex Narrowband (2.15 kbit/s)
• Speex Narrowband (5.95 kbit/s)
• Speex Narrowband (8 kbit/s)
• Speex Narrowband (11 kbit/s)
• Speex Narrowband (15 kbit/s)
• Speex Narrowband (18.2 kbit/s)
• Speex Narrowband (24.6 kbit/s)
• Speex Narrowband (3.95 kbit/s)
• Speex Wideband (12.8 kbit/s)
• Speex Wideband (16.8 kbit/s)
• Speex Wideband (20.6 kbit/s)
• Speex Wideband (23.8 kbit/s)
• Speex Wideband (27.8 kbit/s)
• Speex Wideband (34.2 kbit/s)
• Speex Wideband (42.2 kbit/s)
• BV16 (BroadVoice 16kbit/s)
• BV32 (BroadVoice 32 kbit/s)
• IS-54 (7.95 kbit/s)
• Japanese PDC (6.7 kbits)
• AMBE2Plus (2.4 kbit/s)
• AMBE2Plus (3.2 kbit/s)
• AMBE2Plus (4 kbit/s)
• AMBE2Plus (4.8 kbit/s)
• EVRC-B (4.0-8.3 kbit/s)
• MS RTAudio (Microsoft Real Time Audio
Wideband)
• MS RTAudio (Microsoft Real Time Audio
Narrowband)
• MS RTAudio (Microsoft Real Time Audio
Wideband with Redundancy)
• MS RTAudio (Microsoft Real Time Audio
Narrowband with Redundancy)
• G.729 with GIPS PLC
• SILK Narrowband
• SILK Narrowband with FEC
• SILK Mediumband
• SILK Mediumband with FEC
• SILK Wideband
• SILK Wideband with FEC
• SILK Super Wideband
• SILK Super Wideband with FEC
• EVRC Wideband
• EVRC Narrowband-Wideband
• AMR Wideband Plus
 • Siren7/G.722.1 (16 kbit/sec)
• Siren14/G.722.1C (24 kbit/sec)
• Siren14/G.722.1C (32 kbit/sec)
• Siren14/G.722.1C (48 kbit/sec)
• Siren14/G.722.1C with LPR (24 kbit/sec)
• Siren14/G.722.1C with LPR (32 kbit/sec)
• Siren14/G.722.1C with LPR (48 kbit/sec)
• Siren22 (32 kbit/sec)
• Siren22 (48 kbit/sec)
• Siren22 (64 kbit/sec)
• Siren22 with LPR (32 kbit/sec)
• Siren22 with LPR (64 kbit/sec)
• Siren22 with LPR (64 kbit/sec)
• G.719 (32 kbit/sec)
• G.719 (48 kbit/sec)
• G.719 (64 kbit/sec)
• Opus SILK Narrowband
• Opus SILK Narrowband with FEC
• Opus SILK Mediumband
• Opus SILK Mediumband with FEC
• Opus SILK Wideband
• Opus SILK Wideband with FEC
• Opus Hybrid Super Wideband
• Opus Hybrid Super Wideband with FEC
• Opus Hybrid Fullband
• Opus Hybrid Fullband with FEC
• Opus CELT Narrowband
• Opus CELT Wideband
• Opus CELT Super Wideband
• Opus CELT Fullband
• Enhanced Voice Services (EVS)
Narrowband
• EVS Narrowband with FEC
• EVS Wideband
• EVS Wideband with FEC
• EVS Super Wideband
• EVS Super Wideband with FEC
• EVS Fullband
• EVS Fullband with FEC
• L16 Narrowband
• L16 Narrowband with PLC
• L16 Wideband
• L16 Wideband with PLC
• L16 Super Wideband
• L16 Super Wideband with PLC
• L16 Fullband
• L16 Fullband with PLC
Interface de Gerenciamento
Demonstrar que o Módulo é Capaz de coletar informações dos
elementos monitorados através dos seguintes Métodos:
 SNMP
 WMI
 CLI

Demonstrar que é possível customizar o intervalo de tempo

que a ferramenta utiliza para poder fazer a coleta das
informações nos elementos monitorados;
Demonstrar que é possível definir intervalos diferentes de
coletas por dispositivo;
Demostrar a criação e controle de contas de usuários:
 Não permitir senha em branco;
 Número de tentativas para travar a senha
 Tamanho mínimo de senha
 Exigir que senha contenha pelo menos números e
letras;
 Configurar a periodicidade com que a senha expira.
Demonstrar que a solução pode autenticar o usuário em uma
base externa. Os seguintes protocolos deverão ser suportados:
 RADIUS Authentication
 TACACS+ Authentication
 Setting Up Remote
 SAML 2.0 Authentication
Demonstrar que o Appliance é gerenciado por uma Interface
Web HTTPs
Demonstrar que é possível desabilitar o acesso via HTTP a
console da solução;
 Caso o administrador acesse via HTTP, ele deve ser
redirecionado para o acesso HTTPS;
Demonstrar quais os argumentos que podem ser usados para
efetuar pesquisas na plataforma.

1.16- Captura e armazenamento de pacotes

 Captura dos pacotes e armazenamento dos mesmos para análise de root cause analisys;

List of decodes supported in Observer:

 https://observersupport.viavisolutions.com/html_doc/current/index.html#page/
observer/protocols_supported_by_observer.html

Comprovaçã
Item Atendido
o
Demonstrar que é possível capturar o tráfego de uma única Interface
de monitoração;
Demonstrar que é possível agrupar múltiplas interfaces de monitoração
de pacotes em uma interface lógica e habilitar deduplicação de pacotes
entre essas interfaces do grupo;
Demonstrar que a solução é capaz de trabalhar em ambientes com
Packet Brokers;
Demonstrar que a solução suporta os protocolos dos Packet Brokers
para garantir que em um ambiente de baixa latência, o tempo
informado no pacote capturado seja do Packet Broker e não do
Appliance de Captura de Pacotes;
 Demonstrar Integração com o Packet Broker da Gigamon
A solução deve ser capaz de receber um espelhamento de pacotes, e
ser capaz de gerar NetFlow versão 9 para uma ferramenta coletora de
Netflow;

A solução deve ser capaz de receber um espelhamento de pacotes, e ser

capaz de enviar Flows para o Módulo de Monitoração de Performance
via Rede enviar as seguintes informações:
 Métricas de Qualidade da Voz
 Métricas de Tempo de Resposta para Comunicações TCP
 Classificação de Aplicações utilizando DPI (Deep Packet
Inspection)
Demostrar que é possível criar tarefas de captura de tráfego de modo
seletivo, ou seja, que a Solução seja capaz de filtrar os dados que ela
recebe, e gravar para o disco somente o que o administrador
determinar, afim de fazer um melhor uso dos recursos do equipamento.
Para as tarefas de captura de tráfego, as seguintes opções devem estar
disponíveis:
 Permitir determinar se o dado capturado será indexado para
que o administrador possa ter um melhor desempenho ao
analisar os dados
 Determinar se a solução irá armazenar o índice por mais
tempo que os pacotes, para que seja possível fazer análise,
mesmo sem ter os pacotes armazenados
 Determinar o espaço em disco que será alocado para essa
tarefa de captura armazenar pacotes;
 Determinar o espaço em disco que será alocado para essa
tarefa de captura armazenar os índices;
 Permitir a utilização de filtros do tipo BPF (Berkeley Packet
Filter) ou similar, para determinar qual tipo de tráfego será
gravado;’
 Permitir especificar quantos bytes do pacote será captura;
 Permitir exportar os pacotes capturados;
Demostrar que a solução é capaz de entender os seguintes protocolos e
deixar o administrador configurar se o cabeçalho externo ou interno
desses protocolos;
 GRE – Permitir configurar se o cabeçalho do GRE ou do Pacote
 encapsulado pelo GRE será analisado.
 VxLAN – Permitir configurar se o cabeçalho do VxLAN será
analisado ou se o pacote transportado dentro do VxLAN;
 MAC in MAC – Entender o padrão 802.1ah
 MPLS – Entender o stack do MPLS e permitir configurar qual
nível do Stack será analisado
 VLAN– Entender os níveis de VLAN e permitir configurar qual
nível será analisado
Demonstrar que a solução permite a carga de arquivos no formato
pcap, capturados e salvos pelo dispositivo capturador fornecido.
Demonstrar que a solução suporta a criação de extratos de dados, ou
arquivos derivados do job de captura, de tamanho menor que este
para facilitar a análise dos dados.
Deverá ser capaz de analisar os dados capturados pelo dispositivo de
captura fornecido sem que seja necessária a transferência dos pacotes
capturados até o computador onde está instalado o software de
análise.
Deverá ser capaz de apresentar análise de forma gráfica.
Mostrar como podem ser pesquisados elementos na plataforma (e.g.
por endereço IP, hostnames, URLs, applicações, portas TCP/UDP) para
visualização de métricas relacionadas ao objeto pesquisado.

1.17- Integrações com plataformas existentes

 Integração com o Log Insight para envio de métricas na menor granularidade possível;
 Integração via API para busca de métricas através de outras ferramentas.

Item Atendido Comprovação

2.4.1- Demonstrar a Integração do Dashboard com os seguintes
Módulos:

 Módulo de Monitoração de Performance via Rede

 Módulo de Captura de Pacotes
 Módulo de Monitoração de Infraestrutura
 Módulo de Monitoração de Aplicações Java e .Net
 Módulo de Monitoração de Experiência de Usuário

2.4.2- Mostrar a integração/configuração com o Log Insight e envio de

informações.

2.4.3- Demonstrar ser capaz de utilizar as informações geradas pelo

Appliance de Captura de Pacotes para gerar relatórios que
contenham as seguintes informações:
 Relatórios sobre a Qualidade da Voz sobre IP com pelo
menos as seguintes informações:
o Qual é o MOS Médio
o Qual é o Jitter Médio
 o Como está a Perda de Pacote no protocolo RTP
o Como está a marcação do DSCP para o tráfego

 Informações das Aplicações Identificadas via DPI

 Relatórios que demonstrem como está a performance de
uma aplicação, e que seja possível exibir as seguintes
informações para o protocolo TCP:
o Tempo de Resposta Total
o Tempo de Resposta do Servidor
o Tempo de Resposta de Rede
o Número de Resets
o Número de Retransmissões

Demonstrar ser possível a partir de um relatório iniciar um

detalhamento (“Drill-Down”) na interface da Console Central, e
chamar a interface do Software de Análise de pacotes para seguir com
a análise dos pacotes envolvidos naquele relatório.

1.18- Monitoração do tráfego de máquinas virtuais (VM)

 Opcional: Monitorar o tráfego “leste-oeste” em máquinas VM.

Item Atendido Comprovação

2.5.1- Demonstrar os “dashboards” da ferramenta:

 Mapa das aplicações;
 Informações sobre de tráfego para os 10 principais itens das
seguintes categorias:
o Por aplicação;
o Por porta TCP;
o Por host;
o Por grupo de Hosts;
o Por conversação entre hosts;
o Por conversação entre Grupos de Hosts;
o Por marcação de DSCP.
 Informações sobre as aplicações mapeadas:
o Status da aplicação mapeada por métrica;
o Status da aplicação mapeada por localidade;
o Mapa da aplicação e o status das métricas entre cada
componente.
2.5.2- Demonstrar recursos da ferramenta:
 Fazer “drill down” em “dashboards” para refinar informação;
 Fazer comparações com métricas de diferentes períodos (diário,
semanal, mensal, dia anterior, semana anterior);
 Configurar período de tempo a ser exibido e mostrar qual a
menor granularidade a solução permite gerar métrica.
 1.19- Monitoração do ambiente Cloud
 Opcional: Monitorar o tráfego do ambiente Cloud.

Item Atendido Comprovação

2.6.1- Demonstrar os “dashboards” da ferramenta:
 Mapa das aplicações, utilizando os dados coletados por módulos
de captura de outros “vendors” (infra existente);
 Informações sobre de tráfego para os 10 principais itens das
seguintes categorias:
o Por aplicação;
o Por porta TCP;
o Por host;
o Por grupo de Hosts;
o Por conversação entre hosts;
o Por conversação entre Grupos de Hosts;
o Por marcação de DSCP.
 Informações sobre as aplicações mapeadas:
o Status da aplicação mapeada por métrica;
o Status da aplicação mapeada por localidade;
o Mapa da aplicação e o status das métricas entre cada
componente.
2.6.2- Demonstrar recursos da ferramenta:
 Fazer “drill down” em “dashboards” para refinar informação;
 Fazer comparações com métricas de diferentes períodos (diário,
semanal, mensal, dia anterior, semana anterior);
 Configurar período de tempo a ser exibido e mostrar qual a
menor granularidade a solução permite gerar métrica.