Você está na página 1de 176

AVALIAÇÃO

DE
DESEMPENHO

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


APRESENTAÇÃO

Rafael Sommerfeld
 Consultor : 25 anos em Tecnologia da Informação
 Formação em Gestão de Ambientes Internet
 MBA de Marketing pela FGV
 Experiência : Ambev, Animus, Dominal, Dedalus,
Metrored, Ibam, Skol, ...
 Treinamentos : Bndes, Embratel, FGV, Unesa, etc.
 Publicação de livros e artigos especializados

rafasommer@hotmail.com

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


E VOCES ??

APRESENTEM-SE
 Nome
 Área / Função
 Expectativas com o curso
 Hobby

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BIBLIOGRAFIA

PLANEJAMENTO DE CAPACIDADE
PARA SERVIÇOS NA WEB
Métricas, Modelos e Métodos

Daniel A.Menascé
Virgilio A.F. Almeida

Editora Campus, 2003

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


NOSSO
OBJETIVO

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


AVALIAÇÃO DE DESEMPENHO

Plano de Aula
- SLA
- Protocolos e modelos de interação para serviços na Web
- Quando o desempenho da Web é um problema
- Conceitos Básicos de Desempenho
- Aspectos do desempenho de serviços na Web
- Planejando a Capacidade dos Serviços na Web
- Modelo de Carga
- Modelo de Desempenho
- Modelo de Custo
- Benchmarks e testes de desempenho
- Disponibilidade dos serviços na Web
- Medição do Desempenho
- Conclusão

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL
AGREEMENT

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
O QUE É
 Este “Acordo do nível de serviço” é um contrato
entre duas partes que especifica performance e
qualidade de um serviço.
 Determina o que acontece quando as métricas
não são atendidas.

 É o instrumento formal para cobrança/prestação


de contas dos níveis de serviços contratados.
 SLA não é somente externo. Várias empresas
atualmente utilizam SLA interno.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Quem Precisa
 Análise de Risco
 Avaliação de custo de indisponibilidade em relação ao
negócio
 Definir claramente os limites suportados com relação
aos serviços necessários
 Deve ser definido na fase do projeto
 Considerar processos e responsabilidade da
própria empresa
 Melhor SLA = Maior custo
 Maior SLA = Maior comprometimento das partes

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Definindo o tipo de serviço
 Web Site
 E-mail / workflow
 Banco de Dados
 ERP
 Rede
 Infra-Estrutura
 Backup-Restore
 Comunicação
 Administração
 Operação
 Suporte

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Detalhando o Serviço
 Arquitetura de Software e Hardware para suportar
o serviço :
 Redundância
 Replicação / Duplicação
 Homologação
 Arquitetura de redes Lan e Wan
 Índices de desempenho

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Definindo o Escopo
 Identificar dependências externas
 Aplicação
 Acessos a sistemas externos
 Comunicação
 SLA de terceiros
 Fatores não controláveis
 Taxa de transferência / latência via internet
 Erro na aplicação
 Outros ...
 Definindo acordo operacional (responsabilidades,
quem faz o que quando)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Definindo o acesso ao serviço
 Via Internet
 Sem garantia de desempenho
 Insegura
 SLA de terceiros
 Via linha privada
 Com garantia de desempenho
 “segura”
 Via VPN / Internet
 Sem garantia de desempenho
 “segura”

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Definindo as Métricas
 O que medir ?
 Definir acessos/transações de referência
 Definir métricas
 Tempo de resposta (segundos)
 Disponibilidade (percentual)
 Taxa de backup/recovery (GB/s)
 Tempo de atendimento (minutos)
 Taxa de transferência (Kbps)
 Como Medir ?
 Através de acesso externo
 Logs de aplicações
 Ferramentas de gerenciamento

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Definindo os níveis de Serviço
 Baseados nas métricas estabelecidas
 Separação por serviço/sub-serviço
 Indicar máximo total e por ocorrência
 Exemplo : Disponibilidade
 Número máximo de paradas x tempo por parada
 Max. De indisponibilidade no período de referência

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Condições Gerais
 Penalidades em caso de não cumprimento
 Definir faixas de desconto/penalidade por quebra de SLA
 Definir condições especiais. Ex.: Lucros cessantes
 Prazo de referência e medição (mês, ano, etc.)
 Disponibilidades diferentes para prazos diferentes
 4 horas/mês = 99,44%
 4 horas/ano = 99,95%
 Definir condições para serviços/níveis adicionais
 Período de correção/observação após mudança
(reenquadramento)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
Contrapartida do Cliente
 Seguir procedimentos
 Respeitar prazos
 Respeitar limites dos processos
 Contribuir para a segurança
 Programar e informar alterações de sistemas
 Contribuir para a estabilidade do ambiente

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


SLA
SERVICE LEVEL AGREEMENT
SLM – Service Level Management
 É todo o processo de gerenciamento do acordo
definido no SLA.
 É a definição de procedimentos, ações e
procedimentos para garantia da execução do SLA

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PROTOCOLOS E MODELOS
DE INTERAÇÃO PARA
SERVIÇOS NA WEB

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Redes
 A evolução dos ambientes em TI
 O paradigma Cliente-Servidor
 LAN (local) e WAN (wide)
 Arpanet, originada em 1970
 A origem da Internet (1983) divisão da Arpanet e
Milnet (militar).

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


!
PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Protocolos
 A comunicação entre 2 computadores ou 2
processos por uma rede de computadores é
controlada por um conjunto de regras, chamado
PROTOCOLO.
 Suas principais funções são : endereçamento,
roteamento, detecção e recuperação de erro,
controle de sequência e controle do fluxo.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Protocolos

Camada de NFS
Sessão HTTP FTP SMTP TELNET DNS SNMP
RPC

Camada de TCP UDP


transporte

Camada de IP
Rede

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Protocolo cliente servidor

Processo Cliente Processo Servidor


Requisição

Resposta
TCP TCP
IP IP
Camada de Camada de
Link de dados Link de dados

- Estações - Servidor (++)


- Faz requisições - Executa funcionalidades
- Executa parte da - Não iniciam uma transação,
aplicação aguardando requisições

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB

Servidores e Processos

1
1 1
2
2 2

Fila Servidor Fila N


N de N de
Requisições Requisições
threads do
clientes clientes servidor

Servidor com Único Processo Servidor com Diversos Processos

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Estudo de caso 1 - Bits, Bytes e Tempos...
 1 Byte = Código de 0 a 255, representado por 8 bits
 1 Kbyte = 1.024 bytes
 1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte
 Links de conexão, normalmente se medem em kbps
ou mbps (kilobits e megabits) por segundo
 Para achar as taxas a partir de conversão de bytes,
deve-se sempre multiplicar por 8 (byte -> bit)
 Quantos segundos consumirá a transferência de 50
figuras de 10 Kb em um link de 128kbps ?

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PROTOCOLOS E MODELOS DE
INTERAÇÃO PARA SERVIÇOS NA WEB
Estudo de caso 1 - Bits, Bytes e Tempos...
 1 Byte = Código de 0 a 255, representado por 8 bits
 1 Kbyte = 1.024 bytes
 1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte
 Links de conexão, normalmente se medem em kbps
ou mbps (kilobits e megabits) por segundo
 Para achar as taxas a partir de conversão de bytes,
deve-se sempre multiplicar por 8 (byte -> bit)
 Quantos segundos consumirá a transferência de 50
figuras de 10 Kb em um link de 128kbps ?

= 31,25 segundos (50 x 10 x 8) / 128


PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!
QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Cenário
 A web é um organismo vivo, em constante expansão

 Principais fatores para crescimento dos serviços web :


 Migração de serviços tradicionais para Internet
 Criação de novos serviços virtuais
 Benefícios de escala e custo
 Acessibilidade

 Categorias :  Colaboração
 Informativas
 Comunidades on Line
 Interativas
 Portais
 Transacional
 Fluxo de Trabalho

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 2 – Revenda de Carro
 Planejamento de aumento progressivo de carga 10, 20 e 30%
 Consulta é a transação crítica
 4 a 6 segundos perda de 60% transações
 Mais de 6 segundos perda de 95% transações
 Comissão por transação = R$ 360

Atual + Atual + Atual +


Planejamento de Capacidade Atual 10% 20% 30%
Consultas por dia 92.448 101.693 110.938 120.182
Tempo de Resposta (s) 2,9 3,8 5,7 11,3
Perda nas vendas (%) 0 0
Vendas por dia (afetada) 4.622 5.084
Receita diária não afetada (em R$ 1.000) 1.664 1.830
Receitas diárias afetadas (em R$ 1.000) 1.664 1.830
Receita diária perdida (em R$ 1.000) - -
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 2 – Revenda de Carro
 O web site suportará o aumento de carga e preservará o
tempo de resposta abaixo dos quatro segundos ?


 Se não suportar, em que ponto sua capacidade estará


saturada e por que ?


 Quantos reais podem ser perdidos diariamente se o web site


saturar quando a carga aumentar ?


PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 2 – Revenda de Carro
 Planejamento de aumento progressivo de carga 10, 20 e 30%
 Consulta é a transação crítica
 4 a 6 segundos perda de 60% transações
 Mais de 6 segundos perda de 95% transações
 Comissão por transação = R$ 360

Atual + Atual + Atual +


Planejamento de Capacidade Atual 10% 20% 30%
Consultas por dia 92.448 101.693 110.938 120.182
Tempo de Resposta (s) 2,9 3,8 5,7 11,3
Perda nas vendas (%) 0 0 60 95
Vendas por dia (afetada) 4.622 5.084 2.219 300
Receita diária não afetada (em R$ 1.000) 1.664 1.830 1.997 2.163
Receitas diárias afetadas (em R$ 1.000) 1.664 1.830 799 108
Receita diária perdida (em R$ 1.000) - - 1.198 2.055
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!
QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 2 – Revenda de Carro
 O web site suportará o aumento de carga e preservará o
tempo de resposta abaixo dos quatro segundos ?
 Não

 Se não suportar, em que ponto sua capacidade estará


saturada e por que ?
 Com 20% de aumento da carga. Pois a consulta ultrapassa 4
segundos e provoca desistência dos clientes.

 Quantos reais podem ser perdidos diariamente se o web site


saturar quando a carga aumentar ?
 Após 30% de crescimento haverá perdas de mais de R$ 2
milhões

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


!
QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
 Migração de Mainframe para ambiente cliente
servidor
 500.000 veículos disponíveis
 3.500 lojas espalhadas pelo território nacional
 360.000 reservas/dia
 60% das reservas ocorrem em um período de
pico de 12 horas (216.000 reservas)
 Reservas por hora no pico = 18.000
 Reservas por segundo no pico = 5

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
 Motivos para a migração :
 Redução de custos de manutenção do

mainframe
 Criar uma aplicação mais fácil para o usuário

 Inserção de interface gráfica para aumento da

produtividade
 Melhorar a satisfação do cliente.

 Expectativas
 Os projetistas do novo ambiente precisam

garantir no mínimo o mesmo desempenho da


plataforma anterior...
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
 Que perguntas responder ?
 Que tipo de servidores devem ser usados nas lojas ?

Número e tipo de processador, número e tipo de disco,


sistema operacional, etc.
 Deve ser utilizado um software de monitoramento de

transações ?
 Que tipo de servidores e sistemas de armazenamento

serão usados na central de reservas ? Tipo e numero de


processadores, quantidade de memória, número e tipo de
discos, banco de dados, sistema operacional.
 Quais tecnologias de rede contemplarão o projeto ? Quais

os tamanhos necessários ?
 Cuidados com as “simpatias” pessoais...

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
Ambiente desejado
Lojas de entrega de carros
Loja Loja
Estações Estações
de de
trabalho trabalho
dos dos
atendentes atendentes

Servidor Servidor

Central de
Reserva
Estações de Carros
de
trabalho
dos REDE
agentes
de reserva REMOTA
(WAN)
Servidor de BD

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
 A Central de Reservas lida com 2 tipos de transações :
Reservas e Pedidos de Assistência
 Tempo médio não deve exceder a 2 e 3 segundos
 Nas lojas, as 2 transações não devem exceder 3 segundos
 Com base na distribuição abaixo, identifique os
componentes na estrutura :
Desmembramento do tempo de resposta para transações de reserva enviadas pelas lojas
Porcentagem
Componente do tempo de resposta do total (%)
Estação de trabalho do cliente nas lojas de aluguel de carro 5
LAN nas lojas de aluguel de carros 5
Servidor de aplicação na loja de aluguel de carros 25
Rede Remota 10
LAN na central de reservas 4
Servidor de banco de dados na central de reservas 51
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
Distribuição do tempo de resposta por recurso na transação
Lojas de entrega de carros
5% Loja Loja
Estações Estações
de
trabalho
5% de
trabalho
dos dos
atendentes atendentes

25%Servidor Servidor

Central de
Reserva
Estações de Carros
de
trabalho
dos
4% GARGALO
REDE
agentes
de reserva 10% é o componente
REMOTA
51% onde a transação
(WAN)
Servidor de BD gasta a maior parte
do seu tempo.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!
QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA

GARGALO

É o componente onde a transação


gasta a maior parte do seu tempo.

As melhorias no tempo de resposta são


limitadas pelo tempo gasto no gargalo.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 3 – Locadora de Veículos
 O aumento no tempo de resposta não é linear com o
aumento de carga
 Quando qualquer dos níveis de serviço for violado diz-se
que a capacidade do sistema atingiu o ponto de Saturação.
 Ao identificar que haverá saturação, deve-se justificar em
que componente ela ocorre e que ação deve ser tomada
Tempos de resposta(s) para diversos valores de carga

Carga Carga Carga Carga


Transação atual atual + 5% atual + 10% atual + 15%
Reserva na loja 1,28 1,67 2,45 5,06
Assistência na estrada 0,64 0,87 1,37 3,20
Entrega de carro 0,64 0,76 0,94 1,23
Reserva por telefone 0,85 1,16 1,82 4,24
Carga = taxa média de chegada da transação em tps (transações p/segundo)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Tempo de resposta Versus Carga
6,00

5,00
Tempo de Resposta (s)

4,00

3,00

2,00

1,00

0,00
Carga atual Carga atual + 5% Carga atual + 10% Carga atual + 15%
Carga (tps)
Reserva na loja Assistência na estrada Entrega de carro Reserva por telefone

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Conceito de Planejamento de Capacidade

 Processo de prever quando os níveis futuros de


carga saturarão o sistema e determinar o modo
mais econômico de adiar a saturação do sistema
ao máximo possível

 A previsão precisa considerar a evolução da carga


de trabalho, devido às aplicações existentes e
novas, e os níveis de serviços desejados

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
O que pode ocasionar a falta do Planejamento
de Capacidade
 Indisponibilidade do serviço
 Desempenho abaixo do necessário para operar
 Perdas financeiras (Ex. Us$ 6,5 milhões por hora
nas transações em cartões de crédito)
 Insatisfação dos clientes
 Atinge a imagem da empresa
 Demora para recuperação. Os procedimentos de
expansão nem sempre são rápidos.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 4 – Intranet de uma empresa
 60.000 funcionários, interligados pela intranet, que permite
treinamento, rh, despesas de viagem, help desk (atendimento de
dúvidas) e notícias.
 Help Desk é a principal aplicação
 10% dos funcionários enviam uma requisição ao Help Desk, em
média, todos os dias. 70% das requisições entre 10 e 12:00 hs e de
14:00 as 16:00 hs.
 A empresa deseja mudar o SO dos desktops e isso deve dobrar
o tempo de resposta.
 (60.000 x 10% x 70%) = 4.200 requisições durante 4 horas de pico
 Qual número de requisições/segundo atual no pico ?


 Quais possíveis alternativas de upgrade do ambiente ?




PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


QUANDO O DESEMPENHO
DA WEB É UM PROBLEMA
Estudo de Caso 4 – Intranet de uma empresa
 60.000 funcionários, interligados pela intranet, que permite
treinamento, rh, despesas de viagem, help desk (atendimento de
dúvidas) e notícias.
 Help Desk é a principal aplicação
 10% dos funcionários enviam uma requisição ao Help Desk, em
média, todos os dias. 70% das requisições entre 10 e 12:00 hs e de
14:00 as 16:00 hs.
 A empresa deseja mudar o SO dos desktops e isso deve dobrar
o tempo de resposta.
 (60.000 x 10% x 70%) = 4.200 requisições durante 4 horas de pico
 Qual número de requisições/segundo atual no pico ?
 (4.200 / 4 / 3.600) = 0,29 requisições/segundo
 Quais possíveis alternativas de upgrade do ambiente ?
 Troca de CPU, Inclusão de mais CPU´s, colocação de mais discos,
divisão de carga de trabalho, entre outras.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!
CONCEITOS BÁSICOS
DE DESEMPENHO

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCEITOS BÁSICOS
DE DESEMPENHO
Introdução
 A Infraestrutura que suporta a Internet se compõe
de diferentes tipos de hardware : servidores,
estações, dispositivos de armazenamento, Lans,
Wans, balanceadores de carga e roteadores.
 Os vários tipos de processos de software
compartilham esses recursos, gerando filas.
 Uma requisição na web gasta parte de seu tempo
recebendo serviços dos recursos e outra parte
nestas filas.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCEITOS BÁSICOS
DE DESEMPENHO
Filas e Disputa
 A representação a seguir mostra um recurso
enfileirando pedidos. O circulo representa um
recurso (disco, rede, roteador, processador, etc)

Fila de
Recurso
Espera

Fila de
Ao lado, um exemplo de Espera
fila para recursos múltiplos. N recursos

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCEITOS BÁSICOS
DE DESEMPENHO
Desmembramento do tempo de resposta

Tempo de Resposta

Tempo de Rede Tempo do Web Site

Tempo de
Latência Transmissão
Tempo de Serviço Tempo de Fila

CPU Discos LANs CPU Discos LANs

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCEITOS BÁSICOS
DE DESEMPENHO
A idéia geral do tempo de resposta
 Tempo de resposta é todo o tempo da transação
web. Se compõe de tempo de rede e tempo no
web site.
 Tempo de transmissão é o total do tempo de
transferência dos bytes trocados entre o navegador
e o web site.
 O tempo gasto por um pedido aguardando para ter
acesso a um recurso é tempo de espera.
 Tempo de serviço é o período de tempo durante o
qual um pedido está recebendo serviço de um
recurso.
 Um mesmo pedido pode visitar um recurso várias
vezes (ex. I/O de disco, acesso a CPU).
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
CONCEITOS BÁSICOS
DE DESEMPENHO
Comparando tempos de Serviços por recurso
 Discos – tempo relativamente alto comparado à
memória real. Sistemas de armazenamento
replicáveis.
 Processadores – Grande desempenho, porém
elevado nível de requisição.
 Redes – a composição das diferentes topologias e
tecnologias utilizadas irão determinar a flutuação do
desempenho (vide quadro seguinte).

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCEITOS BÁSICOS
DE DESEMPENHO
Diferentes Tempos de redes envolvidos
Lan 3 :
Token Ring
Cliente
16 Mbps

Roteador 1 Roteador 2
Lan 2 :
FDDI
100 Mbps
Lan 2 :
Ethernet
10 Mbps

Servidor Web

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCEITOS BÁSICOS
DE DESEMPENHO
Medidas de desempenho nos sistemas Web
 Tempo de Resposta – medida de desempenho de
interesse para o usuário.
 Taxa de Processamento – mais interessante aos
administradores de sistemas, reflete o número de
transações realizadas por unidade de tempo (em
servidores web, normalmente é HTTPos/s).
 Disponibilidade – reflete a fração de tempo que um
site está em operação (manutenções programadas,
paradas por falha,etc.).
 Custo – reflete custos envolvidos por unidade de
processamento (ex. TPC-C).

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO
DESEMPENHO DE
SERVIÇOS NA WEB

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Fatores de impacto no desempenho
 Imprevisibilidade no crescimento de determinados
recursos.
 Variação do tamanho (e carga) dos objetos
utilizados em diferentes páginas/sites.
 Existência de grande número de robôs de coleta e
teste na rede.
 Seis tópicos a examinar analisando desempenho :
conteúdo, software do servidor, hardware,
aplicação, largura de banda da rede e infra-
estrutura.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Servidores Web
 Os servidores são a peça principal no
cenário da Internet.
 Servidor de web
 Servidor de transação
 Servidor proxy
 Servidor de cache
 Servidor de gateway sem fio
 Servidores espelhados
 Servidores de e-mail
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Elementos de um servidor Web

Servidor
HTTP (sessão) Conteúdo :
Conteúdo :
- HTML
TCP (transp) / - Gráficos
IP (rede) • HTML
- Áudio
• Gráficos
Sistema - Vídeo
• Áudio
Operacional - Outros
• Vídeo
• Outros
HARDWARE

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
De Servidores a Serviços
 Os usuários não enxergam servidores, e sim
serviços na Internet
 Os serviços podem ser ativados através de
um requerimento de um browser, ou mesmo
de uma aplicação específica
 Um serviço pode ser composto de diferentes
tarefas executadas em diversos servidores
 O conjunto de servidores relacionados a um
serviço estará diretamente relacionado ao
desempenho daquele serviço.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Percepção do Desempenho (lembrando)

 Usuário : Tempo de resposta Rápido !

 Gerente : Alta capacidade de


processamento e Disponibilidade

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Mais Medições
 Tempo de Resposta
 Taxa de Processamento
 Disponibilidade
 Custo

 Erros por segundo


 Visitantes por dia
 Visitantes exclusivos
 Hits

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Qualidade de Serviço
 Gargalos de tráfego
 Performance de servidores
 Largura de banda
 Conexão entre redes
 Performance do armazenamento ...

O usuário não enxerga nada disso


Ele apenas quer o serviço
RÁPIDO E DISPONÍVEL 7 x 24
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Onde a qualidade está ameaçada ?

Obtendo Endereço Apanhar Endereço

Conectando Conectar
Pedido Web
Processando Processar

Transmitindo Transmissão/Latência

Componentes do atraso da Web

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Anatomia de uma transação Web
Navegador
Usuário Final Cliente Rede Servidor

Clique

Tempo de residência no servidor


Retorno
do cache

Dados

Exibição

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Gargalos
 À Medida que o número de clientes e
servidores aumenta, o desempenho total é
restrito pelo desempenho de alguns
componentes, entre o cliente e servidor.
 Os componentes que limitam o desempenho
do sistema são chamados de Gargalos.
 Identificar logo o gargalo é uma etapa
importante da análise de desempenho.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Estudo de Caso 5 – Treinamento On line
 Uma indústria de produtos químicos dissemina
imagens de estruturas moleculares via intranet.
 Cada classe tem 100 funcionários e 80% estão
ativos simultaneamente.
 Realiza-se uma média de 100 transações por hora,
com uma média de 5 imagens por transação. Cada
imagem tem tamanho médio de 25.600 bytes.
 Uma banda de 1 Mb atenderia ?

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Estudo de Caso 5 – Treinamento On line
 Uma indústria de produtos químicos dissemina
imagens de estruturas moleculares via intranet.
 Cada classe tem 100 funcionários e 80% estão
ativos simultaneamente.
 Realiza-se uma média de 100 transações por hora,
com uma média de 5 imagens por transação. Cada
imagem tem tamanho médio de 25.600 bytes.
 Uma banda de 1 Mb atenderia ?
Não
(100 x 0,80) x 100/3600 x (5 x 25.600 x 8) = 2,28 Mbps
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!
ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Infra-Estrutura da Web

Usuário BACKBONE Servidores


final ISP WEB
Última Provedores de backbone,
milha Caching, Redes de distribuição de
Telefone, Balanceamento de Carga, conteúdo,
DSL, Gerenciamento de MAEs e NAPs,
Cabo largura de banda Proxy de Caching,
Satélite
Casa e
Trabalho

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Arquiteturas de Servidor
 Servidor Web (http)
 Servidor de Aplicação
 Servidor de Banco de Dados
 Servidor de Streaming
 ...
 Servidores específicos
(proprietários/appliances)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Arquitetura de Servidor Simples

Internet

Roteador Firewall Servidor


Web

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Arquitetura de Servidores em Múltiplas camadas

REDE 1 REDE 2 REDE 3 REDE 4

Zona
Desmilitarizada
(DMZ)

Internet

Balanceador Servidores
de Carga
Servidores Servidores de Banco de Dados
Web de Aplicação Ex. Mainframes

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Balanceamento de Carga
 Permite escalabilidade progressiva
 Permitem crescimento horizontal
 Normalmente menor custo de expansão
 Disponibilizam redundância
 Diminuem percepção de falhas

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Largura de Banda e Latência
 Largura de Banda ou taxa de transferência :
é a taxa na qual os dados são transferidos
através da rede (tamanho do cano !)
 Latência ou Retardo : tempo de transferência
do dado (bit), do cliente até o servidor.
 Uma lan típica, dentro de um prédio tem latência
de 1 ms.
 A latência aumenta com o maior número de
pontos a trafegar na web e com a distância.
 Quanto mais perto o acesso, menor latência.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Estudo de Caso 6 – Web Site Publicações
 Um web site de publicações eletrônicas está
dimensionando a capacidade do link
 Com base nos logs de acesso, observou-se que a
média diária era de 1.000.000 de operações HTTP
por dia.
 O tamanho médio de cada foi de 10.000 bytes.
 Qual largura de banda é necessária ?

Se durante 2 horas, no horário de pico o volume dobrar ?

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


ASPECTOS DO DESEMPENHO
DE SERVIÇOS NA WEB
Estudo de Caso 6 – Web Site Publicações
 Um web site de publicações eletrônicas está
dimensionando a capacidade do link
 Com base nos logs de acesso, observou-se que a
média diária era de 1.000.000 de operações HTTP
por dia.
 O tamanho médio de cada foi de 10.000 bytes.
 Qual largura de banda é necessária ?
1.000.000 / (24x60x60) x (10.000x8) = 926 Kbps
segundos do dia tamanho em bits
Se durante 2 horas, no horário de pico o volume dobrar ?
926 x 2 = 1.852 Kbps (não se dilui o máximo ao longo do dia)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld !
PLANEJANDO A
CAPACIDADE DOS
SERVIÇOS NA WEB

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Capacidade Adequada

Acordos de por exemplo, tempo de resposta <8s


Clientes nível de serviço
(SLA)
por exemplo, servidor
Tecnologias NT, BD Oracle Capacidade
Gerência e padrões
adequada
especificados

Restrições
de custo por exemplo, custo inicial < $ 5,5 milhões
custo manutenção < $ 1,6 milhão/ano

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Capacidade Adequada

 Dizemos que um sistema Web possui


capacidade adequada se os SLAs forem
continuamente atendidos para uma
tecnologia e padrões especificados, e se os
serviços forem fornecidos dentro das
restrições de custos.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Uma metodologia de planejamento de capacidade
Conhecimento do ambiente
Desenvolvimento Caracterização
de um da carga de trabalho
modelo de custo
Validação & Calibragem Modelo de carga
do modelo de carga de trabalho de trabalho

Previsão da carga de trabalho


Modelo de custo

Desenvolvimento do modelo
de desempenho/disponibilidade
Modelo de
Calibragem do modelo
Previsão Desempenho e
de desempenho/disponibilidade disponibilidade
de
Custo Previsão de desempenho
& disponibilidade

Análise de custo/
Desempenho & Disponibilidade

Plano de Configuração Plano de Pessoal


Plano de Investimento

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Conhecimento do Ambiente
 Descobrir que tipo de Hardware (cliente e
servidores), Software (sistemas operacionais,
aplicações e interfaces), conectividade de rede
e protocolos de rede estão presentes no ambiente.
 Identificar períodos de pico de uso, estruturas de
gerenciamento e SLA´s.
 Se realizará através de reuniões com usuários,
auditorias, questionários, help-desk, documentos de
planejamento, entrevistas e demais técnicas de
levantamento.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Elementos do Conhecimento do Ambiente
Elemento Descrição
Plataforma do Cliente Quantidade e tipo
Plataforma do Servidor Quantidade, tipo, configuração e função
Middleware Tipo (por exemplo, monitores de TP)
SGBD Tipos
Serviços/Aplicações Principais serviços na Web e aplicações aceitos
Conectividade de rede Diagrama de conectividade da rede, mostrando todas as LAN´s,
WAN´s, tecnologias de rede, roteadores, servidores, balanceadores de
carga, firewalls e número de clientes por segmento de LAN
Protocolos de rede Lista de protocolos utilizados
Padrões de uso Períodos de pico (por exemplo, hora do dia, dia da semana, semana
do mês, mês do ano)
Acordos de nível de serviço SLA´s existentes para serviços na Web (quando não existirem SLA´s
formais, os padrões do setor podem ser usados)
Gerência e suporte da LAN Estrutura de suporte da gerência da LAN, tamanho, habilidade e
atendimento aos usuários
Procedimentos de aquisição Elementos do processo de aquisição, mecanismos de justificativa
para aquisições, limites de gastos, mecanismos de autorização e
duração do ciclo de aquisição.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Carga de Trabalho
 Descrever com precisão a carga de trabalho global do
sistema, em termos de seus componentes principais.
 Os componentes principais se decompõe em componentes
básicos, que se caracterizam pela intensidade da carga
(IC) ou demanda de serviço (DS).
Carga de Trabalho Global

Componente 1 da carga de trabalho Componente N da carga de trabalho


(por exemplo, transações C/S) (por exemplo, acesso à Web)

Componente Componente Componente Componente


básico 1.1 básico 1.m básico n.1 básico n.k
(por exemplo, (por exemplo, (por exemplo, (por exemplo,
Transações Transações Treinamento Uso de motores
de pessoal) de vendas) corporativo) de busca)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Exemplos de componentes de carga de trabalho
Tipo de
Componente básico e parâmetros parâmetro
Transação de Vendas
Número de transações enviadas por cliente IC
Número de clientes IC
Número total de I/Os ao BD de vendas DS
Utilização de CPU no servidor de BD DS IC =
Tamanho médio da mensagem enviada/recebida pelo servidor de BD DS Intensidade
Treinamento Baseado na Web de carga
Número médio de sessões de treinamento/dia IC
Tamanho médio do arquivo de vídeo por sessão DS
Tamanho médio dos documentos HTTP obtidos DS
Tamanho médio dos arquivos de imagem obtidos/sessão DS
Número médio de documentos obtidos/sessão DS DS =
Utilização média de CPU do servidor Web DS Demanda
Processamento de Correio de serviço
Número de mensagens recebidas por dia por cliente IC
Número de mensagens enviadas por dia por cliente IC
Número de clientes IC
Tamanho médio da mensagem DS
Utilização de CPU pelo Mail Server DS
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Validando modelos de carga de trabalho
 Ao construir um modelo são feitas abstrações.
Deve-se realizar uma execução de carga de
trabalho sintética, que permita identificar se o
modelo está com distorção aceitável.
 Caso a margem não esteja de 10 a 30% deve-
se submeter o modelo a um ajuste (ou
calibragem) visando a validação do modelo.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Modelos de Desempenho
 A previsão do desempenho é o processo de estimar as
medições de desempenho de um sistema de
computador para determinado conjunto de parâmetros :
 Parâmetros do sistema : Características que impactam no
desempenho (balanceamento de carga, protocolos, numero de
conexões simultaneas, capacidades do BD)
 Parâmetros do recurso : Caracteristicas próprias do recurso,
que afetam o desempenho (tempo de disco, latência de rede,
performance de CPU)
 Parâmetros da carga de trabalho
 IC (Intensidade da Carga) – carga imposta em unidades de
trabalho que disputam recursos do sistema
 DS (Demanda de serviço) – tempo de serviço exigido por cada
componente em cada recurso.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Modelos de Desempenho
 A previsão do desempenho exige o uso de modelos, que podem
ser :
 Simulação : programas de computador que imitam o comportamento
de um sistema à medida que as transações fluem pelos diversos
recursos simulados.
 Analítico : conjunto de fórmulas e/ou algoritmos de cálculo usados
para gerar medições de desempenho a partir de parâmetros do
modelo.
 À medida que mais elementos do modelo são representados com
maiores detalhes, a precisão do modelo aumenta.

Modelo aproximado : Modelo detalhado :


Pouco esforço na Precisão do modelo de desempenho grande esforço na
coleta de dados coleta de dados
Baixa Precisão Alta Precisão

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Estudo de Caso 7 – Precisão de Modelos de
Desempenho Qual dos 2 apresenta maior precisão ?
Rede de Filas Rede de Filas Servidor Web Corporativo
de alto nível detalhada

Discos
Servidor Web
Corporativo CPU´s
Internet
Internet
Servidor de Servidor de e-mail
E-mail

Discos

CPU´s

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Validando um Modelo de Desempenho
 Um modelo será válido se as medições apresentadas pelo
modelo se aproximarem das medições realizadas em tempo
real.
Modelo
Sistema
de
Real
desempenho

Medições Cálculos

Valores MEDIDOS para tempos Valores CALCULADOS para tempos


de respostas, taxa de de respostas, taxa de
processamento, utilizações, etc. processamento, utilizações, etc.

Aceitável ?
Calibragem
do modelo
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Modelo de Disponibilidade
 Os modelos de disponibilidade oferecem um
meio de previsão da disponibilidade de um
serviço na Web, com base na configuração de
infra-estrutura utilizada e considerando a
confiabilidade intrínseca dos componentes
utilizados.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Modelo de Custo
 Uma metodologia de planejamento de capacidade deve sempre
considerar as principais origens do custo.
 Ao analisar os custos envolvidos em serviços Web, deve-se
considerar também a possibilidade de aumento de tráfego em
canais existentes, como suporte telefônico.
 Custos iniciais serão provenientes da montagem inicial da
estrutura.
 Custos operacionais estão associados a manutenção e
ampliação da base de hardware, software, links de comunicação,
pessoal, treinamento, consultoria e outros.
 As medições de custo relativas se dão em moeda por alguma
medida de capacidade do sistema (ex. reais por navegação por
minuto, dólares/consulta/segundo.)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


PLANEJANDO A CAPACIDADE
DOS SERVIÇOS NA WEB
Análise de Custo/Desempenho
 Os modelos de custos e desempenho podem ser
usados para avaliar diversos cenários e configurações :
 Deveríamos espelhar o web site para balancear a carga,
reduzir o tráfego na rede e melhorar o desempenho ?
 Deveríamos substituir os servidores web existentes por outros
mais rápidos ?
 Deveríamos usar uma rede de distribuição de conteúdo para
oferecer imagens ?
 Deveríamos usar serviços de hospedagem de terceiros ?
 Para cada cenário, podemos prever qual será o
desempenho de cada componente básico da carga de
trabalho global e quais são os custos para o cenário.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS
E TESTES DE
DESEMPENHO

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

INTRODUÇÃO
 A melhor maneira de estudar desempenho
é executar a carga de trabalho real e medir
os resultados.
 Benchmarking é o principal método para
medir o desempenho de uma máquina
física real.
 É a execução de um conjunto de
programas representativos em diferentes
computadores e redes, medindo seus
resultados.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
NATUREZA DOS BENCHMARKS
 Tempo e Velocidade são as medidas básicas de
desempenho.
 O que um determinado benchmark está realmente
testando ?
 Até que ponto o benchmark é semelhante à carga de
trabalho do ambiente do usuário ?
 O que o benchmark está realmente medindo ?
 Benchmarks são boas ferramentas para
comparação de sistemas, ao invés de ferramentas
precisas para dimensionar ou planejar a
capacidade de determinado serviço.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

HIERARQUIA DE BENCHMARKS
 Dividem-se em 2 categorias :
 Granularidade grande (ex. Medição de e-
commerce)
 Benchmarks detalhados (ex. Velocidade de CPU)
 Hierarquias :
 Operações Básicas (+ - x / )
 Benchmark de “brinquedo” (hanói, etc)
 Kernels (operações de cpu, parte de código real)
 Programas reais (pacotes de benchmark – SPEC
e TPC)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

HIERARQUIA DE BENCHMARKS

Sistemas
Programas Benchmark de Operações
Kernels
“brinquedo” básicas
de
reais computador

Medições de
Desempenho

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
BENCHMARKS COMUNS
 Grupos de usuários e pesquisas na web são boas
fontes de informação atualizadas sobre vários tipos
de benchmarks
 Para ser útil, um benchmark precisa ser :
 Relevante : ofereça medidas de desempenho significativas
no domínio de problema específico
 Inteligível : simples e fáceis de entender
 Escalável : aplicáveis a grande variedade de sistemas, em
custo, desempenho e configuração
 Aceitável : resultados imparciais, reconhecidos por
usuários e fornecedores.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

SPEC (www.spec.org)
 SYSTEM PERFORMANCE EVALUATION
CORPORATION
 Organização de fornecedores da indústria
de informática, que desenvolve testes de
desempenho padronizados (benchmarks)
e publica resultados das análises.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
Membros (SPEC)
3DLabs * Advanced Micro Devices * Apple Computer,
Inc. * ATI Research * Azul Systems, Inc. * BEA
Systems * Borland * Bull S.A. * Dell * EMC * Exanet *
Freescale Semiconductor, Inc. * Fujitsu Limited *
Fujitsu Siemens * Hewlett-Packard * Hitachi Data
Systems * Hitachi Ltd. * IBM * Intel * ION Computer
Systems * Johnson & Johnson * Microsoft * Mirapoint *
NEC - Japan * Network Appliance * Novell * NVIDIA *
Openwave Systems * Oracle * Panasas * PathScale *
The Portland Group * S3 Graphics Co., Ltd. * SAP AG *
ServerWorks * SGI * Sun Microsystems * Super Micro
Computer, Inc. * Sybase * Unisys * Verisign * Veritas
Software * Zeus Technology *
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO

TPC (www.tpc.org)
 TRANSACTION PROCESSING
PERFORMANCE COUNCIL
 Corporação não-lucrativa, fundada para
definir benchmarks de processamento de
transações, banco de dados e comércio
eletrônico.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

BENCHMARK DE CPU SPEC


 Projetado para medições de desempenho
com cargas, em diferentes sistemas
 SPECxxxx, onde xxxx = geração
 2 pacotes : int (calculos c/inteiros) e fp
(ponto flutuante)
 Concentra-se em desempenho do
processador e arquitetura de memória.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

CARGA DE TRABALHO P/SPECint


 Compactação
 Roteamento de circuito FPGA (Field Programmable Gate Array(
 Compilador C
 Otimização combinatória
 Jogo : xadrez
 Processamento de textos
 Visualização do computador
 Linguagem PERL
 Teoria de grupo, interpretador
 Banco de dados orientado a objeto
 Compactação
 Simulador de lugar e rota

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

ESTUDO DE CASO 7 : USANDO SPECint


 Um fornecedor anuncia um novo servidor web
com processador e memória mais eficiente
 Afirma que com o novo servidor teremos melhora
de 60% na performance
 Avaliando os resultados SPECint publicados,
temos respectivamente 363 e 489 SPECint para o
antigo e novo servidor
 Qual o ganho de performance SPECint ?

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

ESTUDO DE CASO 7 : USANDO SPECint


 Um fornecedor anuncia um novo servidor web
com processador e memória mais eficiente
 Afirma que com o novo servidor teremos melhora
de 60% na performance
 Avaliando os resultados SPECint publicados,
temos respectivamente 363 e 489 SPECint para o
antigo e novo servidor
 Qual o ganho de performance SPECint ?
489 / 363 = 1,35 ou 35%

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


!
BENCHMARKS E TESTES DE
DESEMPENHO
BENCHMARKS DE SERVIDORES WEB
 3 mais utilizados :
 Webstone
 SPEC-Web
 SURGE (Scalable URL Reference Generator)
 Simulam clientes web.
 Geram requisições ao servidor de acordo com
carga de trabalho especificada, recebem
respostas e coletam as medições
 Importante lembrar que os benchmarks web
apresentados utilizam ambiente de rede interna,
diferente do mundo real na internet

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

SPECWEB99
 Projetado para medir capacidade de um sistema
de atuar como servidor Web
 Mede o número máximo de conexões simultäneas
 Carga de trabalho padrão inclui HTML estática e
dinâmica, e suporte para HTTP 1.1
 Para Unix ou NT
 Executa em vários clientes enviando requisições
http e armazenando respostas
 Consolida respostas em cliente principal

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

SPECWEB99 – Carga de Trabalho


Distribuição de requisições da carga
Requisição %
GET estático 70,00
GET dinâmico padrão 12,45
GET dinâmico padrão (CGI) 0,15
GET dinâmico personalizado 12,60
POST dinâmico 4,80

Tamanho de arquivo por classe e frequencia


Classe Tam.Arquivo (KB) % de acesso
0 0-1 35
1 1-10 50
2 10-100 14
3 100-1.000 1

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 8 – EMPRESA DE MÍDIA
 Empresa de mídia planeja reformular portal
 Administrador do sistema pretende utilizar SPECweb para
estimar sistema que atenda carga inicial prevista
 Imagina-se como número de usuários simultaneos 10.000
 Cada usuário (cliente) oscila entre 2 estados : apresentando
resultados (pensando) e esperando pela resposta (execução
da requisição)
 Aceitaram 4 segundos como tempo de resposta e 3
segundos como tempo de reflexão
 QUAL TAXA DE PROCESSAMENTO REQUERIDA ?

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 8 – EMPRESA DE MÍDIA
 Empresa de mídia planeja reformular portal
 Administrador do sistema pretende utilizar SPECweb para
estimar sistema que atenda carga inicial prevista
 Imagina-se como número de usuários simultaneos 10.000
 Cada usuário (cliente) oscila entre 2 estados : apresentando
resultados (pensando) e esperando pela resposta (execução
da requisição)
 Aceitaram 4 segundos como tempo de resposta e 3
segundos como tempo de reflexão
 QUAL TAXA DE PROCESSAMENTO REQUERIDA ?

Taxa de Processamento =
Clientes Simultaneos / (Tempo Resposta + Tempo de Reflexão)
Taxa de Processamento = 10.000 / (4 + 3) = 1.429 reqs./segundo

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


!
BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 9 – EMPRESA DE MÍDIA (2)
 Agora deseja-se estimar o número médio de
conexões simultâneas geradas pelos 10.000
clientes simultâneos.
 Considera-se que o tempo de resposta é = tempo

de rede + tempo no website.


 Estima-se o tempo de rede em 1,2s.
 O tempo de website não deve ultrapassar 2,8 (4 – 1,2).
 Qual o número médio de conexões simultâneas?

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 9 – EMPRESA DE MÍDIA (2)
 Agora deseja-se estimar o número médio de
conexões simultâneas geradas pelos 10.000
clientes simultâneos.
 Considera-se que o tempo de resposta é = tempo

de rede + tempo no website.


 Estima-se o tempo de rede em 1,2s.
 O tempo de website não deve ultrapassar 2,8 (4 – 1,2).
 Qual o número médio de conexões simultâneas?

Conexões Simultâneas =
Requisições por Segundo x (Tempo de Resposta – Tempo de Rede)
1.429 x (4 – 1,2) = 1.429 x 2,8 = 4.001

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


!
BENCHMARKS E TESTES DE
DESEMPENHO
ANALISANDO O ESTUDO DE CASO
 Examinando os resultados do benchmark

SPECweb, pode-se encontrar um sistema


que atenda aos requisitos de carga, ou
seja :
 Número de conexões maior que 4.001
 Taxa de Processamento maior que 1.429
requisições por segundo

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


!
BENCHMARKS E TESTES DE
DESEMPENHO

WEBSTONE
 Benchmark Cliente-Servidor configurável para
HTTP. Usa parâmetros de carga e processa
clientes, gerando tráfego HTTP.
 Projetado para medir a taxa de processamento
máxima do servidor e o tempo de resposta médio
para conexão com o servidor.
 Um processo mestre gera uma série de processos
cliente, que geram as requisições HTTP. Ao
término, o processo mestre consolida as
informações de resumo de desempenho.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
WEBSTONE – Carga de Trabalho
 4 Conjuntos de cargas sintéticas modelam as
cargas de trabalhos reais. Parametros são :
 Número de clientes que solicitam páginas : A velocidade
de solicitação de páginas no tempo que o servidor
retorna (tempo de pensar = zero).
 Tipo de Página : tamanho de arquivo e frequência de
acesso. Composição que indica probabilidade de
acesso.
 Número de páginas disponíveis no servidor teste
 Número de máquinas cliente.
 Principais resultados : Taxa de processamento e
latência

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

WEBSTONE – Resultados Típicos


Métrica Valor
Número Webstone 456
Número total de clientes 24
Número total de páginas recuperadas do servidor 4.567
Número total de erros 0
Número total de conexões com o servidor 12.099
Tempo médio por conexão (s) 0,0039
Tempo máximo por conexão (s) 0,0370
Quantidade total de bytes movidos 129.108.600
Taxa de processamento médio (bytes/s) 215.181
Tempo médio de resposta (s) 1,181
Tempo máximo de resposta (s) 18,488

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

SURGE
 Um componente-chave de benchmark é a carga
de trabalho. 2 técnicas são utilizadas :
 carga de trabalho real (amostragem)
 modelos matemáticos para representar características
de carga
 SURGE se baseia nas 2 técnicas
 Um usuário é definido como um processo em loop
que alterna entre fazer requisição HTTP e
permanecer ocioso.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
SURGE (Características da carga de trabalho)
 Tamanhos de arquivo : distribuição de tamanho da coleção
de arquivos armazenados no servidor
 Tamanhos de requisição : podem ser diferentes dos
tamanhos de arquivo, devido à diferente popularidade
 Popularidade : distribuição das requisições baseadas em
cada arquivo
 Referências embutidas : um objeto web é normalmente
composto por diversos outros
 Localidade Temporal : probabilidade de novo acesso a um
determinado objeto acessado anteriormente
 Tempos OFF : tempos ociosos, entre requisições. Pensar do
usuário e análise e formatação do browser.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
BENCHMARKS DO SISTEMA
 Medem o sistema inteiro : processador, I/O, redes,
banco de dados, compilador, sistema operacional
 Exemplo : Família TPC
 TPC divide-se em :
 TPC-C : OLTP (on line transaction processing)
 TPC-W : E-commerce
 TPC-H e TPC-R : simulam um sistema de suporte à
decisão com grandes volumes de dados, sincronizado
com bancos de dados de produção on-line. Utilizam
consultas aleatórias, altamente complexas, projetadas
para responder a algumas questões de negócios do
mundo real, incluindo perguntas sobre preços e
promoções, oferta e demanda, lucro e receita e
participação de mercado.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
TPC-C
 Benchmark padrão do setor de processamento de
transação on-line
 Modela uma aplicação que gerencia requisições
para um fornecedor de atacado
 Carga de trabalho divide-se em :
 Nova requisição (45%)
 Pagamento (43%)
 Remessa (4%)
 Estado da Requisição (4%)
 Nível de estoque (4%)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

Exemplo de Resultados do TPC-C

Informação do Sistema Resultado


Empresa X
Sistema Y
Processadores 4
Armazenamento total 2,61 Terabytes
SGBD Microsoft SQL
Sistema operacional Windows NT
Monitor de Transação Microsoft COM +
Custo total do sistema US$ 445.747
Taxa de processamento do TPC-C (tpmC) 34.600
Preço/desempenho $ 12,89

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

TPC-C

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

TPC-C

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 10 – Companhia de Seguros
 Um gestor de TI de uma cia. de seguros quer

fazer upgrade no software de banco de dados,


visando atingir melhoria de performance de 30%.
 Buscanco nos benchmark TPC encontra que as

taxas TPC-C dos softwares novo e antigo são,


respectivamente 30.000 e 36.000.
 Haverá ganho desejado de 30% na migração ?

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
ESTUDO DE CASO 10 – Companhia de Seguros
 Um gestor de TI de uma cia. de seguros quer

fazer upgrade no software de banco de dados,


visando atingir melhoria de performance de 30%.
 Buscanco nos benchmark TPC encontra que as

taxas TPC-C dos softwares novo e antigo são,


respectivamente 30.000 e 36.000.
 Haverá ganho desejado de 30% na migração ?

Percentual melhoria =
Taxa novo software / taxa software antigo
30.000 / 36.000 = 1,2 ou seja 20% de melhoria

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


!
BENCHMARKS E TESTES DE
DESEMPENHO
TPC-W
 Trata da avaliação de sites que oferecem
suporte a atividades de e-business
 Modelo de uma loja que vende produtos e
serviços pela internet
 A métrica de performance é expressa em
Interações da Web por segundo (WIPS –
Web interactions per second)
 Número de itens no catalogo define
escala: 10.000, 100.000, 1.000.000 e
10.000.000 itens.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
TPC-W
 Classifica as interações web em 2 categorias :
 Navegar (navegação e pesquisa) : home, navegar,
selecionar, detalhe do produto e pesquisar.
 Pedir (pedido de produto) : carrinho, login, pedido de
compra, confirmação de compra, pesquisa de pedido e
exibição de pedido.
 Especifica 3 diferentes perfis de sessão :
 Mistura de navegação : 95 % Navegar e 5% Pedir
 Mistura de compra : 80% Navegar e 20% Pedir
 Mistura de requisição : 50% Navegar e 50% Pedir

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

Resultados do TPC-W
Informação do Sistema Resultado
Empresa X
Sistema Y
Escala 10.000
Processadores 4
SGBD Microsoft SQL
Sistema operacional Windows NT
Servidor HTTP Microsoft IIS
Balanceador de Carga MS Windows DNS Server
Motor de busca MS SQL Server FT Search
Custo total do sistema US$ 211.214
Desempenho do TPC-W 3.130
Preço/desempenho US$ 67,50

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO
TPC-W (Resultados)
 Existem 2 tipos de métricas de desempenho
 Métrica de Taxa de Processamento
 WIPS : número médio de interações web por segundo em
sessões do tipo Compra. wips@scale_factor (onde fator
de escala é o número de itens no catálogo)
 WIPSb : número médio de interações nas sessões do tipo
Navegar.
 WIPSo : número médio de interações nas sessões do tipo
Pedir.
 Métrica de custo/taxa de processamento ($Wips) :
Razão entre o Custo total do sistema em teste e o
número de wips medido durante um intervalo de compra.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

TPC-W

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

TPC-W

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


BENCHMARKS E TESTES DE
DESEMPENHO

TESTE DE DESEMPENHO
 Finalidade principal : entender o
desempenho do serviço sob condições de
determinada carga de trabalho
 Podem ser usados em todos estágios de
desenvolvimento de serviços web, antes
de entrar em operação
 Chave é simular o ambiente de produção e
cenários de carga de trabalho, o mais
próximo do mundo real.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO

TIPOS DE TESTES DE DESEMPENHO


 Teste de CARGA : cria-se uma carga de
trabalho simulada, imitando a operação
normal estimada
 Teste de ESFORÇO : focaliza os cenários
do pior caso e utiliza uma carga mais
pesada do que o esperado
 Teste de PICO : teste sob condições muito
específicas, quando a carga é muitas
vezes maior que a média.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Definir objetivos do teste : Grande influência em custos e
ambiente esforço no projeto de teste. Exemplos :
Especificar  Determinar capacidade do servidor web
o plano de teste  Descobrir número máximo de usuários simultâneos em
Definir a carga de um serviço web aceita
Trabalho do teste  Determinar a capacidade da aplicação
Configurar o  Identificar engarrafamentos na infra-estrutura
ambiente de teste
 Identificar impacto da rede sobre tempo percebido pelo
Executar os testes usuário final
 Descobrir capacidade do servidor de BD
Analisar os
 Identificar as funções Web mais caras
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Entender o ambiente : Descobrir o que compõe o cenário :
ambiente  Tipo de infra-estrutura (servidores e serviços de
Especificar terceiros)
o plano de teste  Software (sistema operacional middleware e
Definir a carga de aplicações)
Trabalho do teste  Conectividade de rede e protocolos estão presentes no
Configurar o ambiente
ambiente de teste  Períodos de picos e SLA´s
Executar os testes  Entender a natureza da carga de trabalho e dos
serviços oferecidos pelo sistema em teste
Analisar os
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Especificar o plano de teste : Identificar quais serviços na
ambiente Web e funções devem ser testadas. Deve conter :
Especificar  Expectativas da equipe
o plano de teste  Cenários de carga de trabalho (otimista, pessimista)
Definir a carga de  Verificação de SLA
Trabalho do teste
 Garantir o uso da mesma infra-estrutura do ambiente
Configurar o de produção
ambiente de teste
 Determinar como as variáveis de entrada são
Executar os testes controladas ou alteradas
 Determinar o grau desejado de confiança nas
Analisar os medições
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Especificando a carga de trabalho do teste : planejar um
ambiente cenário de aplicação que sejam típicas do serviço na web.
Especificar  Ex. Comportamento dos usuários. Geração de scripts
o plano de teste com perfis diferentes por grupo
Definir a carga de  Compradores ocasionais e frequentes
Trabalho do teste  O primeiro grupo representa clientes que

Configurar o usam lojas web para pesquisa de novos


ambiente de teste produtos e tarifas, mas na maioria das vezes
não compram pela web
Executar os testes
 O segundo grupo com clientes com grande

Analisar os probabilidade de comprar se achar produto


resultados que lhes interesse.
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Configurar o ambiente de teste : uma instalação de teste foi
ambiente disponibilizada, para permitir a execução dos testes, antes
Especificar da distribuição. Uma ferramenta de teste de esforço foi
o plano de teste selecionada para permitir a simulação de usuários. Entre
Definir a carga de
os requisitos para teste do sistema é preciso verificar o
Trabalho do teste seguinte :
 Licença do fornecedor de teste de carga para o
Configurar o
ambiente de teste número de usuarios simultaneos a serem testados
 Ferramentas de monitoração de desempenho para
Executar os testes servidores web, servidores de aplicação, sistema de
banco de dados e redes.
Analisar os
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Executar os testes :
ambiente  Executar o plano de teste especificado
Especificar  Submeter os scripts de teste pré-definidos
o plano de teste
 Ajustar os testes com base nos resultados da última
Definir a carga de rodada de testes realizados (calibragem do teste)
Trabalho do teste
Configurar o
ambiente de teste

Executar os testes

Analisar os
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
BENCHMARKS E TESTES DE
DESEMPENHO
METODOLOGIA PARA O TESTE
Definir objetivos
do teste DE DESEMPENHO
Entender o Analisar os resultados do teste :
ambiente  Examinar tendências versus objetivo do teste
Especificar  Relacionar medições de desempenho
o plano de teste
 Desenvolver recomendações à gerência
Definir a carga de
 Avaliar tempos de respostas, buscando identificar
Trabalho do teste
problemas de desempenho específicos
Configurar o
ambiente de teste

Executar os testes

Analisar os
resultados
do teste
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
DISPONIBILIDADE
DOS SERVIÇOS
NA WEB

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB
INTRODUÇÃO
 A instalação de serviços na web tem se tornado
rotina e muitas vezes realiza-se em tempo abaixo
do necessário.
 A grande agilidade de implantação pode levar os
projetos a serem executados sem todos os
cuidados e testes necessários, levando a
vulnerabilidades no desempenho, segurança e
disponibilidade do site.
 Vários são os motivos que levam sites a se
tornarem indisponíveis, incluindo falhas de
hardware e software, conectividade de redes e até
mesmo ataques de negação de serviço (Dos –
Denial of Service) ou DDos.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
DISPONIBILIDADE DOS SERVIÇOS
NA WEB
PORQUE E COMO OS SISTEMAS FALHAM
 Existem muitos motivos para um sistema

de computador falhar
 É importante categorizar os diferentes

tipos de falhas
 Analisaremos as falhas sob as seguintes

dimensões :
 Duração

 Efeito

 Escopo

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB
DURAÇÃO DA FALHA
 Falhas Permanentes : Sistema que falha sem
possibilidade de reparos. Ex. Aeronave não
tripulada
 Falhas Recuperáveis : Existe a possibilidade de
reativação, após recuperação da falha. Ex. site
que sai do ar por conta do link.
 Falhas Transientes : Caracterizadas por ter
duração curta e não exigir grande reparo. Ex.
Roteadores ou servidores que retornam ao ser
reinicializados.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB

EFEITO DA FALHA
 Falhas Funcionais : Sistema que não
opera de acordo suas especificações. Ex.
Livraria on-line, que não apresenta
descrição de um livro.
 Falhas de desempenho : Ainda que o
sistema execute suas funções, não são
executadas a tempo. Ex. site de busca que
detalha demasiadamente uma pesquisa,
retornando alguns minutos depois.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
DISPONIBILIDADE DOS SERVIÇOS
NA WEB

ESCOPO DA FALHA
 Falha Parcial : Alguns serviços oferecidos
se tornam indisponíveis, enquanto outros
ainda podem ser usados.
 Falha Total : Rompimento total de todos os
serviços oferecidos pelo sistema.
Interrupções de energia poderiam fazer um
web site ficar completamente parado.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB

CONFIABILIDADE E DISPONIBILIDADE
 Confiabilidade : É a probabilidade de que o
sistema esteja funcionando correta e
constantemente por um período de tempo
determinado.
 Disponibilidade : Baseia-se na noção de
que um componente (ou sistema) alterna
por períodos em que está operacional (ou
períodos ativos) e períodos em que está
parado (ou período inativo).
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
DISPONIBILIDADE DOS SERVIÇOS
NA WEB

TEMPOS E FALHAS
 MTTF – Mean Time to Failure (Tempo médio para falha)
 MTTR – Mean Time to Recover (Tempo médio p/recuperação)
 MTBF – Mean Time Between Failures (Tempo médio entre falhas)

MTTF MTTR

ativo inativo ativo

MTBF

Falha n Falha n +1

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB

9´s NA DISPONIBILIDADE
 Os sistemas se classificam baseados no número de
9´s que apresentam como disponibilidade :

Classe de Indisponível
disponibilidade Disponibilidade (min/ano) Tipo de Sistema
1 90,0% 52.560 Não controlado
2 99,0% 5.256 Controlado
3 99,9% 526 Bem controlado
4 99,99% 52,6 Tolerante a falhas
5 99,999% 5,3 Altamente disponível
6 99,9999% 0,53 Muito altamente disponível
7 99,99999% 0,053 Ultradisponível

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB

MELHORANDO OS TEMPOS
 Existem duas maneiras de melhorar a
disponibilidade :
 Reduzindo a frequência de falhas (+MTTF)
 Reduzindo o tempo de recuperação (- MTTR)
 Tempo para detectar a falha
 Tempo para diagnosticar a causa da falha
 Tempo para determinar possíveis soluções
 Tempo para corrigir o problema
 (Log - Histórico de recuperações passadas

auxiliam na diminuição do MTTR)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB
ESTUDO DE CASO : WEB SRV (APP + BD)
 Considere um web site composto de dois
servidores web : um de aplicação e um de banco
de dados
 Supondo que os dados históricos mostrem que o
servidor de aplicação é reinicializado a cada 20
dias em média, ficando por um período de 10
minutos indisponível.
 Qual a disponibilidade do servidor de aplicação ?

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB
ESTUDO DE CASO : WEB SRV (APP + BD)
 Considere um web site composto de dois
servidores web : um de aplicação e um de banco
de dados
 Supondo que os dados históricos mostrem que o
servidor de aplicação é reinicializado a cada 20
dias em média, ficando por um período de 10
minutos indisponível.
 Qual a disponibilidade do servidor de aplicação ?
MTTF = 20x24x60 = 28.800
Disponibilidade = MTTF / ( MTTF + MTTR)
Disponibilidade = 28.800 / ( 28.800 + 10) = 0,99965

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


!
DISPONIBILIDADE DOS SERVIÇOS
NA WEB
CONFIABILIDADE E DISPONIBILIDADE (II)
 Confiabilidade : É a probabilidade de que o sistema esteja
funcionando correta e constantemente por um período de
tempo determinado.
 Disponibilidade : Baseia-se na noção de que um
componente (ou sistema) alterna por períodos em que está
operacional (ou períodos ativos) e períodos em que está
parado (ou período inativo).

“Quando a operação de determinado sistema exige


que o período de tempo com bom funcionamento
aproxime-se de infinito, a confiabilidade torna-se
disponibilidade.”

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB
CONFIABILIDADE EM SISTEMAS DE
COMPONENTES
 Um sistema baseado em componentes

apresentará a confiabilidade produto de seus itens


 Ex : um web site composto por :

 Servidor Web : 0,9


 Servidor de aplicação : 0,95
 Servidor de banco de dados : 0,99
 0,9 x 0,95 x 0,99 = 0,84645
 “A probabilidade de um evento expresso como a
interseção dos eventos independentes é o
produto das probabilidades dos eventos
independentes” (teoria da probabilidade)
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
DISPONIBILIDADE DOS SERVIÇOS
NA WEB
ESTUDO DE CASO : Aumentando Disponibilidade
 Considerando o exemplo anterior, determine o

aumento da disponibilidade no site melhorando


0,05 no componente de maior impacto na
disponibilidade geral
 Lembrando : 0,9 x 0,95 x 0,99 = 0,84645

 Servidor Web : 0,9


 Servidor de aplicação : 0,95
 Servidor de banco de dados : 0,99

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB
ESTUDO DE CASO : Aumentando Disponibilidade
 Considerando o exemplo anterior, determine o

aumento da disponibilidade no site melhorando


0,05 no componente de maior impacto na
disponibilidade geral
 Lembrando : 0,9 x 0,95 x 0,99 = 0,84645

 Servidor Web : 0,9


 Servidor de aplicação : 0,95
 Servidor de banco de dados : 0,99

SERVIDOR WEB PASSA PARA 0,95


0,95 x 0,95 x 0,99 = 0,89348
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
!
DISPONIBILIDADE DOS SERVIÇOS
NA WEB

REDUNDANDO COMPONENTES
 A medida que mais componentes são
acrescentados ao sistema, mais cai a
confiabilidade total do sistema
 O uso de componentes em paralelo é
uma das formas mais comuns de usar a
redundância para melhorar a confiabilidade

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB
ESTUDO DE CASO : SIMULANDO AMBIENTE

Basic Data
Number Reliability
Load Balancer 1 0,9999 0,999900
Web server 5 0,85 0,999924
DB Server 2 0,99 0,999900
Site Avail. 0,999724

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


DISPONIBILIDADE DOS SERVIÇOS
NA WEB

DESEMPENHO E DISPONIBILIDADE
 O desempenho, medido como tempo de
resposta, está bastante relacionado à
disponibilidade
 Sistemas que utilizem vários servidores
distribuindo carga para aumentar a
disponibilidade afetarão no desempenho, a
medida que parte dos recursos se tornem
indisponíveis.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


MEDIÇÃO
DO
DESEMPENHO

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


MEDIÇÃO DO DESEMPENHO

INTRODUÇÃO
 A Medição de desempenho é um aspecto
fundamental no processo de garantia dos
SLA´s
 Medindo desempenho reune-se dados
para análise e modelagem de
desempenho
 Ao iniciar a medição, refletir :
 Quais fontes dos dados de desempenho ?
 Quais ferramentas disponíveis ?
 Quais técnicas para cálculo dos parâmetros de
entrada do modelo ?
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
MEDIÇÃO DO DESEMPENHO
ESTRUTURA DE MEDIÇÃO DE DESEMPENHO
 A estrutura deverá oferecer uma série de
dados de medição, exigidos pelas 3
funções de gerenciamento de
desempenho :
 Detecção de problemas operacionais
 Ajuste de desempenho
 Planejamento de capacidade
 Observar :
 Medição de Infraestrutura (partes)
 Medição de Aplicação (todo o ciclo)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


MEDIÇÃO DO DESEMPENHO
ARQUITETURA DE MEDIÇÃO
Banco Servidor
de dados Web Internet
Rede Corporativa

G F E H
Infra-estrutura de serviço na web
Backbone
ISP´s
D Usuário
Usuário
B
Backbone
Aplicação A
Usuário

A e B = medições percebidas pelos usuários Ponto de teste


Local onde a
D = Inspeção de tráfego na rede
medição é realizada
E = S.O. medindo performance dos servidores
F = API monitorando tempo de resposta da Aplicação Agente de Medição
G = Análise de todo fluxo da rede Quem realiza a medição
H = Wan ou coleta de dados. Pode
ser ativo ou passivo.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
MEDIÇÃO DO DESEMPENHO
PROCESSO DE MEDIÇÃO
 Quais recursos mais usados em um sistema ?
 Qual a largura de banda usada na rede ?
 Que tempo consumiu a CPU das estações clientes ?
 Qual tempo médio de uma transação, de ponta a ponta ?
 Quanto tempo o servidor de e-mail consome diariamente ?
 Quanto da largura de banda da rede está sendo consumida
por acesso a internet ?

MEDIÇÃO :
OBSERVAR A OPERAÇÃO DE UM SISTEMA
POR UM PERÍODO DE TEMPO,
REGISTRANDO VARIÁVEIS RELEVANTES
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
MEDIÇÃO DO DESEMPENHO
REPRESENTAÇÃO DO PROCESSO DE MEDIÇÃO

Especificar
Medições
Especificar Medições : Decidir sobre as
variáveis a serem medidas.
Especificar
 Exemplo 1 : Rede Ethernet. Medições de
pontos de teste
pacotes e colisões por segundo
 Exemplo 2 : Aplicação de Streaming.
Instrumentar
e coletar dados Qual a qualidade do sinal desejada na
mídia ?
Analisar
e transformar
dados

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


MEDIÇÃO DO DESEMPENHO
REPRESENTAÇÃO DO PROCESSO DE MEDIÇÃO

Especificar
Medições
Especificar Pontos de teste : Determinar
onde os dados de desempenho serão
Especificar coletados.
pontos de teste
 Como exemplo, é possível determinar

que o ponto de partida deve coletar


Instrumentar
e coletar dados dados sobre o tráfego que atravessa a
LAN onde os servidores Web estão
Analisar localizados.
e transformar
dados

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


MEDIÇÃO DO DESEMPENHO
REPRESENTAÇÃO DO PROCESSO DE MEDIÇÃO

Especificar
Medições
Instrumentar a coleta de dados : Depois de
selecionar as variáveis a serem observadas,
Especificar deve-se distribuir ferramentas de medição
pontos de teste
para monitorar o sistema.
 Dependendo das medições definidas,
Instrumentar
e coletar dados pode-se ter de instalar várias
ferramentas de medição, por diferentes
Analisar pontos da web.
e transformar
dados

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


MEDIÇÃO DO DESEMPENHO
REPRESENTAÇÃO DO PROCESSO DE MEDIÇÃO

Especificar
Medições
Analisar e transformar dados : As
ferramentas de medição normalmente
Especificar reúnem quantidades muito grandes de
pontos de teste
dados brutos, que correspondem a uma
observação detalhada do sistema. Esses
Instrumentar
e coletar dados
dados precisam ser analisados e
transformados em informações
Analisar significativas. Exs.tamanhos médios,
e transformar numero de acessos, popularidade de
dados arquivos, etc.
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
MEDIÇÃO DO DESEMPENHO

MEDIÇÃO POR EVENTO


 Monitores orientados a evento geram um
registro toda vez que ocorre um evento
dentro de um conjunto de tipos
determinados
 Um evento normalmente muda o estado
do sistema, que é especificado por um
conjunto de variáveis
 Ao ser detectado determinado evento um
código especial chama uma rotina que
gera informações como data, hora, tipo de
evento, etc
PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld
MEDIÇÃO DO DESEMPENHO

MEDIÇÃO POR RASTREAMENTO


 Semelhante a “Medição por evento”, só
que gera um registro do evento ocorrido e
do estado do sistema no momento.
Exemplo : Ao invés de só contar erros de
transmissão, o rastreamento registraria o
estado do sistema com as causas do erro.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


MEDIÇÃO DO DESEMPENHO
MEDIÇÃO POR AMOSTRAGEM
 As informações dos sistemas são coletadas em
instantes predefinidos
 Ao invés de ocorrer por evento, ocorrem em
instante pré-determinado, especificado no início da
sessão de monitoração
 Provoca impacto no resultado da medição
(overhead).
 Se as amostragens forem maiores, maior
overhead e menor precisão
 Quanto maior a precisão, maior o overhead
 Normalmente utilizam-se monitores (Hw/Sw) e logs

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCLUSÃO

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCLUSÃO

CENÁRIO
 Maturidade no nível de utilização da web
 Cada vêz mais a previsibilidade de
crescimento é necessária
 Desafio de atender a crescente demanda
de ambientes cada vez mais solicitados
pela sociedade, contemplando :
 Disponibilidade
 Segurança
 Confiabilidade

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCLUSÃO

CARACTERÍSTICAS DOS SERVIÇOS WEB


 Os serviços web apresentam hoje :

 Larga escala e complexidade


 Heterogeneidade
 Operação e gerenciamento distribuído
 Propriedades a considerar nos projetos :
 Confiança e segurança (missão crítica)
 Escalabilidade (poder crescer quando precisa)
 Disponibilidade e Confiabilidade (on-line sempre)

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCLUSÃO

TÉCNICAS BASEADAS EM MODELOS


 O trabalho de avaliação de desempenho

pode ser distribuído em modelos :


 Carga de trabalho
 Desempenho
 Disponibilidade
 Teoria das filas, análise operacional e
probabilidades
 Tempos de serviço e tempos de espera
 Importante modelo de Custos ...

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


CONCLUSÃO

PESQUISA
 Os problemas de desempenho
vividos pelo gestor de hoje podem ser
parecidos com o gestor de outra
organização
 Vários modelos e trabalhos de
pesquisa disponíveis em livros e
Internet
 Não existe um modelo de
desempenho personalizado.

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld


OBRIGADO !

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F. – 2005 – Rafael Sommerfeld

Você também pode gostar