AVALIAO DE DESEMPENHO

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

APRESENTAO
Rafael Sommerfeld
Consultor : 25 anos em Tecnologia da Informao Formao em Gesto de Ambientes Internet MBA de Marketing pela FGV Experincia : Ambev, Animus, Dominal, Dedalus, Metrored, Ibam, Skol, ... Treinamentos : Bndes, Embratel, FGV, Unesa, etc. Publicao de livros e artigos especializados

rafasommer@hotmail.com
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

E VOCES ??
APRESENTEM-SE
Nome rea / Funo Expectativas com o curso Hobby

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BIBLIOGRAFIA
PLANEJAMENTO DE CAPACIDADE PARA SERVIOS NA WEB
Mtricas, Modelos e Mtodos

Daniel A.Menasc Virgilio A.F. Almeida Editora Campus, 2003

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

NOSSO OBJETIVO

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

AVALIAO DE DESEMPENHO
Plano de Aula
- SLA - Protocolos e modelos de interao para servios na Web - Quando o desempenho da Web um problema - Conceitos Bsicos de Desempenho - Aspectos do desempenho de servios na Web - Planejando a Capacidade dos Servios na Web - Modelo de Carga - Modelo de Desempenho - Modelo de Custo - Benchmarks e testes de desempenho - Disponibilidade dos servios na Web - Medio do Desempenho - Concluso
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

O QUE
Este Acordo do nvel de servio um contrato entre duas partes que especifica performance e qualidade de um servio. Determina o que acontece quando as mtricas no so atendidas. o instrumento formal para cobrana/prestao de contas dos nveis de servios contratados. SLA no somente externo. Vrias empresas atualmente utilizam SLA interno.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Quem Precisa
Anlise de Risco
Avaliao de custo de indisponibilidade em relao ao negcio Definir claramente os limites suportados com relao aos servios necessrios

Deve ser definido na fase do projeto Considerar processos e responsabilidade da prpria empresa Melhor SLA = Maior custo Maior SLA = Maior comprometimento das partes
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Definindo o tipo de servio
Web Site E-mail / workflow Banco de Dados ERP Rede Infra-Estrutura Backup-Restore Comunicao Administrao Operao Suporte
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Detalhando o Servio
Arquitetura de Software e Hardware para suportar o servio :
Redundncia Replicao / Duplicao Homologao

Arquitetura de redes Lan e Wan ndices de desempenho

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Definindo o Escopo
Identificar dependncias externas
Aplicao Acessos a sistemas externos Comunicao

SLA de terceiros Fatores no controlveis

Taxa de transferncia / latncia via internet Erro na aplicao Outros ...

Definindo acordo operacional (responsabilidades, quem faz o que quando)

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Definindo o acesso ao servio
Via Internet
Sem garantia de desempenho Insegura SLA de terceiros

Via linha privada

Com garantia de desempenho segura

Via VPN / Internet

Sem garantia de desempenho segura
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Definindo as Mtricas
O que medir ?
Definir acessos/transaes de referncia Definir mtricas
Tempo de resposta (segundos) Disponibilidade (percentual) Taxa de backup/recovery (GB/s) Tempo de atendimento (minutos) Taxa de transferncia (Kbps)

Como Medir ?
Atravs de acesso externo Logs de aplicaes Ferramentas de gerenciamento
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Definindo os nveis de Servio
Baseados nas mtricas estabelecidas Separao por servio/sub-servio Indicar mximo total e por ocorrncia
Exemplo : Disponibilidade
Nmero mximo de paradas x tempo por parada Max. De indisponibilidade no perodo de referncia

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Condies Gerais
Penalidades em caso de no cumprimento
Definir faixas de desconto/penalidade por quebra de SLA Definir condies especiais. Ex.: Lucros cessantes

Prazo de referncia e medio (ms, ano, etc.)

Disponibilidades diferentes para prazos diferentes
4 horas/ms = 99,44% 4 horas/ano = 99,95%

Definir condies para servios/nveis adicionais Perodo de correo/observao aps mudana (reenquadramento)
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

Contrapartida do Cliente
Seguir procedimentos Respeitar prazos Respeitar limites dos processos Contribuir para a segurana Programar e informar alteraes de sistemas Contribuir para a estabilidade do ambiente

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

SLA SERVICE LEVEL AGREEMENT

SLM Service Level Management
todo o processo de gerenciamento do acordo definido no SLA. a definio de procedimentos, aes e procedimentos para garantia da execuo do SLA

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PROTOCOLOS E MODELOS DE INTERAO PARA SERVIOS NA WEB

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PROTOCOLOS E MODELOS DE INTERAO PARA SERVIOS NA WEB

Redes
A evoluo dos ambientes em TI O paradigma Cliente-Servidor LAN (local) e WAN (wide) Arpanet, originada em 1970 A origem da Internet (1983) diviso da Arpanet e Milnet (militar).

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PROTOCOLOS E MODELOS DE INTERAO PARA SERVIOS NA WEB

Protocolos
A comunicao entre 2 computadores ou 2 processos por uma rede de computadores controlada por um conjunto de regras, chamado PROTOCOLO. Suas principais funes so : endereamento, roteamento, deteco e recuperao de erro, controle de sequncia e controle do fluxo.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PROTOCOLOS E MODELOS DE INTERAO PARA SERVIOS NA WEB

Protocolos
Camada de Sesso
HTTP FTP SMTP TELNET NFS RPC DNS SNMP

Camada de transporte

TCP

UDP

Camada de Rede

IP

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PROTOCOLOS E MODELOS DE INTERAO PARA SERVIOS NA WEB

Protocolo cliente servidor
Processo Cliente Requisio Resposta Processo Servidor

TCP IP
Camada de Link de dados

TCP IP
Camada de Link de dados

- Estaes - Faz requisies - Executa parte da aplicao

- Servidor (++) - Executa funcionalidades - No iniciam uma transao, aguardando requisies

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PROTOCOLOS E MODELOS DE INTERAO PARA SERVIOS NA WEB

Servidores e Processos
1 1 2
Fila Servidor de Requisies

1 2 2
Fila N de Requisies threads do servidor

N clientes

N clientes

Servidor com nico Processo

Servidor com Diversos Processos

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PROTOCOLOS E MODELOS DE INTERAO PARA SERVIOS NA WEB

Estudo de caso 1 - Bits, Bytes e Tempos...
1 Byte = Cdigo de 0 a 255, representado por 8 bits 1 Kbyte = 1.024 bytes 1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte Links de conexo, normalmente se medem em kbps ou mbps (kilobits e megabits) por segundo Para achar as taxas a partir de converso de bytes, deve-se sempre multiplicar por 8 (byte -> bit) Quantos segundos consumir a transferncia de 50 figuras de 10 Kb em um link de 128kbps ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PROTOCOLOS E MODELOS DE INTERAO PARA SERVIOS NA WEB

Estudo de caso 1 - Bits, Bytes e Tempos...
1 Byte = Cdigo de 0 a 255, representado por 8 bits 1 Kbyte = 1.024 bytes 1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte Links de conexo, normalmente se medem em kbps ou mbps (kilobits e megabits) por segundo Para achar as taxas a partir de converso de bytes, deve-se sempre multiplicar por 8 (byte -> bit) Quantos segundos consumir a transferncia de 50 figuras de 10 Kb em um link de 128kbps ?

= 31,25 segundos (50 x 10 x 8) / 128

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Cenrio
A web um organismo vivo, em constante expanso Principais fatores para crescimento dos servios web :
Migrao de servios tradicionais para Internet Criao de novos servios virtuais Benefcios de escala e custo Acessibilidade

Categorias :
Informativas Interativas Transacional Fluxo de Trabalho

Colaborao Comunidades on Line Portais

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 2 Revenda de Carro
Planejamento de aumento progressivo de carga 10, 20 e 30% Consulta a transao crtica 4 a 6 segundos perda de 60% transaes Mais de 6 segundos perda de 95% transaes Comisso por transao = R$ 360
Planejamento de Capacidade Consultas por dia Tempo de Resposta (s) Perda nas vendas (%) Vendas por dia (afetada) Receita diria no afetada (em R$ 1.000) Receitas dirias afetadas (em R$ 1.000) Receita diria perdida (em R$ 1.000) Atual 92.448 2,9 0 4.622 1.664 1.664 Atual + 10% 101.693 3,8 0 5.084 1.830 1.830 Atual + 20% 110.938 5,7 Atual + 30% 120.182 11,3

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 2 Revenda de Carro
O web site suportar o aumento de carga e preservar o tempo de resposta abaixo dos quatro segundos ?

Se no suportar, em que ponto sua capacidade estar saturada e por que ?

Quantos reais podem ser perdidos diariamente se o web site saturar quando a carga aumentar ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 2 Revenda de Carro
Planejamento de aumento progressivo de carga 10, 20 e 30% Consulta a transao crtica 4 a 6 segundos perda de 60% transaes Mais de 6 segundos perda de 95% transaes Comisso por transao = R$ 360
Planejamento de Capacidade Consultas por dia Tempo de Resposta (s) Perda nas vendas (%) Vendas por dia (afetada) Receita diria no afetada (em R$ 1.000) Receitas dirias afetadas (em R$ 1.000) Receita diria perdida (em R$ 1.000) Atual 92.448 2,9 0 4.622 1.664 1.664 Atual + 10% 101.693 3,8 0 5.084 1.830 1.830 Atual + Atual + 20% 30% 110.938 120.182 5,7 11,3 60 95 2.219 300 1.997 2.163 799 108 1.198 2.055

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 2 Revenda de Carro
O web site suportar o aumento de carga e preservar o tempo de resposta abaixo dos quatro segundos ?
No

Se no suportar, em que ponto sua capacidade estar saturada e por que ?

Com 20% de aumento da carga. Pois a consulta ultrapassa 4 segundos e provoca desistncia dos clientes.

Quantos reais podem ser perdidos diariamente se o web site saturar quando a carga aumentar ?
Aps 30% de crescimento haver perdas de mais de R$ 2 milhes

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 3 Locadora de Veculos
Migrao de Mainframe para ambiente cliente servidor 500.000 veculos disponveis 3.500 lojas espalhadas pelo territrio nacional 360.000 reservas/dia 60% das reservas ocorrem em um perodo de pico de 12 horas (216.000 reservas) Reservas por hora no pico = 18.000 Reservas por segundo no pico = 5
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 3 Locadora de Veculos
Motivos para a migrao : Reduo de custos de manuteno do mainframe Criar uma aplicao mais fcil para o usurio Insero de interface grfica para aumento da produtividade Melhorar a satisfao do cliente. Expectativas Os projetistas do novo ambiente precisam garantir no mnimo o mesmo desempenho da plataforma anterior...
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 3 Locadora de Veculos
Que perguntas responder ? Que tipo de servidores devem ser usados nas lojas ? Nmero e tipo de processador, nmero e tipo de disco, sistema operacional, etc. Deve ser utilizado um software de monitoramento de transaes ? Que tipo de servidores e sistemas de armazenamento sero usados na central de reservas ? Tipo e numero de processadores, quantidade de memria, nmero e tipo de discos, banco de dados, sistema operacional. Quais tecnologias de rede contemplaro o projeto ? Quais os tamanhos necessrios ? Cuidados com as simpatias pessoais...
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 3 Locadora de Veculos
Ambiente desejado
Lojas de entrega de carros
Loja
Estaes de trabalho dos atendentes

Loja
Estaes de trabalho dos atendentes

Servidor

Servidor

Estaes de trabalho dos agentes de reserva

Central de Reserva de Carros

REDE REMOTA (WAN)

Servidor de BD

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 3 Locadora de Veculos
A Central de Reservas lida com 2 tipos de transaes : Reservas e Pedidos de Assistncia Tempo mdio no deve exceder a 2 e 3 segundos Nas lojas, as 2 transaes no devem exceder 3 segundos Com base na distribuio abaixo, identifique os componentes na estrutura :
Desmembramento do tempo de resposta para transaes de reserva enviadas pelas lojas

Componente do tempo de resposta Estao de trabalho do cliente nas lojas de aluguel de carro LAN nas lojas de aluguel de carros Servidor de aplicao na loja de aluguel de carros Rede Remota LAN na central de reservas Servidor de banco de dados na central de reservas

Porcentagem do total (%) 5 5 25 10 4 51

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 3 Locadora de Veculos
Distribuio do tempo de resposta por recurso na transao
Lojas de entrega de carros

5%
Estaes de trabalho dos atendentes

Loja

Loja

5%
Servidor 25%

Estaes de trabalho dos atendentes

Servidor

Estaes de trabalho dos agentes de reserva

Central de Reserva de Carros

4%

51%
Servidor de BD

10%

GARGALO REDE o componente REMOTA onde a transao (WAN) gasta a maior parte do seu tempo.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

GARGALO o componente onde a transao gasta a maior parte do seu tempo. As melhorias no tempo de resposta so limitadas pelo tempo gasto no gargalo.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 3 Locadora de Veculos
O aumento no tempo de resposta no linear com o aumento de carga Quando qualquer dos nveis de servio for violado diz-se que a capacidade do sistema atingiu o ponto de Saturao. Ao identificar que haver saturao, deve-se justificar em que componente ela ocorre e que ao deve ser tomada
Tempos de resposta(s) para diversos valores de carga

Transao Reserva na loja Assistncia na estrada Entrega de carro Reserva por telefone

Carga atual 1,28 0,64 0,64 0,85

Carga Carga Carga atual + 5% atual + 10% atual + 15% 1,67 2,45 5,06 0,87 1,37 3,20 0,76 0,94 1,23 1,16 1,82 4,24

Carga = taxa mdia de chegada da transao em tps (transaes p/segundo)

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Tempo de resposta Versus Carga
6,00
Tempo de Resposta (s)

5,00 4,00 3,00 2,00 1,00 0,00 Carga atual Reserva na loja Carga atual + 5% Assistncia na estrada Carga atual + 10% Entrega de carro Carga atual + 15% Reserva por telefone
Carga (tps)

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Conceito de Planejamento de Capacidade
Processo de prever quando os nveis futuros de carga saturaro o sistema e determinar o modo mais econmico de adiar a saturao do sistema ao mximo possvel A previso precisa considerar a evoluo da carga de trabalho, devido s aplicaes existentes e novas, e os nveis de servios desejados

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

O que pode ocasionar a falta do Planejamento de Capacidade
Indisponibilidade do servio Desempenho abaixo do necessrio para operar Perdas financeiras (Ex. Us$ 6,5 milhes por hora nas transaes em cartes de crdito) Insatisfao dos clientes Atinge a imagem da empresa Demora para recuperao. Os procedimentos de expanso nem sempre so rpidos.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 4 Intranet de uma empresa
60.000 funcionrios, interligados pela intranet, que permite treinamento, rh, despesas de viagem, help desk (atendimento de dvidas) e notcias. Help Desk a principal aplicao 10% dos funcionrios enviam uma requisio ao Help Desk, em mdia, todos os dias. 70% das requisies entre 10 e 12:00 hs e de 14:00 as 16:00 hs. A empresa deseja mudar o SO dos desktops e isso deve dobrar o tempo de resposta. (60.000 x 10% x 70%) = 4.200 requisies durante 4 horas de pico Qual nmero de requisies/segundo atual no pico ? Quais possveis alternativas de upgrade do ambiente ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

QUANDO O DESEMPENHO DA WEB UM PROBLEMA

Estudo de Caso 4 Intranet de uma empresa
60.000 funcionrios, interligados pela intranet, que permite treinamento, rh, despesas de viagem, help desk (atendimento de dvidas) e notcias. Help Desk a principal aplicao 10% dos funcionrios enviam uma requisio ao Help Desk, em mdia, todos os dias. 70% das requisies entre 10 e 12:00 hs e de 14:00 as 16:00 hs. A empresa deseja mudar o SO dos desktops e isso deve dobrar o tempo de resposta. (60.000 x 10% x 70%) = 4.200 requisies durante 4 horas de pico Qual nmero de requisies/segundo atual no pico ?
(4.200 / 4 / 3.600) = 0,29 requisies/segundo

Quais possveis alternativas de upgrade do ambiente ?

Troca de CPU, Incluso de mais CPUs, colocao de mais discos, diviso de carga de trabalho, entre outras.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCEITOS BSICOS DE DESEMPENHO

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCEITOS BSICOS DE DESEMPENHO

Introduo
A Infraestrutura que suporta a Internet se compe de diferentes tipos de hardware : servidores, estaes, dispositivos de armazenamento, Lans, Wans, balanceadores de carga e roteadores. Os vrios tipos de processos de software compartilham esses recursos, gerando filas. Uma requisio na web gasta parte de seu tempo recebendo servios dos recursos e outra parte nestas filas.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCEITOS BSICOS DE DESEMPENHO

Filas e Disputa
A representao a seguir mostra um recurso enfileirando pedidos. O circulo representa um recurso (disco, rede, roteador, processador, etc)

Fila de Espera

Recurso

Ao lado, um exemplo de fila para recursos mltiplos.

Fila de Espera N recursos

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCEITOS BSICOS DE DESEMPENHO

Desmembramento do tempo de resposta
Tempo de Resposta Tempo de Rede Latncia
Tempo de Transmisso

Tempo do Web Site Tempo de Servio CPU Discos LANs Tempo de Fila CPU Discos LANs

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCEITOS BSICOS DE DESEMPENHO

A idia geral do tempo de resposta
Tempo de resposta todo o tempo da transao web. Se compe de tempo de rede e tempo no web site. Tempo de transmisso o total do tempo de transferncia dos bytes trocados entre o navegador e o web site. O tempo gasto por um pedido aguardando para ter acesso a um recurso tempo de espera. Tempo de servio o perodo de tempo durante o qual um pedido est recebendo servio de um recurso. Um mesmo pedido pode visitar um recurso vrias vezes (ex. I/O de disco, acesso a CPU).

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCEITOS BSICOS DE DESEMPENHO

Comparando tempos de Servios por recurso
Discos tempo relativamente alto comparado memria real. Sistemas de armazenamento replicveis. Processadores Grande desempenho, porm elevado nvel de requisio. Redes a composio das diferentes topologias e tecnologias utilizadas iro determinar a flutuao do desempenho (vide quadro seguinte).

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCEITOS BSICOS DE DESEMPENHO

Diferentes Tempos de redes envolvidos
Cliente Roteador 1 Lan 2 : FDDI 100 Mbps Lan 2 : Ethernet 10 Mbps Servidor Web Roteador 2 Lan 3 : Token Ring 16 Mbps

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCEITOS BSICOS DE DESEMPENHO

Medidas de desempenho nos sistemas Web
Tempo de Resposta medida de desempenho de interesse para o usurio. Taxa de Processamento mais interessante aos administradores de sistemas, reflete o nmero de transaes realizadas por unidade de tempo (em servidores web, normalmente HTTPos/s). Disponibilidade reflete a frao de tempo que um site est em operao (manutenes programadas, paradas por falha,etc.). Custo reflete custos envolvidos por unidade de processamento (ex. TPC-C).
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Fatores de impacto no desempenho
Imprevisibilidade no crescimento de determinados recursos. Variao do tamanho (e carga) dos objetos utilizados em diferentes pginas/sites. Existncia de grande nmero de robs de coleta e teste na rede. Seis tpicos a examinar analisando desempenho : contedo, software do servidor, hardware, aplicao, largura de banda da rede e infraestrutura.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Servidores Web
Os servidores so a pea principal no cenrio da Internet. Servidor de web Servidor de transao Servidor proxy Servidor de cache Servidor de gateway sem fio Servidores espelhados Servidores de e-mail
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Elementos de um servidor Web
Servidor HTTP (sesso) TCP (transp) / IP (rede) Sistema Operacional HARDWARE

Contedo : Contedo : - HTML - Grficos HTML - udio Grficos - Vdeo udio - Outros Vdeo Outros

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

De Servidores a Servios
Os usurios no enxergam servidores, e sim servios na Internet Os servios podem ser ativados atravs de um requerimento de um browser, ou mesmo de uma aplicao especfica Um servio pode ser composto de diferentes tarefas executadas em diversos servidores O conjunto de servidores relacionados a um servio estar diretamente relacionado ao desempenho daquele servio.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Percepo do Desempenho (lembrando)
Usurio : Tempo de resposta Rpido ! Gerente : Alta capacidade de processamento e Disponibilidade

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Mais Medies
Tempo de Resposta Taxa de Processamento Disponibilidade Custo Erros por segundo Visitantes por dia Visitantes exclusivos Hits
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Qualidade de Servio
Gargalos de trfego Performance de servidores Largura de banda Conexo entre redes Performance do armazenamento ...

O usurio no enxerga nada disso Ele apenas quer o servio RPIDO E DISPONVEL 7 x 24
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Onde a qualidade est ameaada ?
Obtendo Endereo Conectando Pedido Web Processando Transmitindo Processar Transmisso/Latncia Apanhar Endereo Conectar

Componentes do atraso da Web

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Anatomia de uma transao Web
Usurio Final Clique Tempo de residncia no servidor Navegador Cliente Rede Servidor

Retorno do cache

Dados Exibio

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Gargalos
Medida que o nmero de clientes e servidores aumenta, o desempenho total restrito pelo desempenho de alguns componentes, entre o cliente e servidor. Os componentes que limitam o desempenho do sistema so chamados de Gargalos. Identificar logo o gargalo uma etapa importante da anlise de desempenho.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Estudo de Caso 5 Treinamento On line
Uma indstria de produtos qumicos dissemina imagens de estruturas moleculares via intranet. Cada classe tem 100 funcionrios e 80% esto ativos simultaneamente. Realiza-se uma mdia de 100 transaes por hora, com uma mdia de 5 imagens por transao. Cada imagem tem tamanho mdio de 25.600 bytes. Uma banda de 1 Mb atenderia ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Estudo de Caso 5 Treinamento On line
Uma indstria de produtos qumicos dissemina imagens de estruturas moleculares via intranet. Cada classe tem 100 funcionrios e 80% esto ativos simultaneamente. Realiza-se uma mdia de 100 transaes por hora, com uma mdia de 5 imagens por transao. Cada imagem tem tamanho mdio de 25.600 bytes. Uma banda de 1 Mb atenderia ? No (100 x 0,80) x 100/3600 x (5 x 25.600 x 8) = 2,28 Mbps
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Infra-Estrutura da Web
BACKBONE ltima milha Telefone, DSL, Cabo Casa e Trabalho ISP Caching, Balanceamento de Carga, Gerenciamento de largura de banda Provedores de backbone, Redes de distribuio de contedo, MAEs e NAPs, Proxy de Caching, Satlite

Usurio final

Servidores WEB

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Arquiteturas de Servidor
Servidor Web (http) Servidor de Aplicao Servidor de Banco de Dados Servidor de Streaming ... Servidores especficos (proprietrios/appliances)

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Arquitetura de Servidor Simples

Internet

Roteador

Firewall

Servidor Web

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Arquitetura de Servidores em Mltiplas camadas
REDE 1
Zona Desmilitarizada (DMZ)

REDE 2

REDE 3

REDE 4

Internet

Balanceador de Carga

Servidores Web

Servidores de Aplicao

Servidores de Banco de Dados Ex. Mainframes

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Balanceamento de Carga
Permite escalabilidade progressiva Permitem crescimento horizontal Normalmente menor custo de expanso Disponibilizam redundncia Diminuem percepo de falhas

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Largura de Banda e Latncia
Largura de Banda ou taxa de transferncia : a taxa na qual os dados so transferidos atravs da rede (tamanho do cano !) Latncia ou Retardo : tempo de transferncia do dado (bit), do cliente at o servidor.
Uma lan tpica, dentro de um prdio tem latncia de 1 ms. A latncia aumenta com o maior nmero de pontos a trafegar na web e com a distncia. Quanto mais perto o acesso, menor latncia.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Estudo de Caso 6 Web Site Publicaes
Um web site de publicaes eletrnicas est dimensionando a capacidade do link Com base nos logs de acesso, observou-se que a mdia diria era de 1.000.000 de operaes HTTP por dia. O tamanho mdio de cada foi de 10.000 bytes. Qual largura de banda necessria ? Se durante 2 horas, no horrio de pico o volume dobrar ?
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

ASPECTOS DO DESEMPENHO DE SERVIOS NA WEB

Estudo de Caso 6 Web Site Publicaes
Um web site de publicaes eletrnicas est dimensionando a capacidade do link Com base nos logs de acesso, observou-se que a mdia diria era de 1.000.000 de operaes HTTP por dia. O tamanho mdio de cada foi de 10.000 bytes. Qual largura de banda necessria ? 1.000.000 / (24x60x60) x (10.000x8) = 926 Kbps Se durante 2 horas, no horrio de pico o volume dobrar ? 926 x 2 = 1.852 Kbps (no se dilui o mximo ao longo do dia)
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

segundos do dia tamanho em bits

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Capacidade Adequada
Acordos de nvel de servio (SLA) Tecnologias e padres especificados Restries de custo
por exemplo, tempo de resposta <8s

Clientes

Gerncia

por exemplo, servidor NT, BD Oracle

Capacidade adequada

por exemplo, custo inicial < $ 5,5 milhes custo manuteno < $ 1,6 milho/ano

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Capacidade Adequada
Dizemos que um sistema Web possui capacidade adequada se os SLAs forem continuamente atendidos para uma tecnologia e padres especificados, e se os servios forem fornecidos dentro das restries de custos.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Uma metodologia de planejamento de capacidade
Conhecimento do ambiente
Desenvolvimento de um modelo de custo
Caracterizao da carga de trabalho Validao & Calibragem do modelo de carga de trabalho Previso da carga de trabalho Desenvolvimento do modelo de desempenho/disponibilidade
Modelo de carga de trabalho

Modelo de custo

Previso de Custo

Calibragem do modelo de desempenho/disponibilidade Previso de desempenho & disponibilidade Anlise de custo/ Desempenho & Disponibilidade

Modelo de Desempenho e disponibilidade

Plano de Configurao

Plano de Investimento

Plano de Pessoal

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Conhecimento do Ambiente
Descobrir que tipo de Hardware (cliente e servidores), Software (sistemas operacionais, aplicaes e interfaces), conectividade de rede e protocolos de rede esto presentes no ambiente. Identificar perodos de pico de uso, estruturas de gerenciamento e SLAs. Se realizar atravs de reunies com usurios, auditorias, questionrios, help-desk, documentos de planejamento, entrevistas e demais tcnicas de levantamento.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Elementos do Conhecimento do Ambiente
Elemento Plataforma do Cliente Plataforma do Servidor Middleware SGBD Servios/Aplicaes Conectividade de rede Descrio Quantidade e tipo Quantidade, tipo, configurao e funo Tipo (por exemplo, monitores de TP) Tipos Principais servios na Web e aplicaes aceitos Diagrama de conectividade da rede, mostrando todas as LANs, WANs, tecnologias de rede, roteadores, servidores, balanceadores de carga, firewalls e nmero de clientes por segmento de LAN Protocolos de rede Lista de protocolos utilizados Padres de uso Perodos de pico (por exemplo, hora do dia, dia da semana, semana do ms, ms do ano) Acordos de nvel de servio SLAs existentes para servios na Web (quando no existirem SLAs formais, os padres do setor podem ser usados) Gerncia e suporte da LAN Estrutura de suporte da gerncia da LAN, tamanho, habilidade e atendimento aos usurios Procedimentos de aquisio Elementos do processo de aquisio, mecanismos de justificativa para aquisies, limites de gastos, mecanismos de autorizao e durao do ciclo de aquisio.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Carga de Trabalho
Descrever com preciso a carga de trabalho global do sistema, em termos de seus componentes principais. Os componentes principais se decompe em componentes bsicos, que se caracterizam pela intensidade da carga (IC) ou demanda de servio (DS).
Carga de Trabalho Global
Componente 1 da carga de trabalho (por exemplo, transaes C/S)
Componente bsico 1.1 (por exemplo, Transaes de pessoal) Componente bsico 1.m (por exemplo, Transaes de vendas)

Componente N da carga de trabalho (por exemplo, acesso Web)

Componente bsico n.1 (por exemplo, Treinamento corporativo) Componente bsico n.k (por exemplo, Uso de motores de busca)

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Exemplos de componentes de carga de trabalho
Componente bsico e parmetros Transao de Vendas Nmero de transaes enviadas por cliente Nmero de clientes Nmero total de I/Os ao BD de vendas Utilizao de CPU no servidor de BD Tamanho mdio da mensagem enviada/recebida pelo servidor de BD Treinamento Baseado na Web Nmero mdio de sesses de treinamento/dia Tamanho mdio do arquivo de vdeo por sesso Tamanho mdio dos documentos HTTP obtidos Tamanho mdio dos arquivos de imagem obtidos/sesso Nmero mdio de documentos obtidos/sesso Utilizao mdia de CPU do servidor Web Processamento de Correio Nmero de mensagens recebidas por dia por cliente Nmero de mensagens enviadas por dia por cliente Nmero de clientes Tamanho mdio da mensagem Utilizao de CPU pelo Mail Server Tipo de parmetro IC IC DS DS DS IC DS DS DS DS DS IC IC IC DS DS

IC = Intensidade de carga

DS = Demanda de servio

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Validando modelos de carga de trabalho
Ao construir um modelo so feitas abstraes. Deve-se realizar uma execuo de carga de trabalho sinttica, que permita identificar se o modelo est com distoro aceitvel. Caso a margem no esteja de 10 a 30% devese submeter o modelo a um ajuste (ou calibragem) visando a validao do modelo.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Modelos de Desempenho
A previso do desempenho o processo de estimar as medies de desempenho de um sistema de computador para determinado conjunto de parmetros :
Parmetros do sistema : Caractersticas que impactam no desempenho (balanceamento de carga, protocolos, numero de conexes simultaneas, capacidades do BD) Parmetros do recurso : Caracteristicas prprias do recurso, que afetam o desempenho (tempo de disco, latncia de rede, performance de CPU) Parmetros da carga de trabalho
IC (Intensidade da Carga) carga imposta em unidades de trabalho que disputam recursos do sistema DS (Demanda de servio) tempo de servio exigido por cada componente em cada recurso.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Modelos de Desempenho
A previso do desempenho exige o uso de modelos, que podem ser :
Simulao : programas de computador que imitam o comportamento de um sistema medida que as transaes fluem pelos diversos recursos simulados. Analtico : conjunto de frmulas e/ou algoritmos de clculo usados para gerar medies de desempenho a partir de parmetros do modelo.

medida que mais elementos do modelo so representados com maiores detalhes, a preciso do modelo aumenta.
Modelo aproximado : Pouco esforo na coleta de dados Baixa Preciso Preciso do modelo de desempenho Modelo detalhado : grande esforo na coleta de dados Alta Preciso

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Estudo de Caso 7 Preciso de Modelos de Desempenho Qual dos 2 apresenta maior preciso ?
Rede de Filas de alto nvel Rede de Filas detalhada
Servidor Web Corporativo

Discos Servidor Web Corporativo Internet Servidor de E-mail Internet Servidor de e-mail

CPUs

Discos

CPUs

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Validando um Modelo de Desempenho
Um modelo ser vlido se as medies apresentadas pelo modelo se aproximarem das medies realizadas em tempo real.
Sistema Real Modelo de desempenho

Medies
Valores MEDIDOS para tempos de respostas, taxa de processamento, utilizaes, etc.

Clculos
Valores CALCULADOS para tempos de respostas, taxa de processamento, utilizaes, etc.
Aceitvel ?

Calibragem do modelo

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Modelo de Disponibilidade
Os modelos de disponibilidade oferecem um meio de previso da disponibilidade de um servio na Web, com base na configurao de infra-estrutura utilizada e considerando a confiabilidade intrnseca dos componentes utilizados.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Modelo de Custo
Uma metodologia de planejamento de capacidade deve sempre considerar as principais origens do custo. Ao analisar os custos envolvidos em servios Web, deve-se considerar tambm a possibilidade de aumento de trfego em canais existentes, como suporte telefnico. Custos iniciais sero provenientes da montagem inicial da estrutura. Custos operacionais esto associados a manuteno e ampliao da base de hardware, software, links de comunicao, pessoal, treinamento, consultoria e outros. As medies de custo relativas se do em moeda por alguma medida de capacidade do sistema (ex. reais por navegao por minuto, dlares/consulta/segundo.)
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

PLANEJANDO A CAPACIDADE DOS SERVIOS NA WEB

Anlise de Custo/Desempenho
Os modelos de custos e desempenho podem ser usados para avaliar diversos cenrios e configuraes :
Deveramos espelhar o web site para balancear a carga, reduzir o trfego na rede e melhorar o desempenho ? Deveramos substituir os servidores web existentes por outros mais rpidos ? Deveramos usar uma rede de distribuio de contedo para oferecer imagens ? Deveramos usar servios de hospedagem de terceiros ?

Para cada cenrio, podemos prever qual ser o desempenho de cada componente bsico da carga de trabalho global e quais so os custos para o cenrio.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

INTRODUO
A melhor maneira de estudar desempenho executar a carga de trabalho real e medir os resultados. Benchmarking o principal mtodo para medir o desempenho de uma mquina fsica real. a execuo de um conjunto de programas representativos em diferentes computadores e redes, medindo seus resultados.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

NATUREZA DOS BENCHMARKS
Tempo e Velocidade so as medidas bsicas de desempenho.
O que um determinado benchmark est realmente testando ? At que ponto o benchmark semelhante carga de trabalho do ambiente do usurio ? O que o benchmark est realmente medindo ?

Benchmarks so boas ferramentas para comparao de sistemas, ao invs de ferramentas precisas para dimensionar ou planejar a capacidade de determinado servio.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

HIERARQUIA DE BENCHMARKS
Dividem-se em 2 categorias :
Granularidade grande (ex. Medio de ecommerce) Benchmarks detalhados (ex. Velocidade de CPU)

Hierarquias :
Operaes Bsicas (+ - x / ) Benchmark de brinquedo (hani, etc) Kernels (operaes de cpu, parte de cdigo real) Programas reais (pacotes de benchmark SPEC e TPC)
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

HIERARQUIA DE BENCHMARKS

Programas reais

Kernels

Benchmark de brinquedo

Operaes bsicas

Sistemas de computador

Medies de Desempenho

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

BENCHMARKS COMUNS
Grupos de usurios e pesquisas na web so boas fontes de informao atualizadas sobre vrios tipos de benchmarks Para ser til, um benchmark precisa ser :
Relevante : oferea medidas de desempenho significativas no domnio de problema especfico Inteligvel : simples e fceis de entender Escalvel : aplicveis a grande variedade de sistemas, em custo, desempenho e configurao Aceitvel : resultados imparciais, reconhecidos por usurios e fornecedores.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

SPEC (www.spec.org)
SYSTEM PERFORMANCE EVALUATION CORPORATION Organizao de fornecedores da indstria de informtica, que desenvolve testes de desempenho padronizados (benchmarks) e publica resultados das anlises.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

Membros (SPEC)
3DLabs * Advanced Micro Devices * Apple Computer, Inc. * ATI Research * Azul Systems, Inc. * BEA Systems * Borland * Bull S.A. * Dell * EMC * Exanet * Freescale Semiconductor, Inc. * Fujitsu Limited * Fujitsu Siemens * Hewlett-Packard * Hitachi Data Systems * Hitachi Ltd. * IBM * Intel * ION Computer Systems * Johnson & Johnson * Microsoft * Mirapoint * NEC - Japan * Network Appliance * Novell * NVIDIA * Openwave Systems * Oracle * Panasas * PathScale * The Portland Group * S3 Graphics Co., Ltd. * SAP AG * ServerWorks * SGI * Sun Microsystems * Super Micro Computer, Inc. * Sybase * Unisys * Verisign * Veritas Software * Zeus Technology *
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC (www.tpc.org)
TRANSACTION PROCESSING PERFORMANCE COUNCIL Corporao no-lucrativa, fundada para definir benchmarks de processamento de transaes, banco de dados e comrcio eletrnico.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

BENCHMARK DE CPU SPEC

Projetado para medies de desempenho com cargas, em diferentes sistemas SPECxxxx, onde xxxx = gerao 2 pacotes : int (calculos c/inteiros) e fp (ponto flutuante) Concentra-se em desempenho do processador e arquitetura de memria.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

CARGA DE TRABALHO P/SPECint

Compactao Roteamento de circuito FPGA (Field Programmable Gate Array( Compilador C Otimizao combinatria Jogo : xadrez Processamento de textos Visualizao do computador Linguagem PERL Teoria de grupo, interpretador Banco de dados orientado a objeto Compactao Simulador de lugar e rota
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ESTUDO DE CASO 7 : USANDO SPECint
Um fornecedor anuncia um novo servidor web com processador e memria mais eficiente Afirma que com o novo servidor teremos melhora de 60% na performance Avaliando os resultados SPECint publicados, temos respectivamente 363 e 489 SPECint para o antigo e novo servidor Qual o ganho de performance SPECint ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ESTUDO DE CASO 7 : USANDO SPECint
Um fornecedor anuncia um novo servidor web com processador e memria mais eficiente Afirma que com o novo servidor teremos melhora de 60% na performance Avaliando os resultados SPECint publicados, temos respectivamente 363 e 489 SPECint para o antigo e novo servidor Qual o ganho de performance SPECint ? 489 / 363 = 1,35 ou 35%

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

BENCHMARKS DE SERVIDORES WEB
3 mais utilizados :
Webstone SPEC-Web SURGE (Scalable URL Reference Generator)

Simulam clientes web. Geram requisies ao servidor de acordo com carga de trabalho especificada, recebem respostas e coletam as medies Importante lembrar que os benchmarks web apresentados utilizam ambiente de rede interna, diferente do mundo real na internet
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

SPECWEB99
Projetado para medir capacidade de um sistema de atuar como servidor Web Mede o nmero mximo de conexes simultneas Carga de trabalho padro inclui HTML esttica e dinmica, e suporte para HTTP 1.1 Para Unix ou NT Executa em vrios clientes enviando requisies http e armazenando respostas Consolida respostas em cliente principal
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

SPECWEB99 Carga de Trabalho
Distribuio de requisies da carga Requisio % GET esttico 70,00 GET dinmico padro 12,45 GET dinmico padro (CGI) 0,15 GET dinmico personalizado 12,60 POST dinmico 4,80

Tamanho de arquivo por classe e frequencia Classe Tam.Arquivo (KB) % de acesso 0 0-1 35 1 1-10 50 2 10-100 14 3 100-1.000 1
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ESTUDO DE CASO 8 EMPRESA DE MDIA
Empresa de mdia planeja reformular portal Administrador do sistema pretende utilizar SPECweb para estimar sistema que atenda carga inicial prevista Imagina-se como nmero de usurios simultaneos 10.000 Cada usurio (cliente) oscila entre 2 estados : apresentando resultados (pensando) e esperando pela resposta (execuo da requisio) Aceitaram 4 segundos como tempo de resposta e 3 segundos como tempo de reflexo QUAL TAXA DE PROCESSAMENTO REQUERIDA ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ESTUDO DE CASO 8 EMPRESA DE MDIA
Empresa de mdia planeja reformular portal Administrador do sistema pretende utilizar SPECweb para estimar sistema que atenda carga inicial prevista Imagina-se como nmero de usurios simultaneos 10.000 Cada usurio (cliente) oscila entre 2 estados : apresentando resultados (pensando) e esperando pela resposta (execuo da requisio) Aceitaram 4 segundos como tempo de resposta e 3 segundos como tempo de reflexo QUAL TAXA DE PROCESSAMENTO REQUERIDA ?
Taxa de Processamento = Clientes Simultaneos / (Tempo Resposta + Tempo de Reflexo) Taxa de Processamento = 10.000 / (4 + 3) = 1.429 reqs./segundo
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ESTUDO DE CASO 9 EMPRESA DE MDIA (2) Agora deseja-se estimar o nmero mdio de conexes simultneas geradas pelos 10.000 clientes simultneos. Considera-se que o tempo de resposta = tempo de rede + tempo no website.
Estima-se o tempo de rede em 1,2s. O tempo de website no deve ultrapassar 2,8 (4 1,2).

Qual o nmero mdio de conexes simultneas?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ESTUDO DE CASO 9 EMPRESA DE MDIA (2) Agora deseja-se estimar o nmero mdio de conexes simultneas geradas pelos 10.000 clientes simultneos. Considera-se que o tempo de resposta = tempo de rede + tempo no website.
Estima-se o tempo de rede em 1,2s. O tempo de website no deve ultrapassar 2,8 (4 1,2).

Qual o nmero mdio de conexes simultneas?

Conexes Simultneas = Requisies por Segundo x (Tempo de Resposta Tempo de Rede) 1.429 x (4 1,2) = 1.429 x 2,8 = 4.001
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ANALISANDO O ESTUDO DE CASO Examinando os resultados do benchmark SPECweb, pode-se encontrar um sistema que atenda aos requisitos de carga, ou seja :
Nmero de conexes maior que 4.001 Taxa de Processamento maior que 1.429 requisies por segundo

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

WEBSTONE
Benchmark Cliente-Servidor configurvel para HTTP. Usa parmetros de carga e processa clientes, gerando trfego HTTP. Projetado para medir a taxa de processamento mxima do servidor e o tempo de resposta mdio para conexo com o servidor. Um processo mestre gera uma srie de processos cliente, que geram as requisies HTTP. Ao trmino, o processo mestre consolida as informaes de resumo de desempenho.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

WEBSTONE Carga de Trabalho
4 Conjuntos de cargas sintticas modelam as cargas de trabalhos reais. Parametros so :
Nmero de clientes que solicitam pginas : A velocidade de solicitao de pginas no tempo que o servidor retorna (tempo de pensar = zero). Tipo de Pgina : tamanho de arquivo e frequncia de acesso. Composio que indica probabilidade de acesso. Nmero de pginas disponveis no servidor teste Nmero de mquinas cliente.

Principais resultados : Taxa de processamento e latncia

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

WEBSTONE Resultados Tpicos
Mtrica Nmero Webstone Nmero total de clientes Nmero total de pginas recuperadas do servidor Nmero total de erros Nmero total de conexes com o servidor Tempo mdio por conexo (s) Tempo mximo por conexo (s) Quantidade total de bytes movidos Taxa de processamento mdio (bytes/s) Tempo mdio de resposta (s) Tempo mximo de resposta (s) Valor 456 24 4.567 0 12.099 0,0039 0,0370 129.108.600 215.181 1,181 18,488

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

SURGE
Um componente-chave de benchmark a carga de trabalho. 2 tcnicas so utilizadas :
carga de trabalho real (amostragem) modelos matemticos para representar caractersticas de carga

SURGE se baseia nas 2 tcnicas Um usurio definido como um processo em loop que alterna entre fazer requisio HTTP e permanecer ocioso.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

SURGE (Caractersticas da carga de trabalho)
Tamanhos de arquivo : distribuio de tamanho da coleo de arquivos armazenados no servidor Tamanhos de requisio : podem ser diferentes dos tamanhos de arquivo, devido diferente popularidade Popularidade : distribuio das requisies baseadas em cada arquivo Referncias embutidas : um objeto web normalmente composto por diversos outros Localidade Temporal : probabilidade de novo acesso a um determinado objeto acessado anteriormente Tempos OFF : tempos ociosos, entre requisies. Pensar do usurio e anlise e formatao do browser.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

BENCHMARKS DO SISTEMA
Medem o sistema inteiro : processador, I/O, redes, banco de dados, compilador, sistema operacional Exemplo : Famlia TPC TPC divide-se em :
TPC-C : OLTP (on line transaction processing) TPC-W : E-commerce TPC-H e TPC-R : simulam um sistema de suporte deciso com grandes volumes de dados, sincronizado com bancos de dados de produo on-line. Utilizam consultas aleatrias, altamente complexas, projetadas para responder a algumas questes de negcios do mundo real, incluindo perguntas sobre preos e promoes, oferta e demanda, lucro e receita e participao de mercado.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC-C
Benchmark padro do setor de processamento de transao on-line Modela uma aplicao que gerencia requisies para um fornecedor de atacado Carga de trabalho divide-se em :
Nova requisio (45%) Pagamento (43%) Remessa (4%) Estado da Requisio (4%) Nvel de estoque (4%)

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

Exemplo de Resultados do TPC-C
Informao do Sistema Empresa Sistema Processadores Armazenamento total SGBD Sistema operacional Monitor de Transao Custo total do sistema Taxa de processamento do TPC-C (tpmC) Preo/desempenho Resultado X Y 4 2,61 Terabytes Microsoft SQL Windows NT Microsoft COM + US$ 445.747 34.600 $ 12,89

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC-C

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC-C

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ESTUDO DE CASO 10 Companhia de Seguros Um gestor de TI de uma cia. de seguros quer fazer upgrade no software de banco de dados, visando atingir melhoria de performance de 30%. Buscanco nos benchmark TPC encontra que as taxas TPC-C dos softwares novo e antigo so, respectivamente 30.000 e 36.000. Haver ganho desejado de 30% na migrao ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

ESTUDO DE CASO 10 Companhia de Seguros Um gestor de TI de uma cia. de seguros quer fazer upgrade no software de banco de dados, visando atingir melhoria de performance de 30%. Buscanco nos benchmark TPC encontra que as taxas TPC-C dos softwares novo e antigo so, respectivamente 30.000 e 36.000. Haver ganho desejado de 30% na migrao ?
Percentual melhoria = Taxa novo software / taxa software antigo 30.000 / 36.000 = 1,2 ou seja 20% de melhoria
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC-W
Trata da avaliao de sites que oferecem suporte a atividades de e-business Modelo de uma loja que vende produtos e servios pela internet A mtrica de performance expressa em Interaes da Web por segundo (WIPS Web interactions per second) Nmero de itens no catalogo define escala: 10.000, 100.000, 1.000.000 e 10.000.000 itens.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC-W
Classifica as interaes web em 2 categorias :
Navegar (navegao e pesquisa) : home, navegar, selecionar, detalhe do produto e pesquisar. Pedir (pedido de produto) : carrinho, login, pedido de compra, confirmao de compra, pesquisa de pedido e exibio de pedido.

Especifica 3 diferentes perfis de sesso :

Mistura de navegao : 95 % Navegar e 5% Pedir Mistura de compra : 80% Navegar e 20% Pedir Mistura de requisio : 50% Navegar e 50% Pedir

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

Resultados do TPC-W
Informao do Sistema Resultado Empresa X Sistema Y Escala 10.000 Processadores 4 SGBD Microsoft SQL Sistema operacional Windows NT Servidor HTTP Microsoft IIS Balanceador de Carga MS Windows DNS Server Motor de busca MS SQL Server FT Search Custo total do sistema US$ 211.214 Desempenho do TPC-W 3.130 Preo/desempenho US$ 67,50

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC-W (Resultados)
Existem 2 tipos de mtricas de desempenho
Mtrica de Taxa de Processamento
WIPS : nmero mdio de interaes web por segundo em sesses do tipo Compra. wips@scale_factor (onde fator de escala o nmero de itens no catlogo) WIPSb : nmero mdio de interaes nas sesses do tipo Navegar. WIPSo : nmero mdio de interaes nas sesses do tipo Pedir.

Mtrica de custo/taxa de processamento ($Wips) : Razo entre o Custo total do sistema em teste e o nmero de wips medido durante um intervalo de compra.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC-W

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TPC-W

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TESTE DE DESEMPENHO
Finalidade principal : entender o desempenho do servio sob condies de determinada carga de trabalho Podem ser usados em todos estgios de desenvolvimento de servios web, antes de entrar em operao Chave simular o ambiente de produo e cenrios de carga de trabalho, o mais prximo do mundo real.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO

TIPOS DE TESTES DE DESEMPENHO
Teste de CARGA : cria-se uma carga de trabalho simulada, imitando a operao normal estimada Teste de ESFORO : focaliza os cenrios do pior caso e utiliza uma carga mais pesada do que o esperado Teste de PICO : teste sob condies muito especficas, quando a carga muitas vezes maior que a mdia.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos DE DESEMPENHO do teste
Entender o ambiente Especificar o plano de teste Definir a carga de Trabalho do teste Configurar o ambiente de teste Executar os testes Analisar os resultados do teste

Definir objetivos do teste : Grande influncia em custos e esforo no projeto de teste. Exemplos : Determinar capacidade do servidor web Descobrir nmero mximo de usurios simultneos em um servio web aceita Determinar a capacidade da aplicao Identificar engarrafamentos na infra-estrutura Identificar impacto da rede sobre tempo percebido pelo usurio final Descobrir capacidade do servidor de BD Identificar as funes Web mais caras

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos DE DESEMPENHO do teste
Entender o ambiente Especificar o plano de teste Definir a carga de Trabalho do teste Configurar o ambiente de teste Executar os testes Analisar os resultados do teste
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

Entender o ambiente : Descobrir o que compe o cenrio : Tipo de infra-estrutura (servidores e servios de terceiros) Software (sistema operacional middleware e aplicaes) Conectividade de rede e protocolos esto presentes no ambiente Perodos de picos e SLAs Entender a natureza da carga de trabalho e dos servios oferecidos pelo sistema em teste

BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos DE DESEMPENHO do teste
Entender o ambiente Especificar o plano de teste Definir a carga de Trabalho do teste Configurar o ambiente de teste Executar os testes Analisar os resultados do teste

Especificar o plano de teste : Identificar quais servios na Web e funes devem ser testadas. Deve conter : Expectativas da equipe Cenrios de carga de trabalho (otimista, pessimista) Verificao de SLA Garantir o uso da mesma infra-estrutura do ambiente de produo Determinar como as variveis de entrada so controladas ou alteradas Determinar o grau desejado de confiana nas medies

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos DE DESEMPENHO do teste
Entender o ambiente Especificar o plano de teste Definir a carga de Trabalho do teste Configurar o ambiente de teste Executar os testes Analisar os resultados do teste

Especificando a carga de trabalho do teste : planejar um cenrio de aplicao que sejam tpicas do servio na web. Ex. Comportamento dos usurios. Gerao de scripts com perfis diferentes por grupo Compradores ocasionais e frequentes O primeiro grupo representa clientes que usam lojas web para pesquisa de novos produtos e tarifas, mas na maioria das vezes no compram pela web O segundo grupo com clientes com grande probabilidade de comprar se achar produto que lhes interesse.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos DE DESEMPENHO do teste
Entender o ambiente Especificar o plano de teste Definir a carga de Trabalho do teste Configurar o ambiente de teste Executar os testes Analisar os resultados do teste

Configurar o ambiente de teste : uma instalao de teste foi disponibilizada, para permitir a execuo dos testes, antes da distribuio. Uma ferramenta de teste de esforo foi selecionada para permitir a simulao de usurios. Entre os requisitos para teste do sistema preciso verificar o seguinte : Licena do fornecedor de teste de carga para o nmero de usuarios simultaneos a serem testados Ferramentas de monitorao de desempenho para servidores web, servidores de aplicao, sistema de banco de dados e redes.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos DE DESEMPENHO do teste
Entender o ambiente Especificar o plano de teste Definir a carga de Trabalho do teste Configurar o ambiente de teste Executar os testes Analisar os resultados do teste
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

Executar os testes : Executar o plano de teste especificado Submeter os scripts de teste pr-definidos Ajustar os testes com base nos resultados da ltima rodada de testes realizados (calibragem do teste)

BENCHMARKS E TESTES DE DESEMPENHO METODOLOGIA PARA O TESTE Definir objetivos DE DESEMPENHO do teste
Entender o ambiente Especificar o plano de teste Definir a carga de Trabalho do teste Configurar o ambiente de teste Executar os testes Analisar os resultados do teste
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

Analisar os resultados do teste : Examinar tendncias versus objetivo do teste Relacionar medies de desempenho Desenvolver recomendaes gerncia Avaliar tempos de respostas, buscando identificar problemas de desempenho especficos

DISPONIBILIDADE DOS SERVIOS NA WEB

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

INTRODUO
A instalao de servios na web tem se tornado rotina e muitas vezes realiza-se em tempo abaixo do necessrio. A grande agilidade de implantao pode levar os projetos a serem executados sem todos os cuidados e testes necessrios, levando a vulnerabilidades no desempenho, segurana e disponibilidade do site. Vrios so os motivos que levam sites a se tornarem indisponveis, incluindo falhas de hardware e software, conectividade de redes e at mesmo ataques de negao de servio (Dos Denial of Service) ou DDos.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

PORQUE E COMO OS SISTEMAS FALHAM Existem muitos motivos para um sistema de computador falhar importante categorizar os diferentes tipos de falhas Analisaremos as falhas sob as seguintes dimenses : Durao Efeito Escopo
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

DURAO DA FALHA
Falhas Permanentes : Sistema que falha sem possibilidade de reparos. Ex. Aeronave no tripulada Falhas Recuperveis : Existe a possibilidade de reativao, aps recuperao da falha. Ex. site que sai do ar por conta do link. Falhas Transientes : Caracterizadas por ter durao curta e no exigir grande reparo. Ex. Roteadores ou servidores que retornam ao ser reinicializados.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

EFEITO DA FALHA
Falhas Funcionais : Sistema que no opera de acordo suas especificaes. Ex. Livraria on-line, que no apresenta descrio de um livro. Falhas de desempenho : Ainda que o sistema execute suas funes, no so executadas a tempo. Ex. site de busca que detalha demasiadamente uma pesquisa, retornando alguns minutos depois.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

ESCOPO DA FALHA
Falha Parcial : Alguns servios oferecidos se tornam indisponveis, enquanto outros ainda podem ser usados. Falha Total : Rompimento total de todos os servios oferecidos pelo sistema. Interrupes de energia poderiam fazer um web site ficar completamente parado.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

CONFIABILIDADE E DISPONIBILIDADE
Confiabilidade : a probabilidade de que o sistema esteja funcionando correta e constantemente por um perodo de tempo determinado. Disponibilidade : Baseia-se na noo de que um componente (ou sistema) alterna por perodos em que est operacional (ou perodos ativos) e perodos em que est parado (ou perodo inativo).
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

TEMPOS E FALHAS
MTTF Mean Time to Failure (Tempo mdio para falha) MTTR Mean Time to Recover (Tempo mdio p/recuperao) MTBF Mean Time Between Failures (Tempo mdio entre falhas)

MTTF ativo

MTTR inativo MTBF

Falha n Falha n +1

ativo

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

9s NA DISPONIBILIDADE
Os sistemas se classificam baseados no nmero de 9s que apresentam como disponibilidade :
Classe de Indisponvel disponibilidade Disponibilidade (min/ano) Tipo de Sistema 1 90,0% 52.560 No controlado 2 99,0% 5.256 Controlado 3 99,9% 526 Bem controlado 4 99,99% 52,6 Tolerante a falhas 5 99,999% 5,3 Altamente disponvel 6 99,9999% 0,53 Muito altamente disponvel 7 99,99999% 0,053 Ultradisponvel

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

MELHORANDO OS TEMPOS
Existem duas maneiras de melhorar a disponibilidade :
Reduzindo a frequncia de falhas (+MTTF) Reduzindo o tempo de recuperao (- MTTR)
Tempo para detectar a falha Tempo para diagnosticar a causa da falha Tempo para determinar possveis solues Tempo para corrigir o problema (Log - Histrico de recuperaes passadas auxiliam na diminuio do MTTR)
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

ESTUDO DE CASO : WEB SRV (APP + BD)
Considere um web site composto de dois servidores web : um de aplicao e um de banco de dados Supondo que os dados histricos mostrem que o servidor de aplicao reinicializado a cada 20 dias em mdia, ficando por um perodo de 10 minutos indisponvel. Qual a disponibilidade do servidor de aplicao ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

ESTUDO DE CASO : WEB SRV (APP + BD)
Considere um web site composto de dois servidores web : um de aplicao e um de banco de dados Supondo que os dados histricos mostrem que o servidor de aplicao reinicializado a cada 20 dias em mdia, ficando por um perodo de 10 minutos indisponvel. Qual a disponibilidade do servidor de aplicao ?
MTTF = 20x24x60 = 28.800 Disponibilidade = MTTF / ( MTTF + MTTR) Disponibilidade = 28.800 / ( 28.800 + 10) = 0,99965
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

CONFIABILIDADE E DISPONIBILIDADE (II)
Confiabilidade : a probabilidade de que o sistema esteja funcionando correta e constantemente por um perodo de tempo determinado. Disponibilidade : Baseia-se na noo de que um componente (ou sistema) alterna por perodos em que est operacional (ou perodos ativos) e perodos em que est parado (ou perodo inativo).

Quando a operao de determinado sistema exige que o perodo de tempo com bom funcionamento aproxime-se de infinito, a confiabilidade torna-se disponibilidade.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

CONFIABILIDADE EM SISTEMAS DE COMPONENTES Um sistema baseado em componentes apresentar a confiabilidade produto de seus itens Ex : um web site composto por :
Servidor Web : 0,9 Servidor de aplicao : 0,95 Servidor de banco de dados : 0,99

0,9 x 0,95 x 0,99 = 0,84645 A probabilidade de um evento expresso como a interseo dos eventos independentes o produto das probabilidades dos eventos independentes (teoria da probabilidade)
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

ESTUDO DE CASO : Aumentando Disponibilidade Considerando o exemplo anterior, determine o aumento da disponibilidade no site melhorando 0,05 no componente de maior impacto na disponibilidade geral Lembrando : 0,9 x 0,95 x 0,99 = 0,84645
Servidor Web : 0,9 Servidor de aplicao : 0,95 Servidor de banco de dados : 0,99

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

ESTUDO DE CASO : Aumentando Disponibilidade Considerando o exemplo anterior, determine o aumento da disponibilidade no site melhorando 0,05 no componente de maior impacto na disponibilidade geral Lembrando : 0,9 x 0,95 x 0,99 = 0,84645
Servidor Web : 0,9 Servidor de aplicao : 0,95 Servidor de banco de dados : 0,99

SERVIDOR WEB PASSA PARA 0,95 0,95 x 0,95 x 0,99 = 0,89348

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

REDUNDANDO COMPONENTES
A medida que mais componentes so acrescentados ao sistema, mais cai a confiabilidade total do sistema O uso de componentes em paralelo uma das formas mais comuns de usar a redundncia para melhorar a confiabilidade

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

ESTUDO DE CASO : SIMULANDO AMBIENTE

Basic Data Number Load Balancer Web server DB Server Site Avail. Reliability 1 0,9999 0,999900 5 0,85 0,999924 2 0,99 0,999900 0,999724

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

DISPONIBILIDADE DOS SERVIOS NA WEB

DESEMPENHO E DISPONIBILIDADE
O desempenho, medido como tempo de resposta, est bastante relacionado disponibilidade Sistemas que utilizem vrios servidores distribuindo carga para aumentar a disponibilidade afetaro no desempenho, a medida que parte dos recursos se tornem indisponveis.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
INTRODUO
A Medio de desempenho um aspecto fundamental no processo de garantia dos SLAs Medindo desempenho reune-se dados para anlise e modelagem de desempenho Ao iniciar a medio, refletir :
Quais fontes dos dados de desempenho ? Quais ferramentas disponveis ? Quais tcnicas para clculo dos parmetros de entrada do modelo ?
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
ESTRUTURA DE MEDIO DE DESEMPENHO

A estrutura dever oferecer uma srie de dados de medio, exigidos pelas 3 funes de gerenciamento de desempenho :
Deteco de problemas operacionais Ajuste de desempenho Planejamento de capacidade

Observar :
Medio de Infraestrutura (partes) Medio de Aplicao (todo o ciclo)
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
ARQUITETURA DE MEDIO
Banco de dados Servidor Web

Internet
Rede Corporativa

E D

Infra-estrutura de servio na web

Backbone

H ISPs
Usurio Usurio Backbone Usurio

B A

Aplicao

A e B = medies percebidas pelos usurios D = Inspeo de trfego na rede E = S.O. medindo performance dos servidores F = API monitorando tempo de resposta da Aplicao G = Anlise de todo fluxo da rede H = Wan

Ponto de teste Local onde a medio realizada Agente de Medio Quem realiza a medio ou coleta de dados. Pode ser ativo ou passivo.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
PROCESSO DE MEDIO
Quais recursos mais usados em um sistema ? Qual a largura de banda usada na rede ? Que tempo consumiu a CPU das estaes clientes ? Qual tempo mdio de uma transao, de ponta a ponta ? Quanto tempo o servidor de e-mail consome diariamente ? Quanto da largura de banda da rede est sendo consumida por acesso a internet ?

MEDIO :
OBSERVAR A OPERAO DE UM SISTEMA POR UM PERODO DE TEMPO, REGISTRANDO VARIVEIS RELEVANTES
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
REPRESENTAO DO PROCESSO DE MEDIO
Especificar Medies

Especificar pontos de teste

Instrumentar e coletar dados Analisar e transformar dados

Especificar Medies : Decidir sobre as variveis a serem medidas. Exemplo 1 : Rede Ethernet. Medies de pacotes e colises por segundo Exemplo 2 : Aplicao de Streaming. Qual a qualidade do sinal desejada na mdia ?

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
REPRESENTAO DO PROCESSO DE MEDIO
Especificar Medies

Especificar pontos de teste

Instrumentar e coletar dados Analisar e transformar dados

Especificar Pontos de teste : Determinar onde os dados de desempenho sero coletados. Como exemplo, possvel determinar que o ponto de partida deve coletar dados sobre o trfego que atravessa a LAN onde os servidores Web esto localizados.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
REPRESENTAO DO PROCESSO DE MEDIO
Especificar Medies

Especificar pontos de teste

Instrumentar e coletar dados Analisar e transformar dados

Instrumentar a coleta de dados : Depois de selecionar as variveis a serem observadas, deve-se distribuir ferramentas de medio para monitorar o sistema. Dependendo das medies definidas, pode-se ter de instalar vrias ferramentas de medio, por diferentes pontos da web.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
REPRESENTAO DO PROCESSO DE MEDIO
Especificar Medies

Especificar pontos de teste

Instrumentar e coletar dados Analisar e transformar dados

Analisar e transformar dados : As ferramentas de medio normalmente renem quantidades muito grandes de dados brutos, que correspondem a uma observao detalhada do sistema. Esses dados precisam ser analisados e transformados em informaes significativas. Exs.tamanhos mdios, numero de acessos, popularidade de arquivos, etc.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
MEDIO POR EVENTO
Monitores orientados a evento geram um registro toda vez que ocorre um evento dentro de um conjunto de tipos determinados Um evento normalmente muda o estado do sistema, que especificado por um conjunto de variveis Ao ser detectado determinado evento um cdigo especial chama uma rotina que gera informaes como data, hora, tipo de evento, etc
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
MEDIO POR RASTREAMENTO
Semelhante a Medio por evento, s que gera um registro do evento ocorrido e do estado do sistema no momento. Exemplo : Ao invs de s contar erros de transmisso, o rastreamento registraria o estado do sistema com as causas do erro.

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

MEDIO DO DESEMPENHO
MEDIO POR AMOSTRAGEM
As informaes dos sistemas so coletadas em instantes predefinidos Ao invs de ocorrer por evento, ocorrem em instante pr-determinado, especificado no incio da sesso de monitorao Provoca impacto no resultado da medio (overhead). Se as amostragens forem maiores, maior overhead e menor preciso Quanto maior a preciso, maior o overhead Normalmente utilizam-se monitores (Hw/Sw) e logs
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCLUSO

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCLUSO
CENRIO
Maturidade no nvel de utilizao da web Cada vz mais a previsibilidade de crescimento necessria Desafio de atender a crescente demanda de ambientes cada vez mais solicitados pela sociedade, contemplando :
Disponibilidade Segurana Confiabilidade
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCLUSO
CARACTERSTICAS DOS SERVIOS WEB Os servios web apresentam hoje :
Larga escala e complexidade Heterogeneidade Operao e gerenciamento distribudo

Propriedades a considerar nos projetos :

Confiana e segurana (misso crtica) Escalabilidade (poder crescer quando precisa) Disponibilidade e Confiabilidade (on-line sempre)

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCLUSO
TCNICAS BASEADAS EM MODELOS O trabalho de avaliao de desempenho pode ser distribudo em modelos :
Carga de trabalho Desempenho Disponibilidade

Teoria das filas, anlise operacional e probabilidades Tempos de servio e tempos de espera Importante modelo de Custos ...
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

CONCLUSO
PESQUISA Os problemas de desempenho vividos pelo gestor de hoje podem ser parecidos com o gestor de outra organizao Vrios modelos e trabalhos de pesquisa disponveis em livros e Internet No existe um modelo de desempenho personalizado.
PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld

OBRIGADO !

PS EM GESTO DA TI - AVALIAO DE DESEMPENHO C.E.F. 2005 Rafael Sommerfeld