Avaliação de Desempenho

Avaliação de Desempenho
Por Wilson Ruggiero

LARC-EPUSP
© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 1

A Arte da avaliação
 Ao contrário do que pode parecer o processo de
avaliação de desempenho é uma “Arte”;
 Toda avaliação envolve a seleção cuidadosa de:
 Metodologia;
 Carga de trabalho (“Workload”);
 Ferramentas de avaliação.
 Em geral, os problemas são mal definidos e
transformá-los num enunciado tratável é mais uma
operação de arte do que de engenharia.

A Arte da Avaliação (1)
 Dado um mesmo problema para dois analistas,
provavelmente, eles escolherão diferentes métricas
e metodologias de avaliação.
 Baseados nos mesmos dados, diferentes analistas

podem concluir resultados distintos.
 Observe no exemplo a seguir este fato:

Exemplo
 A vazão de dois sistemas A
e B foi medida em
transações por segundo.
Sistema Carga 1 Carga 2
 Os resultados estão
A 20 10
mostrados na tabela ao lado:
B 10 20

Exemplo : caso A
 Comparação através da vazão média absoluta:
Sistema Carga 1 Carga 2 Média

A 20 10 15
B 10 20 15
 Os dois sistemas são igualmente bons !!!!

Exemplo: caso B
 Média relativa tomando como base o sistema B:

A 2 0.5 1.25
B 1 1 1
 O sistema A é 25% melhor que o B.

Exemplo: caso C
 Média relativa tomando como base o sistema A:

A 1 1 1
B 0.5 2 1.25
 B é 25% melhor que A.

Principais Enganos: objetivos
 Objetivos definidos:
 Cada modelo precisa ser definido com um conjunto
específico de objetivos. Um analista experiente deve saber
que não existem modelos de propósito geral.
 Objetivos polarizados:
 “Vamos mostrar que o nosso sistema é melhor que o deles.”
O analista deve sempre basear as suas conclusões em dados
de análise e não em sentimentos.

Principais Enganos: enfoque
 Enfoque não sistemático:
 Frequentemente, o analista escolhe os parâmetros, as
métricas e a carga de trabalho de forma arbitrária. Isto leva a
conclusões incorretas ou imprecisas.
 Não entendimento do problema:

 Analistas ansiosos tendem a definir o modelo do sistema
antes de possuir um completo entendimento do problema a
ser analisado. “Um problema bem definido representa meio
caminho de sua solução.”

Principais Enganos: métricas
 Métricas de desempenho incorretas:
 Normalmente, escolhem-se métricas que são fáceis de serem
medidas e não necessariamente aquelas que são relevantes.
Uma métrica é um indicador usado para quantificar o
desempenho de um sistema. A escolha de métricas corretas
depende dos serviços providos pelo sistema.
 Carga de Trabalho não representativa:

 A carga de trabalho deve ser representativa da real
utilização do sistema. A escolha da carga de trabalho
incorreta leva a conclusões erradas.

Principais Enganos: técnica
 Técnica de avaliação errada:
 Não se deve escolher uma determinada técnica
simplesmente porque é a que você conhece melhor. Existem
três técnicas de avaliação:
 experimentais, baseadas em medidas;
 simulação;
 analíticas.
O analista deve conhecer bem estas três técnicas para poder

escolher aquela que melhor se adequar à solução do
problema.

Principais Enganos:parâmetros
 Ignorar parâmetros importantes:
 Características do sistema e da carga de trabalho são
chamadas de “parâmetros”. Quando deixamos de
considerar um desses parâmetros importantes podemos
produzir resultados sem sentido ou significado.
 Ignorar fatores relevantes:

 Parâmetros que podem variar de valor são chamados de
fatores. Identifique os fatores que provocam impacto
relevante no desempenho. Fatores não bem conhecidos
devem sofrer uma análise de sensibilidade.

Principais Enganos:experimento
 Experimentos inapropriados:
 A seleção inadequada dos experimentos a serem conduzidos
ou dos valores dos parâmetros em cada experimento podem
levar a desperdício de recursos e falta de resultados
conclusivos. Nem sempre, variar um parâmetro de cada vez
pode levar aos melhores resultados.
 Nível de detalhamento inadequado:

 Modele somente os aspectos que são relevantes aos gols do
problema.

Principais Enganos:análise
 Falta de análise de dados:
 Enormes massas de dados experimentais sem nenhuma
análise crítica não possuem significado prático. Todos os
dados obtidos na análise devem ser devidamente
interpretados.
 Erros de análise:
 Frequentemente, certos erros são cometidos que
comprometem totalmente a análise, tais como, a realização
de simulações curtas que não atingem o estado de regime
permanente, etc...

Principais Enganos:sensibilidade
 Falta de análise de sensibilidade:
 Sem a realização de uma análise de sensibilidade ninguém
poderá saber se os resultados obtidos poderiam variar
significativamente com uma ligeira mudança em algum dos
parâmetros do sistema ou da carga de trabalho.
 Parâmetros com valores extremos:

 É uma arte decidir se um valor fora da faixa normal de um
parâmetros deve ou não ser incluído na análise do sistema.

Principais Enganos:futuro
 Prevendo o futuro:
 Em geral, as análises são feitas baseadas em dados do
passado para se prever o desempenho futuro. Muito
cuidado deve ser tomado para que as mudanças futuras
sejam adequadamente incorporadas na análise.
 Ignorando a variabilidade:
 É muito comum utilizar somente valores médios, pois obter
a variância pode ser difícil ou mesmo impossível. Porém, se
a variabilidade do parâmetro for muito grande, o uso
somente da média pode ser enganoso.

Principais Enganos:análise
 Análise muito complexa:
 Dado duas análises para um mesmo problema que levam à
mesma conclusão, é sempre melhor escolher aquela que é
mais simples.
 É sempre melhor começar com modelos simples.
 À medida que vão sendo obtidos resultados podem ser

incluídos novos detalhes de modelamento, se eles se
mostrarem relevantes.
 A maioria dos problemas reais de análise são solucionados

por modelos bem simples.

Principais Enganos:apresentação
 Apresentação inadequada de resultados:
 Nem sempre resultados importantes conseguem ser
perfeitamente entendidos e utilizados na tomada de
decisões, porque eles não foram adequadamente
formatados, comparados ou apresentados.
 Ignorando a “comunicação”:
 Uma apresentação de resultados com sucesso, depende de
aspectos comunicativos e substantivos. A maioria dos
analistas possuem capacidade para os aspectos substantivos
mas não para os comunicativos.

Principais Enganos:hipóteses
 Omissão de hipóteses ou limitações:
 Em geral, hipóteses ou limitações são omitidas no relatório

final da análise.
 Tais omissões podem levar a aplicação dos resultados em

situações não apropriadas.

“Checklist” para evitar enganos
1. O sistema está corretamente definido e os gols
claramente estabelecidos?
2. Os gols estão definidos de uma forma não
polarizada?
3. Todos os passos da análise foram seguidos
sistematicamente?
4. O problema está claramente entendido antes de
começar a análise?

“Checklist” para evitar enganos (1)
5. As métricas de desempenho são relevantes para o
problema?
6. A carga de trabalho está adequada para o problema?
7. A técnica de avaliação também está apropriada para
o problema?
8. A lista de parâmetros que afeta o problema está
completa?

9. Todos o parâmetros que afetam o desempenho
foram escolhidos para serem variados?
10. Os experimentos foram escolhidos de forma
eficiente em termos de tempo e resultados?
11. O nível de detalhamento está adequado?
12. Os dados medidos estão sendo apresentados com
análise e interpretação?
13. A análise está estatisticamente correta?

14. Foi feita uma análise de sensibilidade?
15. Os valores fora da faixa normal foram
adequadamente identificados e tratados?
16. As mudanças futuras no sistema foram
corretamente incorporadas ao modelo?
17. A variabilidade foi devidamente levada em conta
na análise?
18. A análise esta fácil de ser apresentada e entendida?

19. A apresentação da análise esta adequada para a
audiência alvo?
20. Os resultados foram apresentados na forma gráfica
na medida do possível?
21. Todas as hipóteses e limitações foram claramente
documentadas junto com as conclusões?

Metodologia
 A maioria dos problemas de análise exigem
tratamento particular.
 As métricas, a carga de trabalho e as técnicas de

avaliação em geral, são específicas para cada
problema.
 Apesar disto, pode-se identificar uma série de

passos comuns que devem ser seguidos por todos os
projetos de avaliação de desempenho.

Metodologia – passo 1
 1. Estabeleça os objetivos e defina claramente o
sistema:
 O primeiro passo em qualquer projeto de análise é o

estabelecimento dos gols e a definição do que faz parte do
sistema a ser estudado;
 A escolha das fronteiras do sistema afeta significativamente

as métricas de desempenho e a carga de trabalho a ser usada
na análise.

 2. Lista de Serviços e resultados:
 Uma lista completa dos serviços fornecidos pelo sistema

deve ser feita;
 Associado aos serviços existem uma série de resultados que

podem ser produzidos pelo sistema;
 Esta lista de serviços e resultados influencia fortemente a

definição dos parâmetros e suas métricas, assim como a
carga de trabalho.

 3. Seleção das Métricas de desempenho:
 O próximo passo é a seleção dos critérios que serão usados

para avaliar o desempenho do sistema;
 Estes critérios são chamados de métricas de desempenho;
 Em geral, estas métricas estão relacionadas com a

velocidade, a precisão e a disponibilidade do sistema.

 4. Lista completa de parâmetros:
 Os parâmetros estão relacionados com as características do

sistema e da carga de trabalho;
 Deve ser feita uma lista completa de todos os parâmetros

que afetam o desempenho;
 Esta lista deve ser dividida em: parâmetros do sistema e

parâmetros da carga de trabalho;
 Esta lista permite ao analista definir quais os experimentos a

serem feitos e quais os dados a serem coletados.

 5. Selecione os Fatores a serem estudados:
 Parâmetros que podem variar durante o estudo são

chamados de fatores;
 A lista de parâmetros deve ser dividida em duas partes:

aqueles que variam e aqueles que não variam;
 Os possíveis valores associados aos fatores são chamados de

níveis;
 Deve-se escolher uma lista pequena de fatores com seus

respectivos níveis, para que o número de experimentos e
dados a serem coletados sejam viáveis.
 6. Selecione a técnica de avaliação:
 As três técnicas de avaliação disponíveis são:

 Modelagem analítica;
 Simulação;
 Medidas em um sistema real.
 A seleção da técnica correta depende do tempo e dos

recursos disponíveis para resolver o problema e do nível
desejado de precisão.

 7. Seleção da carga de trabalho:
 A carga de trabalho consiste de uma lista de requisições de

serviço apresentadas ao sistema;
 Dependendo da técnica de avaliação escolhida a carga de

trabalho pode se apresentar de diferentes maneiras:
 Modelagem analítica: Probabilidade de requisições;
 Simulação: lista de requisições rastreadas num sistema

real;
 Medidas num sistema real: programas ou seqüências de
comandos executados pelo sistema.

 8. Definição e projeto dos experimentos:
 Uma vez que se tenha os fatores e seus níveis, deve-se

escolher os experimentos que fornecerão o máximo de
resultados com o mínimo de esforço;
 Numa primeira fase pode-se escolher mais fatores porém

com poucos níveis;
 Já numa segunda fase, escolhem-se alguns poucos fatores

importantes, porém com muitos níveis para cada fator.

 9. Analise e interprete os dados:
 É importante reconhecer que os resultados dos experimentos

são quantidades estocásticas e que podem ser diferentes a
cada experimento realizado;
 Sempre que possível deve ser feita uma análise de

variabilidade, não se contentando somente com os valores
médios;
 A interpretação dos resultados é uma parte muito

importante da análise;

 10. Apresentação dos resultados:
 A etapa final de qualquer projeto de análise é a apresentação

dos resultados aos tomadores de decisão;
 Esta etapa usualmente envolve a apresentação dos

resultados na forma gráfica sem a utilização do jargão
estatístico.

Metodologia
 Normalmente, a metodologia envolve uma
sequência interativa através dos passos definidos
anteriormente, até que se chegue num conjunto de
resultados satisfatórios.
 Resumidamente, os passos que definem esta

metodologia estão repetidos em sequência a seguir:

Metodologia: Resumo
 1.Defina os objetivos e as  6.Selecione a técnica de
fronteiras do sistema; avaliação;
 2. Liste os serviços e seus  7. Selecione a carga;
possíveis resultados;  8. Defina e projete os
 3. Selecione as métricas de experimentos;
desempenho;  9. Analise e interprete os
 4. Liste os parâmetros do dados;
sistema e da carga;  10. Apresente os resultados,
 5. Selecione os fatores e e reinicie o processo se for
seus níveis; necessário.

Estudo de Caso
 Considere o problema de se comparar os métodos
de interação entre programas que utilizam “remote
pipes”(RP) e “remote procedure calls” (RPC);
 A diferença principal entre estes dois métodos é :

 no caso da chamada remota de procedimentos, o processo
chamador fica bloqueado até que o processo chamado
retorne o controle,
 enquanto que no esquema de “pipes” remotos, o processo
chamador não fica bloqueado.

Estudo de caso - definição
 O seguinte plano foi escrito antes de se iniciar esta
análise:
 1. Definição do sistema:
 O componente central neste estudo é o chamado canal;
 O sistema consiste de dois computadores
interconectados através de uma rede local;
 O gol principal é comparar o desempenho nestas
interações.
Cliente Rede Local Servidor

Sistema

Estudo de Caso - serviços
 2. Serviços:
 Os serviços oferecidos pelo sistema são os dois tipos de

canais de comunicação: RPC e RP;
 O montante de dados a serem transferidos pelo sistema

depende dos parâmetros existentes nas chamadas de
procedimentos;
 Devem ser considerados dois tipos de transferências: curtas

(poucos dados) e longas (muitos dados).

Estudo de Caso - métricas
 3. Métricas:
 Devido a limitações de recursos, os casos de erros e falhas

não serão estudados. O estudo se limitará somente à fase
normal de operação;
 Para cada serviço, estaremos interessados na taxa com que o

serviço pode ser realizado, o tempo necessário para
completar o serviço e nos recursos consumidos (computador
cliente, servidor e a rede local);
 Estas definições levam as seguintes métricas:

Estudo de caso – métricas (cont.)
 Métricas (continuação):
 Duração de cada chamada;

 Máxima taxa de chamadas na unidade de tempo, ou o tempo
necessário para se completar um bloco de n chamadas;
 Tempo de UCP Cliente por chamada;
 Tempo de UCP Servidor por chamada;
 Número de bytes enviados na rede por chamada.

Estudo de caso - parâmetros
 4. Parâmetros do sistema e da carga de trabalho:
 Parâmetros do Sistema:
 Velocidade da UCP Cliente;
 Velocidade da UCP Servidor;
 Velocidade da rede local;
 “Overhead” do sistema operacional para acionamento

do canal;
 “Overhead” do sistema operacional para acionamento da
rede local;
 Confiabilidade da rede afetando o número de
retransmissões necessárias para se completar uma
interação.

Estudo de caso – carga de trabalho
 Parâmetros da carga de trabalho:
 Tempo entre chamadas sucessivas;

 Número e tamanho dos parâmetros passados em cada
chamada;
 Número e tamanho dos valores de retorno de cada
chamada;
 Tipo de canal;
 Outras cargas na UCP Cliente e na Servidor;
 Outras cargas na rede local.

Estudo de caso - fatores
 5. Fatores:
 Os fatores chaves a serem estudados são:
 Tipo de canal: Teremos dois tipos de canal:
 “Pipe” remoto;
 Chamada remota de procedimento.
 Velocidade da rede: duas localidades serão consideradas

para a UCP servidor:
 curta distância : dentro do campus;
 longa distância: continental.
 Tamanho e quantidade dos parâmetros a serem

transferidos:
 Dois níveis serão usados: pequeno e grande.

Estudo de caso – fatores (cont.)
 5. Fatores (continuação):
 Os fatores chaves a serem estudados são:

 Número n de chamadas consecutivas:
 Onze diferentes níveis de valores para n serão

considerados: 1,2,4,8,16,32,...,512 e 1024.
 Todos os outros parâmetros serão considerados fixos;
 O efeito das retransmissões devido a erros serão ignorados;
 O efeito de outras cargas tanto na UCP cliente e servidor
como na rede local serão também ignorados.

Estudo de caso - técnica
 6. Técnica de avaliação:
 Como existem protótipos dos dois tipos de canais, medidas

físicas devem ser utilizadas para se fazer esta avaliação;
 Modelos analíticos serão utilizados para se justificar a
consistência dos dados medidos.
 7. Carga de Trabalho:
 Serão utilizados programas sintéticos para exercitar cada
tipo de canal.

Estudo de caso - conclusão
 8. Experimentos:
 Um conjunto completo de 23x11 = 88 experimentos serão
realizados;
 9. Análise de dados:
 Uma análise de variância avaliará o efeito dos três primeiros
parâmetros e uma de regressão o efeito das n chamadas
consecutivas.
 10. Apresentação do dados:

 Os resultados finais serão “plotados” como função de n.

Avaliação de Desempenho - Wilson Ruggiero

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Avaliação de Desempenho - Wilson Ruggiero

Enviado por

Direitos autorais:

Formatos disponíveis

Por Wilson Ruggiero

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 1

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 2

 Baseados nos mesmos dados, diferentes analistas

 Observe no exemplo a seguir este fato:

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 3

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 4

Sistema Carga 1 Carga 2 Média

 Os dois sistemas são igualmente bons !!!!

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 5

Sistema Carga 1 Carga 2 Média

 O sistema A é 25% melhor que o B.

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 6

Sistema Carga 1 Carga 2 Média

 B é 25% melhor que A.

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 7

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 8

 Não entendimento do problema:

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 9

 Carga de Trabalho não representativa:

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 10

O analista deve conhecer bem estas três técnicas para poder

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 11

 Ignorar fatores relevantes:

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 12

 Nível de detalhamento inadequado:

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 13

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 14

 Parâmetros com valores extremos:

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 15

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 16

 É sempre melhor começar com modelos simples.

 À medida que vão sendo obtidos resultados podem ser

 A maioria dos problemas reais de análise são solucionados

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 17

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 18

 Em geral, hipóteses ou limitações são omitidas no relatório

 Tais omissões podem levar a aplicação dos resultados em

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 19

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 20

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 21

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 22

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 23

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 24

 As métricas, a carga de trabalho e as técnicas de

 Apesar disto, pode-se identificar uma série de

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 25

 O primeiro passo em qualquer projeto de análise é o

 A escolha das fronteiras do sistema afeta significativamente

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 26

 Uma lista completa dos serviços fornecidos pelo sistema

 Associado aos serviços existem uma série de resultados que

 Esta lista de serviços e resultados influencia fortemente a

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 27

 O próximo passo é a seleção dos critérios que serão usados

 Estes critérios são chamados de métricas de desempenho;

 Em geral, estas métricas estão relacionadas com a

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 28

 Os parâmetros estão relacionados com as características do

 Deve ser feita uma lista completa de todos os parâmetros

 Esta lista deve ser dividida em: parâmetros do sistema e

 Esta lista permite ao analista definir quais os experimentos a

© Copyright LARC 1996,97,98,03 WVR/LARC/PCS/EPUSP Aula_1_1 - 29