UNIFAI ENGENHARIA DA COMPUTAO

Avaliao e Desempenho
Prof. Orlando Del Bianco Filho

Engenharia da
Computao

19/08/2014

Sumrio
AVALIAO E DESEMPENHO ......................................................................................................... 3
Desempenho = Performance .................................................................................................... 3
Terminologia ............................................................................................................................. 3
AVALIAO .................................................................................................................................... 4
Medio Mtrica ....................................................................................................................... 4
Metrica de dois sistemas........................................................................................................... 5
ANALISE DE DESEMPENHO............................................................................................................ 6
Erros mais comuns .................................................................................................................... 6
10 Dicas Importantes ................................................................................................................ 7
SELEO DE TCNICAS E METRICAS .............................................................................................. 8
Trs Tcnicas ............................................................................................................................. 8
Modelo analtico, Simulao e medida ..................................................................................... 9
UMA ANALISE COMPLETA ........................................................................................................... 10
MTRICA DE DESEMPENHO ........................................................................................................ 11
Normalmente Utilizadas ......................................................................................................... 11
Outras Vises .......................................................................................................................... 11

AVALIAO E DESEMPENHO
Desempenho = Performance

Objetivo: Aumentar o desempenho pode ser aumentar a velocidade e reduzir a necessidade

de memria (RAM ou HD), o uso de registradores internos, reduzirem o tamanho ou peso do
equipamento, entre outros devemos observar o custo que poder ser o preo de compra do
equipamento ou a necessidade de infra-estrutura, ventilao, instalaes especiais, autonomia
da bateria e outros. Tem a ver com o tamanho, peso, voltagem do equipamento entre outros.
importante observar que um projeto deve considerar todas os requisitos, inclusive a
importncia (PESO) de cada um. Muitas vezes um fator poder o limitante.
Por exemplo:
O peso para um foguete.

Terminologia
Trataremos de algumas Terminologias:

Requisitos de desempenhos desejados (velocidade, tempo de resposta... etc);

Alternativas de Avaliao;

Como Comprar;

Determinar o(s) valor(es) timos de avaliao (Sintonizar = Tuning);

Descobrir o gargalo (bottleneck);

Caracterizar a carga de trabalho (Workload);

Prever o crescimento do sistema;

Estabelecer as mtricas de avaliao;

AVALIAO
Medio Mtrica
Mede parmetros de interesse que permitem avaliar o sistema ou comparar com outro.
Por Exemplo: Tempo de resposta.
O parmetro de medida pode variar.
Por Exemplo: Num programa de base de dados e num programa de processamento cientifico
exemplo PDP-8.
A mquina de 12 bits PDP-8 foi o primeiro minicomputador, produzida
pela Digital Equipment Corporation (DEC) na dcada de 1960. DEC
introduziu-o em 22 maro de 1965, e vendeu mais de 50.000 sistemas,
mais do que qualquer computador at essa data. Foi o primeiro
computador amplamente vendido das sries de computadores da DEC
(o PDP-5 no foi originalmente destinados a ser um computador de
uso geral).O modelo mais antigo PDP-8 (conhecido informalmente
como "Straight-8"), usava diodos "Diode-transistor logic", embalados
em placas Flip Chip, e era do tamanho de um frigobar.

Simulao: Um programa computacional FINGE o sistema real;

Modelo Analtico:

Uma equao utilizada para caracterizar a operao do sistema.

Sempre necessrio se saber a aplicao (ou utilizao) do sistema.

Observar as sobrecargas:

Por exemplo, o tempo de carga de uma sub-rotina na memria. E

importante verificar a forma de avaliao que pode levar a concluses
erradas:

Por exemplo, programa para processar transaes por segundo.

4

Metrica de dois sistemas

SISTEMA CARGA 01 CARGA 02
A

20

10

10

20

PELA MEDIA:
A 15

B 15

IGUAIS

A COMO BASE
SISTEMA CARGA 01 CARGA 02
*A

0,5

1,25

B COMO PADRAO
SISTEMA CARGA 01 CARGA 02
A

0,5

1,25

*B

PELA CARGA REAL

2 X CARGA01
3 X CARGA02
A

= (20X2)+(10x3)

= 70 * MENOR E MELHOR

B = (10X2 )+(20X3) = 80

26/08/2014

ANALISE DE DESEMPENHO
Erros mais comuns
1. Falta de Objetivos. (O que estamos medindo);
2. Os objetivos no podem ser tendenciosos

o nosso melhor.

3. A abordagem deve ser sistemtica;

a carga de trabalho dever ser real.

4. Fazer corretamente a relao modelo/sistema;

o modelo est perfeitamente correto, mas no corresponde a realidade.

5. No faz uso de medidas coerentes e gera relatrios mais vistosos que realistas;
6. A carga de trabalho dever ser realista;

Combinar os tipos de situaes possveis.

7. Usar a tcnica de avaliao correta;

Modelo analtico, simulao, medidas;

Cuidado com as tendncias, um programa tende a simulao;

Talvez usar uma combinao.

8. Desprezar parmetros de interesse;

9. Desprezar variaes dos parmetros chamados fatores;

Por exemplo, prioridade do professor;

10. Realizar poucas avaliaes ou com faixa menor de valores viciados;

11. Desprezar as faixas de valores mais significativos

Alterando fatores, por exemplo.

12. No analisar os resultados e no desprezar resultados estranhos;

Talvez deva consultar uma analistas.

13. Fazer analises erradas;

Por exemplo, pela MEDIA, quando o mais certo pelo PICO;

14. Desprezar a sensibilidade na analise;

Talvez com algum da rea;

15. Desprezar entradas erradas mas que podem acontecer;

16. No excluir os limites;
17. Desconsiderar possveis alteraes futuras;

Por exemplo, o 9 do celular;

6

18. Desprezar variaes na carga de trabalho;

Por exemplo, hora do pico;

19. Desprezar analise complexas;

Dica: comear simples e incrementar aos poucos.

20. Gerar relatrios para tomadores de decises;

21. Excluir aspectos sociais;
22. Omitir limitaes.

Por exemplo, os bugs viram caractersticas.

10 Dicas Importantes
1. Estabelecer os Objetivos;

Definir limites.

2. Listar os servios (funes), ou seja, as possibilidades;

3. Selecionar a mtrica de interesse;

Por exemplo, Velocidade ou nmero de registros processados.

4. Identificar os parmetros e suas variaes (fatores). H os fixos e os flutuantes;

Por exemplo, Nome do Aluno (Fixo), Nota do aluno (Flutuante).

5. Verificar a faixa de interesse;

Dica: Comear com poucos nveis e aumentar com a analise Talvez MATE
alguns parmetros.

6. Decidir a tcnica a ser utilizada;

Simulao;

Media; (Nota: no tenho certeza se era media ou medida VERIFIQUEM!).

Modelo Analtico.

7. Identificar a carga de trabalho real do sistema (desejada);

8. Propor os testes;

Numero de parmetros e fatores.

9. Interpretar os resultados;

Talvez com algum da rea

10.Apresentar resultados em dois nveis.

Um tcnico (Discusso);

Uma Financeira (para aprovao).

2/9/14

SELEO DE TCNICAS E METRICAS

Trs Tcnicas
MODELO ANALTICO (MA): a aplicao de uma formula ou algoritmo para determinar as
medidas de desempenho, em funo de um conjunto de parmetros ou camada de trabalho.
SIMULAO (S): a aplicao de programas computacionais que refletem o comportamento
do sistema.
MEDIO (M): a coleta de dados e analise, de um sistema funcionando. Estgio

MODELO

SIMULADO

MEDIO

CRITRIO

ANALITICO (MA)

(S)

(M)

ESTGIO

Qualquer

Qualquer

Aps Prottipo

pequeno

mdio

varivel

TEMPO
NECESSRIO

(MA)

(S)

Tempo (t)
(M)

FERRAMENTA
PRECISO

( PIOR )

Especialista /Papel e

Hardware e Software

Instrumentos

Lpis

Linguagem de Prog.

Monitores / Internos

VARIVEIS (AS 3 RUINS)

SIMPLIFICAO

LIMITES

WORKLOAD ERRADA

FACIL

MDIA

DIFICIL

AVALIAO DE

(Qual o parmetro

(Achar o parmetro

(Como Afeta?)

COMPROMISSO

Interfere)

e varia)

PEQUENO

MDIO

ALTO

BAIXO

MEDIO

ALTO

CUSTO
PODER DE
CONVENCIMENTO

Modelo analtico, Simulao e medida

1. Modelo Analtico
Depende Depende do que? Depende do que tem no meu sistema.
2. Variao na linha no tempo

MA
SI
M

- pequeno 1.
- mdio 2.
- Varivel 3

FERRAMENTA

1
Especificao
Papel e Lpis

2
Um Software

3
Equipamento para
medio *
Um programa que
ativa quando uma
ao ocorre.
Para uma medida
preciso entrar no
equipamento ou
sistema.

Preciso: ruim para os trs, avaliao de compromisso;

Mdia: ver parmetros se coincide com o que desejo!

CUSTO

CONVENCIMENTO
VENDABILIDADE

1
Pequeno

2
Mdio, preciso de
um computador e
um software

Baixo

Mdio

Alto

Preciso
de
equipamento que
poder fica ocioso

Vender passar convencimento da tcnica boa.

Quando ofereo uma faixa real de realizao eu vendo melhor a
idia.

SIMULAO
Erro

MEDIDA

Erro J

Os tipos de erros

No feito!} Por que ele no fez o evento m ou o evento p.

Disponibilidade
Confiabilidade
A certeza que algo vai Que quando fizer! Vai dar certo
acontecer
9

UMA ANALISE COMPLETA

TEMPO DE
RESPOSTA

TAXA DE
REPETIO

VELOCIDADE

REQUISIO

UTILIZAO DE
RECURSOS

CORRETO
CONFIABILIDADE

FEITO

PROBABILIDADE

...

SYSTEMA

ERRO I
ERRADO

ERRO J

TEMPO ENTRE
ERROS

EVENTO m
DURAO

NO

...

FEITO

DO EVENTO

EVENTO P
TEMPO ENTRE
EVENTOS

DISPONIBILIDADE
10

16/09/2014

MTRICA DE DESEMPENHO
Normalmente Utilizadas
1. TEMPO DE RESPOSTA: o intervalo de tempo entre a solicitao do usurio
e a resposta do sistema.
Na viso mais simples:
REQUISIO DO
USUARIO

RESPOSTA DO
SISTEMA

TEMPO DE RESPOSTA T
Tendo em vista que tanto as requisies como as respostas podem
conter vrios pacotes, com retransmisses... Enfim, no instantnea,
uma definio melhor engloba o fim da solicitao e o fim da resposta
(H Controvrsias).
Ou seja.

INICIO

FIM

INICIO

TEMPO DE RESPOSTA

REQUISIO DO
USUARIO

FIM

II

RESPOSTA DO
SISTEMA

Outras Vises
A partir do inicio da solicitao do usurio (I Menos comum)
Ou
Aps o inicio da resposta (II Mais aceita).
11

2. THOROUGHPUT (VAZO) a medida do n de requisies que o sistema

pode atender, por unidade de tempo.
Por exemplo:
MAINFRAME

Programa por minuto

SISTEMA INTERATIVO

Requisies por minuto

UCP

MIPS (Milhes de Instrues Por Segundo)

REDE

Pacotes por segundo

Obs.: Normalmente com baixa carga, o THOROUGHPUT de um sistema tende a aumentar com
pequeno aumento de carga (Tinha folga). Da, o THOROUGHPUT tende a estabilizar (Satura).
Esta a capacidade nominal, ou seja, a condio ideal de trabalho. Mas que isso, degenera,
da cai

THOROUGHPUT

JOELHO
SATURA

SATURA
CAI

TEMPO DE

CARGA

RESPOSTA

CONSTANTE

PROPORCIONAL

PONTO OTIMO

DISPARA
AINDA ACEITAVEL
CARGA

O JOELHO o ponto ideal de trabalho pois, com maior carga, o tempo de resposta tende a
crescer e o THROUGPUT no melhora.

12

3. EFICINCIA: a relao entre a capacidade planejada (ou Projetada) e a

utilizada efetivamente.
Por Exemplo:

Planejada= 200
Utilizada=

160

Eficincia =
(a eficincia pode ser maior que 100%. Por exemplo: Internet. No geral, depende de fatores
tcnicos.)
4. UTILIZAO DE UM RECURSO: a relao de tempo no qual um recurso
esta sendo utilizado. Dois casos:
a) SIM/NO (fcil) impressora esta (100%) em uso;
b) Uso parcial (difcil) parte da memria esta em uso o calculo deve
englobar a porcentagem do recurso utilizado pelo tempo utilizado.
A parte de tempo que o recurso no est em uso chamado tempo ocioso ou desocupado
(IDLE TIME).
5. CONFIABILIDADE: a Probabilidade de ocorrer um ERRO (Sistema fora do
ar.)
Tambm chamado tempo mdio entre ERROS.
6. DISPONIBILIDADE: a parte do tempo no qual o sistema est disponvel (UP
TIME) pela soma com o tempo (DOWN TIME).
Disponibilidade =
_____________________________________________________________________________

13

Anotaes:
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________

14

_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
15

_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
16

_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
17