Curso: Bacharel em Sistemas de Informao

Disciplina: Arq. e Organizao de Computadores

Perodo: 2012/2
Professor: Flvio Giraldeli

Turma: BSI2
CH: 60 horas

Avaliao de Desempenho Computacional usando Benchmarks

OBJETIVO
Avaliar e comparar o desempenho de dois computadores PC de pocas e modelos diferentes usando softwares de
benchmarks fornecidos. Dever existir uma diferena de pelo menos uns 3 anos, sendo um deles, obrigatoriamente multincleos (dual-core, triple-core, quad-core ...) e rodar uma verso de 64 bits do Windows (XP/Vista/7/8).
O objetivo no s comparar os desempenhos dos dois computadores como tambm entender que caractersticas como:
nmero de ncleos usados pelo programa, verso do programa (32 ou 64 bits), presena de instrues especiais, etc...
podem afetar pouco ou enormemente o desempenho.

GRUPOS
Devero ser formados grupos com 3 alunos, a serem escolhidos livremente. No caso do nmero de alunos da turma no ser
mltiplo de 3, a deciso dever ficar a critrio do professor.

PONTUAO
O referido trabalho ser avaliado de 0 a 100 e corresponder a 15% da nota semestral. Atravs dos mais variados testes com
os programas citados abaixo, dever ser elaborado um relatrio a ser entregue em formato PDF via email ao professor.
Dependendo da qualidade dos trabalhos entregues, o professor poder pensar em redistribuir os pesos das avaliaes
semestrais a fim de aumentar a contribuio desse trabalho na nota semestral (talvez at diminuindo um pouco o peso
das provas escritas).

DESENVOLVIMENTO
O desenvolvimento do trabalho consistir de vrios testes de desempenho medidos com os diversos programas de
benchmark fornecidos. importante que sejam usadas as mesmas verses fornecidas em ambos os computadores a fim de
permitir comparaes.

Escolhendo os computadores adequados para os testes

Procure escolher duas mquinas de desempenhos reconhecidamente diferentes. D preferncia, como mencionado no
objetivo, a computadores de pocas bem diferentes, com pelo menos 3 geraes de diferena. Por exemplo, um Pentium 4
comparado com um Core i3/i5/i7 de segunda gerao ou terceira gerao. Caso isso no seja possvel, escolha um netbook
(cuja CPU certamente ser bem simples) e um desktop poderoso. Apenas evite comparar dois portteis (netbooks e
notebooks). Opte por diversificar entre portteis e desktops, ou dois desktops de eras bem diferentes.
Se possvel, seria interessante o mesmo sistema operacional em ambos. Mas esse requisito ser difcil de ser atendido (visto
serem os computadores de pocas diferentes), admito.
Ateno ao fato de que pelo menos uma mquina dever estar rodando uma verso de 64 bits do Windows (XP/Vista/7/8) e
ser dotada de mltiplos ncleos (pois isso exigido em um dos testes: 64 bits com multi-ncleos).

Os testes
Inicialmente, voc dever usar o programa AIDA64 (antigo Everest) para coletar informaes a respeito das configuraes
dos computadores e gerar uma tabela comparativa (uma coluna para cada PC). As configuraes importantes na anlise so
as das sees:

Computador > Sumrio > Itens: Computador, Placa-me, Monitor e Armazenamento

Placa-me > Processador > Item: Propriedades da CPU

Placa-me > Placa-me > Item: Propriedades da memria do bus

As informaes podem ser copiadas do programa clicando-se no sub-item e depois no menu Relatrio > Relatrio Rpido,
como no exemplo abaixo. Ele ir gerar um relatrio em texto simples que pode ser copiado com ctrl+C/ctrl+V. Voc pode
fazer o mesmo para capturar as demais informaes a serem inseridas no relatrio. ATENO: No trabalho, as informaes
abaixo devero estar formatadas numa tabela.

Aps conhecer bem as configuraes dos dois PCs envolvidos nos testes, voc dever instalar cada um dos programas
abaixo, fazer os testes indicados e estar atento as informaes/anlises solicitadas para cada um deles. Antes de executar
cada um dos programas de teste feche todos os demais programas (de preferncia reinicie o computador). Durante o teste,
no mexa no computador, a fim de evitar alteraes nos resultados.
No caso de estar testando um computador equipado com um processador com tecnologia que simula mltiplos
ncleos/threads (como HyperThreading1 da Intel, que existe em alguns processadores a partir do Pentium 4), esteja atento
para este fato ao configurar os programas e fazer os julgamentos corretos! O fato de ter HT pode inclusive enriquecer sua
anlise, ao responder ao principal questionamento neste sentido: Quanto se ganhou com o HT (ncleos virtuais) se
comparado a uma CPU com o mesmo nmero de ncleos reais?.

Super PI
Efetue os seguintes testes:
1.

Tempo mdio necessrio para o clculo de PI com 4, 8 e 16 milhes de casas.

E responda as seguintes questes:

1.

Que tipo de teste esse programa faz? Quais so os componentes do computador que, na sua opinio, mais afetam
no desempenho do teste?

2.

No caso de um computador equipado com processador de mltiplos ncleos observe o uso do processador atravs
do gerenciador de tarefas. Ele usa os mltiplos ncleos? Comente este fato. (Dica: Observe o uso do processador
pelo processo SuperPI.exe no Gerenciador de Tarefas do Windows)

wPrime
Efetue os seguintes testes:
1.

O programa, ao ser iniciado, vem configurado para usar todos os ncleos disponveis. Neste primeiro teste, clique
em Run 32M e, aps concludo o teste, observe o tempo em View Scores. (OBS: Se o PC em questo tiver apenas
um ncleo, execute apenas o teste 2).

2.

Clique em Set Thread Count, configure o programa para usar apenas UM ncleo e volte a rodar o teste Run 32M
e tome nota do novo tempo em View Scores.

E responda as seguintes questes:

1.

Que tipo de teste esse programa faz? Quais so os componentes do computador que, na sua opinio, mais afetam
no desempenho do teste?

2.

Baseado nos testes acima, discuta o ganho obtido com o uso de um processador com mltiplos ncleos.

Se no souber do que isso se trata, pesquise na internet. Voc pode comear lendo o seguinte artigo:
http://www.hardware.com.br/guias/historia-processadores/hyper-threading.html

CINEBENCH
Este interessante programa pode testar tanto a CPU quanto a GPU (Placa de Video, no modo OpenGL). Alm disso, ele possui
duas verses, uma em 32 e outra em 64 bits. Para o caso do sistema de 64 bits, os testes abaixo devero ser feitos em
rodando AMBAS as verses do programa e comparados.
Antes de comear os testes, rode o programa (CINEBENCH Windows 32 Bit.exe ou CINEBENCH Windows 64 Bit.exe) clique
em File > Preferences... e observe, para o caso do processador ser de mltiplos ncleos, se o nmero de Threads est setado
para o mesmo nmero de ncleos. Aps isso, clique em File > Advanced Benchmark para ativar as opes de testes extras.
Agora, efetue os seguintes testes:
1.

Clique em Run ao lado de CPU e espere o teste ser completado. Tome nota do score (pontuao) deste teste.
(OBS: Se o PC em questo tiver apenas um ncleo, execute apenas o teste 2).

2.

Clique em Run ao lado de CPU (Single Core) e espere o teste ser completado. Tome nota do score (pontuao)
deste teste.

E responda as seguintes questes:

1.

Que tipo de teste esse programa faz? Quais so os componentes do computador que, na sua opinio, mais afetam
no desempenho do teste?

2.

A respeito do teste 1 e de acordo com a observao visual da sua execuo, procure responder:
a.

O que significam os quadrados que vo preenchendo e formando a imagem?

b.

Por que alguns parecem preencher a imagem mais rapidamente que outros? Explique.

3.

Aps ter feito ambos os testes (1 e 2) e considerando apenas o computador com processador multi-core, discuta o
ganho de desempenho usando todos os ncleos em relao a um nico ncleo.

4.

Para o caso do sistema de 64 bits, fez diferena o uso da verso de 64 bits em relao de 32 bits? Comente.

Fritz Chess Benchmark

Efetue os seguintes testes:
1.

Ajuste o programa para usar o nmero mximo de ncleos, no caso do computador equipado com processador
multi-core (o programa j vem previamente configurado para isso, apenas observe). Rode o teste e anote os
resultados. (OBS: Se o PC em questo tiver apenas um ncleo, execute apenas o teste 2).

2.

Ajuste o programa para usar apenas um ncleo. Rode o teste e anote os resultados.

E responda as seguintes questes:

1.

Que tipo de teste esse programa faz? Quais so os componentes do computador que, na sua opinio, mais afetam
no desempenho do teste?

2.

Discuta as diferenas entre os resultados dos testes 1 e 2 no caso do computador equipado com processador multicore.

Winrar
Sim, isso mesmo. O famoso Winrar tem um teste que mede a performance do sistema na compresso de dados. Para tanto,
instale a verso a verso de 64 bits e efetue os seguintes testes:
1.

Clique em Ferramentas > Performance. Observe que a opo Multi-cabealhos dever estar ativada por padro.
Ele indica que sero utilizados todos os ncleos que o processador tiver, ou seja, rodar no modo multithread.
Deixe-o ativado neste primeiro teste caso o computador seja equipado com processor multi-ncleos. Aguarde
alguns instantes at a medida estabilizar e tome nota o valor Resultante, KB/s. O que esse valor significa? (Dica: o
Help pode trazer algumas informaes teis na sua resposta).

2.

Desmarque a opo Multi-cabealhos. Isso restringir o uso do processador a uma nica thread (um ncleo
apenas ser usado) e o teste reiniciar. Anote o resultado e critique em relao ao primeiro teste.

3.

Desinstale a verso de 64 bits e instale a verso de 32 bits. Repita os passos anteriores e constate se houve alterao
e mensure-a.

AIDA64
Voltaremos ao AIDA64. Apesar deste ser principalmente um programa de informaes sobre o sistema, ele possui um
conjunto de testes de Memria e Processador.
O primeiro teste fica no menu Ferramentas > Benchmark de Memria e Cache. Ao rodar o teste, ele testar a memria e os
diferentes nveis de cache nos quesitos Leitura, Escrita, Copia e Latncia. Feito isso:
1.

Compare o quanto os caches so diferentes entre si no na questo da performance (em todos os quesitos) e
principalmente em relao a memria principal (RAM). Leve em conta a teoria abortada em sala de aula.

2.

Sabendo que a latncia o tempo que a CPU precisa esperar por um dado quando solicita ao cache ou a memria
principal, discuta o quanto se perde quando um dado necessrio precisa ser buscado na memria principal quando o
mesmo no se encontra em algum nvel de cache.

O segundo testes fica na seo Comparaes (o ltimo item da rvore de opes esquerda). Clique sobre ele com o boto
direito e escolha Relatrio Rpido em formato MHTML. Aps finalizados todos os testes, ele exibir os resultados de cada
teste em meio a diversos outros sistemas de referncia.
Anote os valores que cada sistema testado (o sistema testado fica em amarelo e negrito) e monte uma tabela comparativa
entre os dois computadores que voc est analisando. Tome algum tempo tambm analisando os resultados do seu
computador em relao aos demais exibidos na lista de referncia. OBS: Despreze os resultados dos testes de memria. Eles
j foram executados antes. Atenha-se aos testes CPU e FPU (Unidade de Processamento de Ponto Flutuante)

PC Wizard 2012
Agora voc usar o PC Wizard na guia Benchmark e far diversos testes em diferentes componentes do computador.
Nenhum dos testes exige configurao. Basta clicar no referido cone e aguardar a execuo do teste. Abaixo so listados
cada um deles. (OBS: No caso da verso mais nova travar ou fechar inesperadamente no computador de modo a
impossibilitar os testes, tente usar a verso mais antiga, em ambos os computadores)
Processor Benchmark
De posse dos resultados, observe que h trs resultados diferentes para este teste. Pesquise e explique o que significam.
(Dica: Os dados de Processor Technology na aba Information podem ajudar). Alm disso, critique esses resultados.
Multi-thread Benchmark
Este teste especfico para o computador que tem processador multi-core. Ele roda usando diferentes configuraes.
Observe, interprete e comente os resultados.
Cache and Memory Benchmark
Este teste mede a performance das memrias cache e a RAM principal. Observe a pontuao e latncias (agora medidas em
ciclos) dos caches em relao Memria Principal (RAM). Discuta esses valores (h valiosas informaes do ponto de vista
didtico neste teste).
Memory Global Benchmark
Este teste testa a largura de banda (em MB/s) da Memria Principal. Ele traa um grfico mostrando como esse valor varia
dependendo do tamanho do bloco de dados que est sendo movimentado (CPU-Memria). Comente esses resultados.

TrueCrypt
2

Esse talvez o programa de criptografia mais conhecido e usado no mundo. E visto que ele faz todas as operaes em
tempo real, vital que ele seja rpido. Existem vrios algoritmos de criptografia, que variam nos quesitos de segurana,
desempenho, etc. Focaremos-nos aqui apenas no desempenho computacional. E para tanto, usamos a ferramenta de
benchmark do prprio TrueCrypt em diversos cenrios. O ambiente de teste mais rico didaticamente algum computador
3
4
multi-core dotado de Acelerao AES . Apenas CPUs mais recentes tem esse recurso . No mundo Intel, basicamente todos os
i5 e i7 de segunda e terceira gerao, a saber, os Sandy Bridge e os Ivy Bridge. No site da Intel 5 possvel encontrar uma lista

http://pt.wikipedia.org/wiki/Criptografia
http://www.truecrypt.org/docs/?s=hardware-acceleration
4
Lista das CPUs que tem instrues de acelerao AES: http://en.wikipedia.org/wiki/AES_instruction_set#Supporting_CPUs
5
http://ark.intel.com/search/advanced/?s=t&AESTech=true
3

de todas as CPUs que tem as instrues de acelerao AES. Os AMDs mais novos, Bulldozers e Piledriver, tambm possuem
instrues de acelerao AES.
Pois bem, AES apenas um dos vrios algoritmos. No entanto o mais usado. Por isso que os processadores modernos
incorporam as instrues que aumentam consideravelmente a velocidade desse algoritmo.
Efetue os testes abaixo e faa todos os comentrios cabveis a respeito do que pode ser observado:
1.

Abra o programa atravs do cone que fica no tray

(ao lado do relgio do Windows). A ferramenta de
Benchmark fica no menu Tools > Benchmark...
Observe o nmero de threads (equivalente ao
nmero de ncleos do processador) e se o
processador suporta AES acelerado por hardware.
No exemplo ao lado (um i5 de segunda gerao
Sandy Bridge) ele suportado. Execute o teste e
anote os resultados de todos os algoritmos.

2.

No caso do computador que suporta acelerao AES

por hardware (como o caso da imagem ao lado),
v em Settings > Performance... e desabilite o
primeiro item em Hardware Acceleration. Volte
fazer o benchmark e observe o que aconteceu.

3.

Caso o teste 1 esteja sendo feito num computador que suporte mltiplas threads, v at o menu Settings >
Performance... e no segundo item, coloque no valor mximo, que ser equivalente ao nmero de ncleos da CPU 1. Fazendo assim, voc est forando o programa a atuar no modo single-thread. Acate o aviso de reiniciar.

4.

Repita o teste 3 agora habilitando novamente a acelerao AES por hardware.

Enfim, perceba que os diversos testes acima visam submeter o programa a diversos cenrios: com e sem acelerao AES por
harware, com multithread e sem multithread, etc... alm, claro, de comparar quanto o desempenho de computadores de
diferentes eras pode ser diferente em algoritmos desse tipo (criptografia).

HDTach
Esse um velho e conhecido programa de testes de HDs. To velho que ele exige o Windows 2000 ou XP. No entanto, ele
funciona perfeitamente no Windows 7, contando que voc localize o executvel (digitando hdtach na caixa de busca de
programas do Windows 7), clique com o boto direito sobre hdtach.exe e pea as propriedades. Na guia compatibilidade,
configure-o para executar no modo de compatibilidade com o Windows XP. D OK e pronto!
Rode o programa e selecione um HD para que seja feito o teste. Uma tela semelhante exibida abaixo ir aparecer.

De posse desses resultados:

1.

O grfico dar resultados decrescentes, semelhante aos exibidos acima. Responda por que isso acontece, baseado
na teoria vista em sala.

2.

Descubra a velocidade do barramento a qual o dispositivo est conectado (por exemplo, ATA-100/133 para
dispositivos antigos e SATA 150/300/600 para os mais novos) e, de posse do resultado real (barra vermelha) discuta
o quo prximo o valor real est do valor terico.

3.

Visto que estamos testando um HD, compare esses resultados com a performance de um SSD (voc no precisa
testar um, basta pesquisar na internet tais valores no caso de um SSD moderno). OBS: Esse programa no testa de
maneira consistente um SSD!

RELATRIO
Seja criativo! Monte tabelas, grficos, etc. Avalie/critique o mximo possvel os resultados dos testes. Use as perguntas
descritas como guias e no como um simples questionrio. V alm de simplesmente responder ao que se pede. Faa
conjecturas e verifique, com testes, se elas esto certas. Para cada um dos programas usados, pesquise na internet
informaes sobre eles, como funcionam, etc.

CONCLUSO
Pronto, chegou a hora de voc responder da maneira mais abrangente possvel a simples questo:

O que voc pode aprender com esse trabalho?

Capriche na concluso pois ela ter enorme peso na avaliao feita pelo professor (e, consequentemente, na nota). V at as
informaes adquiridas em cada um dos testes e avalie tudo o que puder. Faa referncias ao contedo terico de sala de
aula (livro/slides) sempre que possvel. No sabe a que concluso chegar diante de determinado teste? Pesquise na internet,
discuta com seus colegas, eventualmente pergunte ao professor (algumas coisas ele propositalmente no te responder ).
Acredite, o professor perdeu algumas noites de sono pensando em cada aspecto desse trabalho. E sim, ele fez todos os
testes possveis antes de te solicitar. Corresponda a altura!

ENTREGA
A data limite para entrega do trabalho, via email do professor, o dia 15/02 at as 23:59.
O trabalho dever ser entregue em formato PDF, com a nomenclatura [AOC 2012-2] Trabalho 1 - Aluno1, Aluno2, Aluno3.
Siga estritamente as regras acima, ou seu trabalho poder ser desclassificado. Principalmente as normas de nomenclatura.
O objetivo facilitar a correo/anlise por parte do professor.

Bom Trabalho!