AnliseeModelagemdeDesempenhode SistemasdeComputao VirgilioA.F.

Almeida
1o Semestrede2009 Introduo:Semana#1

Computer Science Department F d Federal l University U i it of f Minas Mi G Gerais i Brazil

Quemandaestudandoperformance?
Terica:construoedesenvolvimentodemodelosanalticos Experimental:monitoramento,medioeteste Aplicaes: Engenhariadesoftware:requisitosnofuncionais Arquiteturadecomputadores Redes, Redes sistemasparalelosedistribudos SistemasOperacionais Robtica Recuperaodeinformaes InternetWeb Aplicaescriticas:corporativas,seguranapblica,defesacivil.

ConceitoseNotas
Provas (2): 25 + 25% Participao em Aulas: 15% Projeto: 35 % No h normalizao de notas. UsoconstantedapginaWeb: www.dcc.ufmg.br/~virgilio g / g

Programa
Week1:IntroductiontoPerfomanceModeling:conceptsandexamples Week2: ComputerSystemLifecycleandFromSystemstoDescriptiveModels Week3:QuantifyingPerformanceModels RecentOperationalAnalysispapers Weeks4:PerformanceEngineering g gMethodology gyandCaseStudy yI:ADatabase Service Week5:MulticlassOpenQueuingNetworkModels Weeks67:CaseStudyII:AWebServerandMulticlassClosedQueuingNetwork Models Week8:CaseStudyIII:DataCenterCapacityPlanning Recentstudiesof capacityplanningandperformancemodelingofGoogle Google,YahooandFlickrdata centers Week9:MarkovModels PageRankalgorithms DeeperInsidePageRank Week10:NonProductFormQueuingNetworkModels Week11:SimulationModels Weeks1215:Examsandtests

RefernciaBsica

Referncias

Lista deArtigos p p g g g http://homepages.dcc.ufmg.br/~virgilio/ 5.References

Oqued desempenho? h ?

Oquedesempenho?
[Aurlio] desempenho.[Dev.dedesempenhar.]s.m., 1. Atoouefeitodedesempenhar(se). 2.Mil.Conjuntodecaractersticasoudepossibilidadesde atuaodeumaaeronave,taiscomovelocidadede cruzeiro,velocidadedepouso,capacidadedecarga, autonomiadevo,etc. 3.Teat. V.interpretao.

Oquedesempenho?
[Webster] per.for.mancenp*(r)form*n(t)s\ 1 a:the 1. h execution i of fanaction i b:somethingaccomplished:DEED,FEAT 2. :thefulfillmentofaclaim,promise,orrequest: IMPLEMENTATION b:apublicpresentationorexhibtion 4. a:theabilitytoperform:EFFICIENCY b:themannerinwhichamechanismperforms p 5.:themannerofreactingtostimuli:BEHAVIOR

3. a:theactionofrepresentingacharacterinaplay

Oque,comoeporqu?
Oquedesempenho?
Medida M did da d capacidade id d de d resposta de d umsistema i

Comoanalisarodesempenho p deumsistema?
Medies,anlisequantitativa Mtricasdedesempenho

Porq qu?
Aspectochavenoprojeto,compraeusodeumsistemade computao
Ex:desempenhodesistemasdaWebchavenodiaadiacontemporneo, transaes bancrias, ,servios, ,etc

Paraqu?
Identificarpontosdecontenoe/oudedesperdciodeum sistema Avaliarmltiplasalternativasdeprojetoe/ouimplementao deumaaplicao Determinarconfiguraotimadosparmetrosdeum sistema Fazerprevisodedesempenhoemfunodocrescimentoda carga Planejamentodecapacidade Validao(identificaodeerrosdeimplementao)

Complexidade
Ambientescomplexosedinmicos
Sistema Si =hardware h d +SO+aplicaes li Surgimentodenovasaplicaes Arquiteturasparalelas,multicore

Dependnciadacarga:
Comportamentodeusurioimprevisvel Mudanas drsticas:flashcrowds(11/9, ( indiamumbai,etc) )

Requisitos(QoS)
ServiceLevelAgreement(SLA) Tempoderespostainferiora1segundo Taxade d processamentosuperioraXtransaes porseg( (quantosno google?)

Google: g complexidade p
2008 Worldwidesearcheson GoogleinJuly:48.7billion Worldwidesearcheson MicrosoftinJuly:2.3 billion Worldwidesearchesper houronGoogleinJuly:65 million illi Worldwidesearchesper houronMicrosoftinJuly: 3.1million

Make Data Useful

GregLinden

 [Help] [ p]people p p f findand discoveranything theywantto buyonline Jeff ffBezos

Helppeoplefindanddiscover anything online

Encourage Encourageexperimentation ...asmuchof fitasp possible JeffBezos

What h is i the h goal? l?

Cli k Clicks Revenue Retention Traffic Customer acquisition Ti Time on site it Visitors

Measure Learn Optimize Iterate

Usersreally yrespond p tospeed. p

Marissa M i Mayer, M google l

+500ms20%traffic @Google

+100ms @Amazon

1%sales

Speed matters!

C Communications i ti of fACM ACM:F February b 2009

P f Performance M Metrics ti

Filas, ,gargalos, g g ,espera p

Fila:queuingsystem

omodelobsico
Tempo resposta: E[T]

jobs

: Taxa mdia chegada (jobs/sec)

: Taxa mdia de servio (servidor)

= / < 1: Carga mdia (utilizao)

roteadores processadores locks de bancos de dados Web servers pontos de acesso a wifi threads .

realdiferente.
SRPT
eo QoS? Eag gerncia de energia?

T Tempo de d resposta mdio di

Ea impaciencia do usurio

E o conceirto de E os sistemas fairness ? multi-core, multi core Usurios reais so E se os tamanhos multi servers? interativos no so conhecidos?

MtricasdeDesempenho
Requisio para servio i Corretamente Realizada Sistema Incorretamente Erro j Probabilidade Tempo T mp entre t erros Durao do evento Tempo entre eventos Tempo Taxa Recurso

No realizada li d

Evento k

MtricasdeDesempenho p
Tempoderesposta(total, (total porcomponente) Taxadeprocessamento(throughput)
Transaes/s, / HTTPrequests/s, / sesses/s, / I/O/s, / / etc.

Utilizao Disponibilidade(falhasousobrecarga)
Controledeadmisso Disponibilidadevs.tempoderesposta

Confiabilidade Custo

MtricasdeDesempenho p
Segurana:confidencialidade,integridade
autenticao

Extensibilidade:fcilevoluoparaincluirnovosrequisitosfuncionais ededesempenho Aescolhada(s)mtrica(s)maisadequada(s)chaveparaosucesso deumaavaliaodedesempenho

Eliminarredundncias(tempodeesperaetamanhodafila) Evitarmtricasquetmaltavariabilidade(ex:razodeduasvariveis) Oconjuntodemtricasdevesercompleto(ex:melhorprotocolocausamaior #dedesconexes) Asmetricasdevemserrealisticasemensurveis!!!!!

Mtricasdevemserpossveisdeseobter!

AvaliaodeDesempenho
Modelagemanaltica:
Conjuntodefrmulase/oualgoritmosquedeterminamasmedidasde desempenho(mtricas)emfunodeumconjuntodeparmetrosdecarga (entrada) Modelosdeterminsticos:anlisedelimitesedevaloresmdios Modelosprobabilsticos:processosestocsticos,modelosdefilas Modelosdesimulao

Experimentao E i t emsistemas it reais i

Instrumentao Monitorao

Teste comsistemas reais

PARACASA:LER CAPTULO 1
MENASC, DOWDY&ALMEIDA

ModelodeSistema
Carga g

Sist m Sistema
(hw ou sw)

Servio Modelo:representaodocomportamentododesempenho dosistema Etapas tapasp principais: c pa s:

Caracterizaodocomportamentodousurio/carga:taxade chegada, g ,tempo p deservio Mediesnosistema:utilizaoderecursos,nvelde multiprogramao p g Mediesnoservio:tempoderesposta,taxadesucesso

ExemplosdeAplicao
Modelagem M d l analtica l i responde: d
Comootempoderespostadeumbancodedadosdetransaes variacomataxadetransaes? QualoimpactonotempoderespostadeumupgradedeCPU?De disco? Emmdia,qualonmerodeprocessosqueficambloqueadosno semforoXdaaplicaoY?

Simulaoresponde:
Qual Q ap polticadereplicao p decontedoq queresultaemmaior bytehitratio?

Experimentaoresponde:
Quaisosprincipaiscomponentesdotempoderespostaemum servidorWeb? QualoimpactodomecanismodeslowstartdoprotocoloTCPno desempenhodeservidoresWebtradicionais?

SeleodaTcnicadeAvaliaode Desempenho
Modelagem d l analtica l
Podemserrazoavelmenteprecisasesimples Baixocusto:fornecemresultadosrpidos Facilitaprojetoeconfiguraodosistema:melhora conhecimentosobreele
avaliaodoscompromissosentrevriosparmetros impactodecadaparmetro

Respondeperguntasdotipowhatif Capturaaspectosmaisgeraisdofuncionamentodosistema
nocapturaalgunsaspectosdofuncionamento.

SeleodaTcnicadeAvaliaode D Desempenho h
Simulao
Customaiselevado:simulaodevecobrirestadoestacionrio,vrias execues Capturadetalhesdofuncionamentodosistema Respondeperguntasdotipowhatif

Experimentao
Altacomplexidade,muitasvariveis:altocusto Difcilavaliarimpactodefatoresisolados:faltadecontrole Altaprecisoseesomenteseexperimentaorealizadacorretamente

SeleodaTcnicadeAvaliaode Desempenho
Critrio Estgio Tempo necessrio i Ferramenta Preciso Avaliaode Compromissos C Custo Modelagem Analtica Qualquer Pequeno Anlise Simulao Qualquer Mdio Linguagemde P Programao Varivel Mdio Mdi Mdio Experimentao Apsprottipo Varivel Instrumentaoe M it Monitorao Difcil G d Grande

Fcil P Pequeno

AbordagemSistemticaparaAvaliao d Desempenho de D h
Definirobjetivoseescopo(sistema) Listarserviosesadas Selecionarmtricasdedesempenho Listarparmetros Selecionarfatores paraestudo Selecionartcnicadeavaliao Selecionarcargadetrabalho Projetarexperimentos Analisareinterpretardados(resultados) Apresentarresultados

ObjetivoseEscopo

Definirobjetivosdoestudoessencialparadefinir escopo Definirescopochaveparaasdemaisescolhasde mtricas,cargas,tcnicadeavaliao E Exemplos: l D Dadas d 2CPU CPUs

Objetivo1:estimarimpactonotempoderespostadeusurios i t ti interativos
Escopo:sistemadetimesharing,resultadodependedeoutrosfatores externosaCPU Escopo:somentecomponentesinternosdaCPU

Objetivo2:CPUsosimilarescomexceodaALU

Medies

MtricasdeDesempenho
Escolhaespecficaparaestudo,apartirdalistadeserviosepossveissadas Execuocorreta:desempenho,escalabilidade tempode d resposta,taxade d processamento(servio), ( ) utilizao l de d recursos Execuo incorreta:confiabilidade identificaodasclassesdeerros probabilidadedecadatipodeerro,tempoentreerros Noexecuo:disponibilidade Identificaodaspossveiscausas Uptime(%tempodisponvel) disponvel),probabilidadededowntime, downtime tempoentrefalhas(MTTF=MeanTimeToFailure)

Mtricas t cas
SystemStatistics

TempodeResposta
Intervalodetempoentrerequisiodousurioearespostadosistema Definiodointervalotemqueserclara: Incluitempoentremomentoqueusurioterminacomandoesistema iniciaexecuo? Incluitempoentreincioetrminodageraodaresposta? p cominflunciadevriossubsistemase Podecontervrioscomponentes, dacargaduranteexecuo Ex:time<programa>(Unix) 3,5real0.2user0.9sys real (user+sys)=2.4segundosgastosONDE???

Slowdown
Causadopor: operaesdeI/O(leituras (leituras,escritas escritas,paginao) tempoderede tempogastoemoutrosprogramas(escalonamento) ( l ) contenoporrecursos:filasdosrecursos Tempoderesposta=tempodeservio+temponasfilas TR=TS+TF Slowdown=TF/TS:impactodotempodefila

Speedup
Single_Core_App_Time Speedup_Factor = Multi_Core_App_Time

Multi_Core_Mhz _ _ = Single_Core_Mhz g _ _ * Speedup_Fac p p_ tor

Note:Multi_Core_App_Time assumestimetocompleteSingle_Core_App_Time distributedamongNcorespluscommunicationtime.

TaxadeProcessamento

Out O taxad deservio: i quantidade tid d d deservio i executado t d por unidadedetempo(throughput) Capacidadenominal:capacidadeespecificada pelofabricante
Ethernetde1Gbps Discocom40Mbps

Capacidadetil:throughputmximoalcanvel
Ethernet100:7080Mbps

TempodeRespostaxTaxadeServio
nominal Throughput

joelho

til

Joelhodacurva= pontotimodeoperao Tempo p de Resposta Carga

OutrasMtricas

Eficincia:capacidadetil/capacidadenominal Utilizao:%tempoquerecursoestexecutandoservio
Tempoocioso(idletime)

Custobenefcio=custo/desempenho
custoportaxadeservio US$/consultas/s,

Mtricasespecficas
%Perdadep pacotes, ,tamanhodasrajadas j dep perdas Qualidadedosinal

EscolhadasMtricas

Incluirmtricaspara p
Execuocorreta,incorretaenoexecuo

Avaliar
Mdia, ,mediana, ,p percentis Varincia,coeficientedevariabilidade(CV) Distribuies Medidasindividuais,agregadas,porclasses

EspecificaodeRequerimentosde D Desempenho h

Especificaodeveserprecisaerealista P bl Problemas:
Faltadeespecificaonumrica osistemadevesereficiente... osistemadeveserrpido... Mtricasdifceisdeavaliar Especificaonorealista osistemanodeveproduzirrespostascomerros

EspecificaodeRequisitosdeDesempenho
Comofazer:
1. EscolhaumservioS 2 EscolhaumamtricaM 2. 3. EscolhaumvalormximoXparaamtricaM

Opes:
1. mdiaentrevaloresobservadosparaMparaoservioSdeve sermenorqueX:SIMeNO!(variabilidade) 2. X%%(Xgrande)dosvaloresobservadosdevemsermenoresdo queX:SIM!!!

AcordodeNveldeServio(SLA)

Exemplos:
RTT<100msparaconexesdentrodosEUA SistemadeveestardisponvelX%dotempo X=99%7.2horas/msdowntime X=99 99.9% 9%43minutos/msdowntime X=99.999%26segundos/msdowntime

ExemplosdeSLAsdedisponibilidade(Os5x9s)
AT&Tswitches:2hsdedowntimeem40anos Cisco,HP,MS,Sun:garantem99.999%dedisponibilidade (5min i /ano / downtime) d ti )

``Do o Web Measurements easu e e ts Measure easu e Up? Up?, , Andrew d ew Ce Certain, tai , Amazon, azo , WWW 2002 00 Conference, May 2002

Disponibilidade C t Downtime Custos D ti (US$/hora) (US$/h )

Brokerageoperations Creditcardauthorization Ebay y( (1outage g 22hours) ) Amazon.com Packageshippingservices Homeshoppingchannel Catalogsalescenter Ailinereservationcenter C ll l service Cellular i activation ti ti Onlinenetworkfees ATMservicefees f $6,450,000 $2,600,000 $225,000 $ , $180,000 $150,000 $113,000 $90 000 $90,000 $89,000 $41 000 $41,000 $25,000 $ $14,000

Fonte:InternetWeek4/3/2000+FibreChannel:AComprehensiveIntroduction, R.Kembel2000,p.8....BasedonasurveydonebyContingencyPlanningResearch

Parmetros

Listarparmetrosqueafetamdesempenho
Parmetrosdosistema:softwareehardware
CPU,memria,disco,controladora,tamanhodebuffer(cache),polticas deescalonamento

Parmetrosdecarga:usurio(imprevisvel)
Tamanho,tipoefrequnciadasrequisiesaservios

Eliminarparmetrosredundantese/ounormalizar
Ex:servidordevdeo: Taxadechegada,TamanhodoarquivoT(minutos)

Impactonosistema:N=T Noprecisavariar eTisoladamente,masapenasoproduto N

Fatores

Parmetrosquevovariarnoestudo
V i =nvel Variao l Escolha:parmetroscommaiorimpactoecontrolvel Comearcompoucosparmetrosenveiseestenderapartirda avaliaodosresultados Prefervelmaiornmerodeparmetrosepoucosnveis(Por que???)
Avaliaoinicialdoimpactorelativodecadaum Refinamentosposteriores

TcnicadeAvaliao

Aescolhadepende:
Escopo p ( (aspectos p g geraisxdetalhes) )eestgio g Tempoerecursosdisponveis Precisodesejada

Sejaqualforaescolha, escolha desconfie desconfie...

Noacreditenosresultadosdesimulaoatquesejam validadosporanlisesouexperimentos Noacreditenosresultadosdemodelosanalticosatque sejamvalidadosporsimulaoouexperimentos Noacreditenosresultadosdeexperimentosatquesejam validadospormodelosanalticosousimulao

NECESSRIOVALIDAROSRESULTADOS!!!

CargadeTrabalho

Cargabaseadanalistadeserviosdosistema Deveserrepresentativadosistemareal
Caracterizaodascargas

Cargassintticasvs. vs cargasreais
Cargasreais:traces Cargassintticas:modelobaseadoemdistribuiesestatsticas

importante p definirnveldeagregao g g (classes) ( )

Agregao:Exemplo1
Vriastarefas,demandaporCPU
Tarefa T1 T2 T3 T4 T5 T6 T7 T8 Tempomdiode utilizaodeCPU(s) 10 0.7 0.04 12 0.8 1 0.5 0 01 0.01 Mdia = 3.13

Agregao:Exemplo1
Vriastarefas,demandaporCPU
Tarefa T1 T2 T3 T4 T5 T6 T7 T8 Tempomdiode utilizaodeCPU(s) 10 0.7 0.04 12 0.8 1 0.5 0 01 0.01 Classe A B C A B B B C

Mdia A = 11 Mdia B = 0.67 Mdia C = 0.025

Agregao:Exemplo2
Tempoentrechegadaderequisiesemumservidor devdeoemumdiatpico
Perodo 3:006:00 7:0012:00 12:0020:00 20:003:00 Taxadechegadas (#reqs/min) 0.067 1.67 3.33 0.033 Tempomdioentre chegadas(min) 15 0.6 0.3 30

Agregaotambmpodeocorrernotempo

Agregao:Exemplo3
Tempo p entrechegada g deemailsnoservidorcentralda UFMGemumdiatpico
Perodo 1:006:00 7:0018:00 19:0024:00 Taxadechegadas(#e mails/hora) ) 550 1800 550

Agregao A tambm t b pode d ocorrernotempo t Esevocdimininuirointervalo,oquedeve acontecer? t ?

Agregao: g g Exemplo p 4
%dovdeoassistidoemcadainteraodeumusurio emumvdeoeducacional(utilizaode bandadoservidor)
Tamanho h d do Vdeo(min) 0 5 5 20 20 55 %Vdeo d assistido i id por interao 57% 17% 7%

ExperimentoseResultados

Projetodosexperimentosapartirdadefiniodos fatoresenveis
Anlisedesensibilidade:
Esepremissasfeitasnoforemverdadeiras?

Anlisedosresultados
Tratamentoestatstico
Duraodasimulaoe/ouexperimentosuficiente Nmeroderepetiescomsementesdiferentesparacapturare/ou filtrarvariabilidade

Importantetransformarnmerosemconcluses

Apresentao:grficossignificativos Reavaliardecisestomadasepossivelmenterefazer estudo: d novociclo i l