Avaliao de desempenho de aplicaes distribudas atravs da anlise de trfego de rede utilizando MapReduce

Thiago Pereira de Brito Vieira tpbv@cin.ufpe.br

Agenda

Problemas Reviso da Literatura Proposta Resultados Trabalhos Futuros Referncias

Problemas

Teste, depurao e avaliao de sistemas distribudos

Dinamicidade escala e carga do ambiente; Erros que s ocorrem sob determinada circunstncia; Comportamento sujeito a diversas variveis, dificultando a reproduo de casos; Possveis Solues

Profiling Instrumentao Simulao/Emulao Testbeds Avaliao Passiva

Problemas

Outros problemas

Desenvolver aplicaes distribudas difcil, mas h plataformas que auxiliam(JXTA, Pastry, XMPP, OSGI, etc) Middlewares facilitam o desenvolvimento mas trazem limitaes JXTA j foi avaliado? Como saber o comportamento hoje e amanh? H ferramentas para avaliar o JXTA?

Instrumentao reduz desempenho

Reviso da Literatura

Avaliao de Sistemas distribudos Avaliao do JXTA Anlise de trfego de rede MapReduce em tempo real

Reviso da Literatura

Avaliao de Sistemas distribudos

[Gupta et al. 2011] Diecast: Testing distributed systems with an accurate scale model. Emulao de redes escalveis, uso de mquinas virtuais multiplexadas e dilatao de recursos Acurcia e possibilidade de aumento de escala e realismo em testes de servios de rede Apresenta os mesmos problemas do uso de simulaes

Reviso da Literatura

Avaliao do JXTA

[Halepovic and Deters 2005] Halepovic, E. and Deters, R. (2005). The jxta performance model and evaluation

Reviso da Literatura

Avaliao do JXTA

[Halepovic and Deters 2005] Halepovic, E. and Deters, R. (2005). The jxta performance model and evaluation

Reviso da Literatura

Reviso da Literatura

Reviso da Literatura

Avaliao do JXTA

[Halepovic et al. 2005] JXTA Messaging: Analysis of Feature-Performance Tradeoffs and Implications for System Design

Reviso da Literatura

Reviso da Literatura

Avaliao do JXTA

Avaliaes realizadas para verses antigas No h ferramenta para a repetio da avaliao Ainda necessrio saber o comportamento do sistema em diferentes circunstncias

Reviso da Literatura

Anlise de trfego de rede

Lee et al(Lee et al. 2011) apresenta uma ferramenta baseada no Hadoop para processamento de pacotes de rede, atravs do uso de MapReduce e HDFS. Avaliao limitada, com simples comparao e uso aplicado a fluxos, semelhante ao NetFlow.

Reviso da Literatura

Anlise de trfego de rede

Alguns trabalhos j foram propostos para o uso do MapReduce em processamento em tempo real, mas no para o processamento de trfego de redes O Hadoop utilizado para fornecer servios de mensagens em tempo real no Facebook4 , conforme descrito em (Borthakur et al. 2011). Storm utilizado pelo Twitter

MapReduce em tempo real

Proposta

Desenvolvimento de uma ferramenta para avaliao de desempenho de aplicaes distribudas atravs da anlise de trfego de rede utilizando MapReduce

Proposta

Objetivos

Uma ferramenta capaz de avaliar, em tempo prximo ao real, aplicaes distribudas Demonstrar o desempenho da tcnica na anlise de contedo de pacotes da camada de aplicao Apresentar ganhos em relao proposta de Lee et al. Obter dados para recriar o comportamento de um sistema em simuladores Obter dados para reconfigurar uma rede de acordo com seu comportamento ou de uma previso

Proposta

Objetivos

Realizar uma avaliao do JXTA nas verses mais atuais Ter uma ferramenta de apoio no desenvolvimento e refactoring de aplicaes ditribudas

Proposta

Workflow da soluo
1.Captura dos pacotes nas fontes de dados escolhidas, em arquivos de 64MB 2.Armazenamento dos dados no HDFS 3.Processamento dos dados 4.Armazenamento dos resultados 5.Expurgo dos dados processados

Proposta

Arquitetura

Resultados

Parser de mensagens do JXTA (estvel)

Resultados

Reconhecimento do protocolo de Socket Reassembly de mensagens JXTA Obteno do throughput obtido em cada transmisso de um socket

Resultados

Tempo(ms) x Mensagens de 256KB

500 450 400 350 300 250 200 150 100 50 0 3 1 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69 71 73 75 77 79 81 83 85 87 89 91 93 95 97 99 Column A

Trabalhos Futuros

JXTA Socket

Testes e ajustes com dados salvos em n-arquivos (2 dias) Testes e ajustes para tratar paralelismo (2 dias) Obteno do RTT das mensagens (2 dias) Avaliar estes indicadores com recurso de alto desempenho na EC2 da Amazon (5 dias) Executar o processamento de grande quantidade de dados utilizando o EMR da Amazon (---) Ajustes e reviso do trabalho realizado (12 dias) Submisso dos resultados para publicaes (16/04)

Trabalhos Futuros

UStore

Reconhecimento do protocolo de transmisso de dados atravs de HTTP (Abril/Maio) Avaliao de desempenho do uStore durante sua execuo (Maio) Submisso dos resultados para publicaes (??/??)

Trabalhos Futuros

Processamento em tempo prox. ao real

Avaliao do Storm para processamento em tempo real (Junho) Tunning e melhoria da aplicao (Julho/Agosto) Submisso dos resultados para publicaes (??/??)

Escrita da dissertao e refinamentos (Setembro/Outubro)

Principais Referncias

[Gupta et al. 2011] Gupta, D., Vishwanath, K. V., McNett, M., Vahdat, A., Yocum, K., Snoeren, A., and Voelker, G. M. (2011). Diecast: Testing distributed systems with an accurate scale model. ACM Trans. Comput. Syst. [Halepovic and Deters 2005] Halepovic, E. and Deters, R. (2005). The jxta performance model and evaluation. Future Gener. Comput. Syst.. [Halepovic et al. 2005] JXTA Messaging: Analysis of Feature-Performance Tradeoffs and Implications for System Design

Principais Referncias

[Lee et al. 2011] Lee, Y., Kang, W., and Lee, Y. (2011). A hadoop-based packet trace processing tool. In Proceedings of the Third international conference on Traffic monitoring and analysis, TMA11, pages 5163, Berlin, Heidelberg. SpringerVerlag. [Borthakur et al. 2011] Borthakur, D., Gray, J., Sarma, J. S., Muthukkaruppan, K., Spiegelberg, N., Kuang, H., Ranganathan, K., Molkov, D., Menon, A., Rash, S., Schmidt, R., and Aiyer, A. (2011). Apache hadoop goes realtime at facebook. In Proceedings of the 2011 international conference on Management of data, SIGMOD 11.

Obrigado!