Resenha do artigo Experimental Evaluation in Computer Science: A Quantitative Study

Rafael Alceste Berri

1. Introduo
No artigo Experimental Evaluation in Computer Science: A Quantitative Study (Avaliao Experimental em Cincia da computao: Um Estudo Quantitativo) escrito por Walter F. Tichy, Paul Lukowicz, Lutz Prechelt e Ernst A. Heinz em 1993 e desenvolvem um levantamento de 400 artigos da poca e sugerem que os cientistas da computao publicam poucos artigos com resultados validados experimentalmente. A abrangncia. No levantamento abrangeram-se um conjunto amplo de amostra de publicaes em Cincias da Computao (200 artigos), amostras aleatrias (50 ttulos escolhidos aleatoriamente entre todos os artigos publicados pela ACM em 1993) e artigos de dois peridicos Neural Computing (72 artigos) e Optical Engineering (75 artigos). O objetivo principal deste artigo mostrar se estudo precisa de experimentos e levanta-se a hiptese de que experimentos, em Cincias da Computao, muitas vezes so negligenciados. Esta afirmao sendo aceita nos remete a dizer que a Cincias da Computao pode ser inferior a cincias naturais, engenharia e aplicaes matemticas. Os autores criaram classificaes para catalogar o acervo pesquisado. Todos artigos portanto foram classificados como: Teoria Formal (formalmente tratvel: teoremas e provas); Projeto e Modelagem (sistemas, tcnicas ou modelos); Emprico (anlise de desempenho); Teste de hiptese (descrever hipteses e testar); e outros. Dos resultados apresentados pela pesquisa, pode-se destacar que em apenas dois artigos escolhidos aleatoriamente precisaram de validao experimental, 40% de todos os artigos no tinham experimentos.

2. Resenha Crtica
A escolha dos artigos a serem analisados na pesquisa foi bem feita, buscou e consegui formas de abranger os trabalhos acadmicos da poca. Essa abrangncia d credibilidade aos resultados da obra. A escolha dos 50 artigos aleatrios poderia ter sido melhor explicada j que foi descartado no processo cerca de 24 artigos. Os motivos para descartes foram pelo fato de no ter passado por reviso ou por no ter tido acesso ao artigo completo. Quanto ao fato de descartar os artigos sem reviso foi um deciso acertada por serem artigos de procedncia duvidosa, porm, os artigos no disponveis foi uma deciso equivocado abandon-los. Deveria ter sido localizado todos os artigos selecionados acervos onde se encontram para poder prosseguir as anlises. A classificao dos artigos procurou-se executar por uma pessoa (Paul), isso d uniformidade de avaliao, o que muito importante para se chegar a resultados consistentes. Foi procedente e inteligente esta escolha, apenas vale ressaltar que para os artigos do peridico Neural Computation foi escolhido outra pessoa para classifica-los e no se especifica o motivo.

As principais contribuies da obra foram: 1. Conseguiu constatar que em 40% dos artigos de Cincias da Computao faltam experimentos, comparando-se com artigos de outras rias o percentual cai para cerca de 10%; 2. Em 70% dos trabalhos de Cincias da Computao reserva menos de menos de 20% do seu espao para experimentos, enquanto artigos dos peridicos Neural Computation e Optical Engineering esse percentual sobe para 40% do espao; 3. Conferncias no so piores do que revistas; 4. A breve existncia do estudo da Cincia da Computao no o culpado para a deficincia dos experimentos, nem as dificuldades em realiza-los, pois na fsica, por exemplo, mais difcil a realizao dos experimentos, mas so essenciais e por isso so realizados; 5. Cincias da Computao como um todo negligencia os experimentos, no algo local e sim mais como cultural do meio.

3. Concluses
A constatao principal do artigo a respeito de que os autores da rea da computao precisam olhar mais para suas obras e buscando assim patamares cientficos mais altos. A cincia no precisa ser engessada a tal ponto que no se admita mais trabalhos sem experimentao ou verificao, porm se torna necessrio uma diminuio drstica nos percentuais de trabalhos com pouca ou nenhuma experimentao. prudente, e talvez o caminho, a definio de regras de como conduzir experimentos repetveis especficas para cincias da computao. importante que rgos de financiamento busquem promover a alta qualidade dos experimentos. Embora a obra tenha sido escrita h quase duas dcadas atrs, atual ainda hoje. Precisa-se sempre preocupar com a validao da cincia que feita em computao.

4. Referncias
Tichy, W.F. and Lukowicz, P. and Prechelt, L. and Heinz, E.A. (1995). Experimental evaluation in computer science: A quantitative study. Journal of Systems and Software, 28(1): 918.