Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

WiP Mobile
Testes da Verso Beta

Pgina 1 de 14

Miguel La-Salete | Nelson Silva | Vera Rodrigues

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

ndice

Introduo ........................................................................................................... 3 Inquritos realizados pr e ps-experincia ............................................................. 4 Resultados e anlise do inqurito pr-experincia .................................................... 5 Resultados e anlise do inqurito ps-experincia .................................................... 6 Resultados e anlise dos testes realizados .............................................................. 11 Concluso............................................................................................................ 14

Pgina 2 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Introduo
A realizao de testes verso beta de uma aplicao um ponto extremamente importante durante os processos de desenvolvimento e implementao. nesta fase que os utilizadores tm o primeiro contacto com a aplicao, servindo como ferramenta de avaliao e teste de todo o ambiente da aplicao. Com esta realizao de testes pretende-se ter uma noo mais real e objetiva da usabilidade e funcionalidade tanto a nvel tcnico como grfico do WiP Mobile. A amostra selecionada para o efeito ir testar a aplicao de forma a fazer despoletar bugs que at agora se encontram escondidos, assim como ainda ir avaliar toda a pertinncia e adequao ao WiP Mobile. Desta forma, estaremos a reunir condies que nos permitiro fazer uma anlise mais concreta e atempada de problemas a serem corrigidos para a verso final do WiP Mobile.

Pgina 3 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Inquritos realizados pr e ps-experincia

Para a realizao dos testes, decidimos utilizar uma amostra de 10 indivduos de gnero, idade e formao aleatrias. Esta amostra composta por 5 indivduos que tm um smartphone e por outros 5 que no possuem um. Esta escolha justificada sobretudo por querermos analisar at que ponto ser possuidor de um smartphone influencia a utilizao da aplicao. De forma a fazer um estudo bastante aprofundado, decidimos realizar dois inquritos a cada indivduo: um feito antes do teste, e outro posterior experincia. No inqurito pr-experincia pretendemos saber alguma informao bsica sobre o utilizador, nomeadamente a idade, formao acadmica, se possui um smartphone, se alguma vez utilizou uma aplicao de procura de emprego e ainda se sente segurana ao procurar emprego numa aplicao mobile. Aps o utilizador finalizar o teste, este preenche o inqurito ps-experincia, que tem o objetivo de nos fornecer algum feedback instantneo do utilizador sobre a qualidade da experincia de navegao no WiP Mobile. Este inqurito permite-nos tambm recolher algumas informaes relativas ao que o utilizador melhoraria na aplicao e ainda funcionalidades que este gostaria ou acha que poderiam ser implementadas na aplicao. importante referir que ambos os inquritos foram realizados de forma eletrnica via Google Docs, pelo que devero ser consultados nos seguintes links:

Questionrio pr-experincia:
https://docs.google.com/spreadsheet/viewform?formkey=dG9xR2F5RzlaRUZwb08zYWFBWWVGZ2c6MQ#gid=0

Questionrio ps-experincia:
https://docs.google.com/spreadsheet/viewform?formkey=dHZOZGJlMkQ2QjRqQ2llbnQ5bTUxMnc6MQ#gid=0

Pgina 4 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Resultados e anlise do inqurito prexperincia

1. J alguma vez utilizou num smartphone uma aplicao de

procura de emprego?

Concluses: possvel concluir atravs do grfico que os utilizadores da amostra nunca utilizaram uma aplicao mobile de procura de emprego, pelo que a utilizao do WiP Mobile ser uma experincia totalmente nova para todos os elementos da amostra.

2. Sente segurana a procurar emprego atravs de uma aplicao

para dispositivos mveis?

Concluses: possvel concluir por este grfico que a amostra evidencia bastante resistncia e insegurana relativamente a procurar emprego numa aplicao para dispositivos mveis, prevendo-se uma aceitao e adeso mais lenta destes indivduos nossa aplicao para dispositivos mveis.

Pgina 5 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Resultados e anlise do inqurito ps-experincia

Utilizadores sem Smartphone
1. Efetuar Login

Utilizadores com Smartphone

Concluses: possvel verificar pelos dois grficos que apenas um utilizador em cada grupo teve algumas dificuldades em fazer o Login na aplicao atravs do Facebook, o que revela que praticamente no existem problemas ou dificuldades nesta funcionalidade.

Utilizadores sem Smartphone

2. Pesquisa por palavra-chave

Utilizadores com Smartphone

Concluses: possvel verificar pelos dois grficos que tanto no grupo dos utilizadores sem smartphone como no grupo dos com smartphone existe s um elemento que teve algumas dificuldades em efetuar a pesquisa por palavra-chave, revelando que praticamente toda a amostra realizou a tarefa sem dificuldades.

Pgina 6 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Utilizadores sem Smartphone

Utilizadores com Smartphone

3. Pesquisa por geo-localizao

Concluses: possvel verificar pelos dois grficos que curiosamente foram registadas mais dificuldades na pesquisa por geo-localizao no grupo de utilizadores que possuem um smartphone. tambm possvel perceber que um nmero relevante de indivduos da amostra manifestou j algumas dificuldades nesta pesquisa, ainda que metade tenha cumprido a pesquisa sem a mnima dificuldade.

Utilizadores sem Smartphone

Utilizadores com Smartphone

4. Pesquisa por localidade

Concluses: possvel verificar pelos dois grficos que apenas um utilizador em cada grupo teve algumas dificuldades em efetuar uma pesquisa por localidade na WiP Mobile, o que revela que praticamente no existem problemas ou dificuldades neste tipo de pesquisa.

Pgina 7 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Utilizadores sem Smartphone

5. Marcar como Favorito

Utilizadores com Smartphone

Concluses: possvel verificar pelos dois grficos que o grupo dos utilizadores sem smartphones tem um elemento que sentiu mais dificuldades na marcao de uma oferta como favorita. No entanto denota-se tambm que foi uma tarefa bastante fcil de ser concretizada pela amostra.

Utilizadores sem Smartphone

6. Marcar para Ver Mais Tarde

Utilizadores com Smartphone

Concluses: possvel verificar pelos dois grficos que apenas um elemento de cada grupo da amostra teve algumas dificuldades na marcao da oferta para Ver Mais Tarde, o que demonstra muitas facilidades na execuo da tarefa.

Pgina 8 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Utilizadores sem Smartphone

Utilizadores com Smartphone

7. Organizao e pertinncia dos menus e funcionalidades

Concluses: possvel verificar pelos dois grficos que toda a amostra descreve os menus como organizados e pertinentes, assim como afirmam que todas as funcionalidades implementadas so importantes e uma mais-valia da aplicao. Pgina 9 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

8. Como classificaria a adequao da aplicao aos objetivos de

aceder a ofertas de emprego?

Concluses: possvel observar neste grfico que a amostra deu um feedback francamente positivo sobre a adequao do WiP Mobile ao acesso a ofertas de emprego, classificando-a de Boa e Muito adequada.

9. Com base na experincia de utilizao, como considera a WiP

Mobile?

Concluses: possvel observar neste grfico que apesar de todas as resistncias reveladas no inqurito pr-experincia, a amostra d uma classificao extremamente boa ao WiP Mobile, com 9 elementos da amostra a classificarem a aplicao Interessante ou at Muito interessante, minimizando a importncia do nico elemento da amostra que se revela neutro experimentao do WiP Mobile.

Pgina 10 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Resultados e anlise dos testes realizados

De forma a tirarmos o mximo proveito da realizao dos testes da verso beta do WiP Mobile, decidimos criar um percurso que testasse todas as funcionalidades j implementadas at este momento. Assim, ao efetuar a anlise dos dados recolhidos do teste de todas as funcionalidades, potenciamos a descoberta de mais bugs que possam existir na aplicao, dando a ns prpios mais tempo para os corrigirmos at entrega da verso final do WiP Mobile. O percurso que criamos de tarefas e passos a realizar pelo utilizador o seguinte:

1. Efetuar Login no WiP Mobile atravs do Facebook com os seguintes dados:

E-mail: nelsonrijo@ua.pt Password: decadeca Pesquisar por Comerciais De seguida, aceder ao menu de pesquisa avanada Inserir Lisboa como localidade de pesquisa Definir um raio de 10 km Concludo o ponto anterior, volte a pesquisar por Comercial Regressar ao menu de pesquisa avanada Desativar as opes definidas nos passos 4 e 5 e ativar a pesquisa por geolocalizao 9. Definir um raio de 100 km 10. Voltar a pesquisar por Comerciais 11. Aceder primeira oferta devolvida pela pesquisa 12. Marcar a oferta como Favorita 13. Marcar a oferta para Ver mais tarde 14. Sair da aplicao 2. 3. 4. 5. 6. 7. 8.

Para esta realizao de testes, acreditmos que o mais indicado seria recolher o nmero de erros cometidos pelo utilizador na execuo de cada tarefa, assim como o tempo despendido em cada uma. Desta recolha de dados, resultaram os seguintes elementos grficos:

Pgina 11 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

1. Nmero mdio de erros por etapa do teste

1.2 1 0.8 0.6 0.4 Utiizadores com Smartphone 0.2 0 Utilizadores sem Smartphone

Concluses: Ao analisar este grfico do nmero mdio de erros por etapa, possvel depreender que a amostra cometeu muito poucos erros por etapa, corroborando o feedback muito positivo dado organizao e pertinncia dos menus e funcionalidades do WiP Mobile. Pode-se ainda observar um notrio equilbrio entre os utilizadores com e sem smartphone, ainda que com um ligeiro nmero superior de erros por parte dos utilizadores que no possuem um smartphone.

Pgina 12 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

2. Tempo mdio por etapa do teste

60 50 40 30 20 Utilizadores com Smartphone 10 0 Utilizadores sem Smartphone

Concluses: Ao analisar este grfico do tempo mdio por etapa de que a amostra precisou para concluir o teste, possvel verificar que existe uma diferena bastante assinalvel entre os utilizadores com e sem smartphone. visvel que principalmente as tarefas de login, pesquisa por localidade e ativao da geo-localizao foram os principais pontos em que os utilizadores sem smartphone tiveram maiores dificuldades, pois demoraram bastante mais tempo que o outro grupo da amostra para conclurem estas tarefas. No entanto, h que frisar que nas outras tarefas do teste, estes valores de tempo encontram-se mais ou menos equivalentes.

Pgina 13 de 14

Universidade de Aveiro Projeto | DeCA |Ano Letivo 2011/2012

Concluso
Terminadas as tarefas de testes da verso beta, so vrias as concluses que podemos retirar dos resultados: facilmente percetvel que existe uma maior apetncia ou facilidade de entrosamento com a aplicao por parte dos utilizadores que j possuem um smartphone. Este grupo de utilizadores tem j uma maior experincia no que toca a lidar com aplicao mobile, assim como tambm esto j mais familiarizados com as novas tecnologias dos dispositivos mveis touch do mercado, o que um importante fator de facilitao de manuseamento do WiP Mobile. No entanto esta diferena significativa no de forma alguma abrupta, o que revela que o WiP Mobile no descurou os utilizadores que no tm tanta experincia em lidar com smartphones, uma vez que estes cumpriram todo o teste com relativa facilidade e com um baixo nmero de erros. Conclusivamente h ainda que referir o fato de que, no questionrio prexperincia no existia grande segurana em utilizar uma aplicao mobile para procura de emprego, sendo bem evidentes as resistncias utilizao do WiP Mobile. No entanto, com a anlise dos dados do questionrio ps-experincia ainda mais evidente que a amostra parece ter ficado agradavelmente surpreendida com a aplicao, mostrando-se mais segura com aplicaes desta gama e com vontade de utilizar a WiP Mobile num futuro prximo.

Pgina 14 de 14