Escolar Documentos
Profissional Documentos
Cultura Documentos
Disciplina
te
e
3. MÉTODO CYCLUS
O método CYCLUS é um método iterativo, projetado para
* alcançar um bom projeto de colaboração através de modificações
* fluxo 1 apóia
Ações Técnica * * Ferramenta
sucessivas no projeto em função das avaliações da dinâmica
realizada com o projeto. Na Figura 1, é representado o método
CYCLUS. Em trabalhos anteriores, o método foi útil também para
Figura 1. Estrutura estática dos termos usados na pesquisa a especificação e o desenvolvimento de ferramentas específicas,
como uma adaptação da ferramenta de bate-papo para a realização
Projeto de Colaboração é a descrição textual de um processo, em de entrevistas [10].
forma de lista de tarefas e papéis. O projeto é uma maneira de
possibilitar o registro de processos por um coordenador não- Cada ciclo do método é composto de 4 etapas: criar um projeto,
especialista em modelagem de processos. Estão associados ao realizar uma dinâmica com o projeto, avaliar a dinâmica realizada
projeto: definições textuais de papéis, tarefas e elementos da e analisar as notas atribuídas para as tarefas. A etapa final,
tarefa, como: ferramenta, artefatos produzidos e consumidos, qual documentar novo template, é feita para projetos em que todas as
técnica de trabalho em grupo é usada e os papéis possíveis para tarefas são consideradas boas. As etapas são descritas a seguir:
participantes. Para referenciar a execução de um projeto, usam-se
1. Criação do projeto: um projeto inicial é criado com uma
os termos abstratos: dinâmica para projetos em execução e descrição, a definição de seus objetivos e situações em que se
dinâmica realizada para a execução concluída de um projeto. pretende usá-lo. É definida a lista de papéis, com nome e
Template para Colaboração é a recomendação de um bom descrição, para organizar os participantes e em seguida a lista
projeto de colaboração para ser usado por um coordenador na de tarefas do projeto. As tarefas são definidas de forma mais
condução de dinâmicas com um grupo. Para eleger o projeto detalhada: é informado um nome, uma descrição, os papéis
como template, deve haver a avaliação de pelo menos uma envolvidos, insumos (artefatos de entrada) e produtos
(artefatos de saída). A etapa 1 também pode ser realizada pela diferentes para a tarefa, sendo algumas notas relacionadas à
derivação de um projeto existente em um novo, caso em que condução da dinâmica (atuação dos papéis) e outras notas
um projeto é copiado, anotado seu vínculo com o projeto referentes ao projeto em si (a descrição da tarefa e a
original, e são alterados os itens desejados: descrição, papéis, ferramenta usada).
lista de tarefas, ferramenta a usar na tarefa, a descrição da
tarefa, etc. 4. Análise das notas das tarefas: Sumarizações são realizadas
para tentar detectar as tarefas boas e as ruins do projeto.
Tarefas com média até 79,99 são consideradas ruins. As
tarefas com média entre 80,00 e 89,99 consideradas
intermediárias e consideradas boas as tarefas com média entre
90,00 e 100,00. Os avaliadores não devem ser informados das
faixas.
5. Documentação de novo template: uma vez que um projeto
tenha sido avaliado e todas as tarefas consideradas boas, então
é documentado um novo template. A documentação deve
contemplar as limitações do projeto, situações para os quais é
indicado, dinâmicas realizadas com o projeto e avaliações
recebidas.
4. AVALIAÇÃO DA PROPOSTA
Um estudo de caso [11] foi conduzido com um grupo de 18
participantes. O intuito foi avaliar a utilidade do método CYCLUS
(X) para a distinção de tarefas boas e ruins de uma dinâmica (Y).
A ferramenta MODUS (W) [12] [13]foi usada para apoiar a
aplicação do método, funcionando como uma variável
interveniente [14], que pode ampliar, diminuir ou anular a
influência do método sobre o resultado esperado (X→W→Y).
Para avaliar o método, foram analisadas as notas atribuídas às
tarefas pelos participantes da dinâmica e também as respostas do
questionário preenchido pelos participantes. Os participantes
usaram a ferramenta MODUS, que implementa o método
CYCLUS, para a avaliação da dinâmica realizada com o projeto de
colaboração. O questionário foi usado para coletar dados sobre o
método CYCLUS e sobre a ferramenta MODUS. O projeto
avaliado (AS-IS) foi o projeto “Aprendizagem Colaborativa
Baseada em Projetos, versão com Blogs”. Através da aplicação do
método CYCLUS, buscou-se distinguir quais tarefas necessitariam
ser melhoradas numa próxima versão do projeto (TO-BE). A
análise é relatada na seção seguinte.
Boa
Definição das aulas e grupos 92,67
servem para indicar quando alguma característica da dinâmica,
Apresentação dos alunos 89,57 como a atuação dos papéis, não foi bem executado, a despeito da
Intermediária
Avaliação da Aula 87,46 descrição da tarefa. Espera-se também que os elementos sejam
Apresentação da Disciplina 86,64 úteis ao derivar um novo projeto, especialmente ao reprojetar as
Definição dos projetos e grupos 85,23 tarefas que foram consideradas ruins.
Seleção de conteúdos e elaboração de questionários 84,92
Revisão dos artefatos produzidos 81,42 A escala de valores (0 a 100) precisa ser modificada: quando
Elaboração do gabarito dos questionários 80,69 questionados sobre a escala de valores usada (nota de 0 a 100),
Estudo dos conteúdos e resposta aos questionários 76,15 50% dos participantes considerou como “ótimo” ou “bom”,
Configuração do ambiente virtual de aprendizagem 75,83 enquanto os outros 50% ficaram distribuídos igualmente entre
Ruim
Produção de Artefato p/ postar em Blog 75,50 “regular” e “ruim”. Nenhum participante considerou péssimo. No
Contribuição para melhorar artefato nos blogs dos grupos 74,85 entanto, quando questionados sobre que escala de valores eles
Avaliação da participação de colegas no Blog 74,62 propunham usar, apenas 10% dos participantes informou manter a
Através da análise dos dados obtidos pela ferramenta MODUS, foi escala de 0 até 100 (Figura 6). O item com maior freqüência de
possível distinguir tarefas boas e ruins e foi possível levantar respostas foi “nota de 0 até 10”, com 40% das respostas.
problemas ocorridos nas tarefas ruins através dos critérios da Que outra escala de valores você propõe que seja usada?
avaliação e dos comentários. Um questionário foi enviado para os
participantes avaliarem o método CYCLUS. A análise é 50%
participantes
40%
apresentada na subseção seguinte. 30%
20%
4.2 Análise das respostas sobre o método 10%
0%
CYCLUS Conceito: de
excelente a
Nota de 0 até 5 Nota de 0 até 10 Manter Nota de
0 até 100
Outro
(especifique)
O método também foi avaliado através da análise das respostas péssimo
dadas aos questionários enviados. O critério para julgamento de
cada pergunta foi considerar positivos os valores “bom e ótimo”,
Figura 3. Avaliação da escala de valores usada
enquanto “regular, ruim e péssimo”, que significam algum grau de
desaprovação do item questionado, foram considerados valores Há uma tendência de preferência entre os participantes por
negativos. Dessa maneira, foi possível chegar a algumas menores escalas de valores.
conclusões sobre o estudo realizado:
O método foi considerado bom: 70% dos respondentes achou
4.3 Análise das respostas sobre a usabilidade
bom ou ótimo o método de avaliação colaborativa da dinâmica. da ferramenta MODUS
Dos participantes que informaram algum grau de reprovação Foi também realizado um estudo sobre a usabilidade da
(30%), apenas 10% considerou ruim, enquanto 20% dos ferramenta MODUS com o objetivo de detectar influências da
participantes considerou regular e nenhum participante ferramenta sobre o resultado da aplicação do método. Foram
considerou péssimo. Em outra pergunta, foi solicitado aos coletados dados na própria ferramenta (como tempo de avaliação)
participantes que indicassem adjetivos para qualificar a e perguntas em questionários. O tempo médio para avaliar foi de
experiência de avaliar com o método CYCLUS. Foram elencados 37:24 (trinta e sete minutos e vinte e quatro segundos),
9 adjetivos: trabalhoso, interessante, democrático, útil, confuso, considerado alto pelos autores do trabalho. Não foi encontrado
desmotivante, ótimo, eficiente e esclarecedor. O item com maior nenhum outlier, assim a média inclui o tempo de início e término
recorrência foi “trabalhoso”, seguido de “interessante” e de todos os avaliadores. Apesar disso, um dos avaliadores chegou
“democrático”. Confrontando com dados dos logs, a média de a levar 01:45:44 (uma hora quarenta e cinco minutos e quarenta e
tempo para avaliar foi de 37:24 (trinta e sete minutos e vinte e quatro segundos) para avaliar. O mesmo avaliador fez
quatro segundos), o que pode ser um indício do que fez o método comentários extensos (até o limite de caracteres permitidos) em
ser julgado como trabalhoso. Os participantes puderam informar todas as tarefas. Algumas conclusões sobre a ferramenta foram
novos adjetivos (opção “outros” com caixa de texto disponível). possíveis, tais como:
O nível de detalhe na modelagem das tarefas foi considerado O mecanismo para avaliar a lista de tarefas está bom, mas
bom: O projeto teve ao todo 14 tarefas. Ao qualificar a lista de pode melhorar: quando questionados sobre a usabilidade do
tarefas, a maioria dos participantes (75%) considerou adequada. mecanismo de lista de tarefas, 60% dos participantes respondeu
Apenas 25% considerou inadequada. “bom” ou “ótimo”. Outros 40% de respostas foram distribuídos
entre “regular” (10%), “ruim” (10%) e “péssimo” (20%). O
percentual de usuários que respondeu “regular”, “ruim” ou 5. TRABALHOS RELACIONADOS
“péssimo” foi considerado alto. Assim, apesar de ser considerado
“bom” ou “ótimo” pela maioria, é possível melhorar a usabilidade No quadro comparativo apresentado na Tabela 2, são
do mecanismo a fim de aprimorar a usabilidade para o maior estabelecidas algumas comparações entre o método CYCLUS e
número de usuários possível. A lista de notas para atribuir foi métodos correlacionados. O trabalho Collaboration Engineering
extensa: o projeto teve ao todo 14 tarefas e cada tarefa foi [3] [4] [15] [16] [17], sob o qual foi desenvolvido o sistema
avaliada, em média, por 5 elementos. O total de notas atribuídas ThinkTank [15], é focalizado em CSCW. O trabalho “Modelo
na lista de tarefas foi de 75 notas. Em função do problema de para o Desenvolvimento de Ambientes de Aprendizagem
usabilidade na lista, está em especificação um novo mecanismo. Cooperativa (MDAAC)” [5] [6] [7], sob o qual foi desenvolvido o
No novo mecanismo, a avaliação detalhada só será aberta quando aplicativo COPLE (Cooperative Project-Based Learning
solicitado pelo usuário. Environment), é focalizado em CSCL.
Tabela 2. Quadro Comparativo de pesquisas
O mecanismo de estrelas precisa ser modificado: quando
questionados sobre a usabilidade do mecanismo de estrelas, 70% Produto e Estratégia da Pesquisa
dos participantes respondeu “péssimo”, “ruim” ou “regular”,
Desenvolver um catálogo de Templates para Colaboração;
conforme ilustrado na Figura 4. O mecanismo desenvolvido na dar subsídios para a construção de melhores ferramentas
ferramenta permitia (Figura 5) uma granularidade muito fina de CYCLUS
especificamente projetadas para a aplicação de uma técnica
valores, notas de 0 a 100 com precisão de 1 ponto, o que tornou de trabalho em grupo
difícil a edição do valor de nota pretendido.
Engenharia Documentar boas maneiras de se realizar trabalhos
O que você achou da usabilidade do m ecanism o de estrelas de colaborativos recorrentes em organizações; uso de
im plem entado na ferram enta MODUS? Colaboração ferramentas genéricas configuráveis.
“Eu não colocaria as estrelinhas, são muito confusas. (…)” Descrição de como realizar a Tarefa
(comentário enviado pelo usuário 4).
Através da documentação de uma técnica de trabalho em
“(…) tive dificuldade com as estrelinhas (…)” (comentário CYCLUS
grupo (usa ferramenta MODUS)
enviado pelo usuário 2)
Através da definição de Padrões de Colaboração: o
Texto 1. Trechos de respostas à perguntas abertas Engenharia
comportamento de um grupo na realização de uma tarefa,
de
Na Figura 5 é ilustrado parte do formulário de avaliação de uma ex.: divergência, convergência, construção de consenso,
Colaboração
dinâmica, o trecho de uma tarefa avaliada. Na Figura 5, é ilustrado etc.
também o mecanismo de estrelas usado para a avaliação dos Através da documentação de uma técnica de trabalho em
elementos de uma tarefa. MDAAC
grupo (usa editor “COPE”)
Engenharia
Elicitação de processo desejado com facilitadores
de
experientes.
Colaboração