Avaliao de problemas PBL em um componente

curricular de um curso de Engenharia de Computao

Gabriel Antonio Pereira dos Santos Carneiro, David Moises Barreto dos Santos
Departamento de Cincias Exatas (DEXA) Universidade Estadual de Feira de Santana
Feira de Santana, Bahia - Brasil

gabri14el@gmail.com, davidmbs@uefs.br
Abstract. The problem itself used in a Problem-based Learning (PBL) method
is crucial to its success. Therefore, this paper describes the construction of an
analysis of PBL problems applied to a semester curriculum component-
Integrator Module Programming at University Estadual de Feira de Santana.
The main contributions of this work are to structure a review of problems,
based on characteristics previously raised, and generating a ranking of them.
Resumo. O problema em si usado no mtodo Problem-based Learning (PBL)
crucial para o seu xito. Portanto, este trabalho descreve a anlise de
problemas PBL aplicados em um semestre no componente curricular Mdulo-
Integrador de Programao em curso de Engenharia de Computao. As
principais contribuies deste trabalho so a estruturao de uma avaliao
de problemas, baseada em caractersticas levantadas anteriormente, e a
gerao de um ranking deles.
1. Introduo
No contexto histrico atual, a boa (in)formao de profissionais essencial para a
evoluo tecnolgica da sociedade. Logo, o processo de ensino-aprendizagem destes
profissionais alvo de grandes discusses a fim de que estes se preparem
adequadamente, sobretudo, para situaes reais do mercado de trabalho. Neste sentido
destaca-se o Problem Based-Learning (PBL), tambm conhecido como Aprendizagem
Baseada em Problemas (ABP). O PBL um mtodo de ensino caracterizado pelo uso de
problemas da vida real, ou baseados na vida real, para estimular o desenvolvimento do
pensamento crtico, habilidade na resoluo de problemas e absoro de conceitos da
rea de conhecimento em questo [Ribeiro 2005, 32]. Por isso, enquanto o processo
convencional de ensino-aprendizagem baseia-se no professor como principal agente, o
PBL procura colocar o aluno como principal responsvel pelo seu ensino-aprendizado na
medida em que incentiva-o a discutir as solues de tais problemas em grupos. [Pereira
et al, 2007].
Santos e Angelo (2009) revela que um dos aspectos mais importantes para o
sucesso da metodologia PBL so os problemas apresentados aos alunos, (p. 1) j que
sero atravs deles que os professores iro conduzir a linha de aprendizagem a qual os
alunos devero seguir. Um problema mal preparado poderia prejudicar o aprendizado
dos alunos ao invs de ajud-los. Porm, ainda no existe um modelo padro de

construo de problemas ou mesmo uma ferramenta padro de avaliao. Ademais, a
literatura no rica em trabalhos que avaliem problemas e, quando ocorre, geralmente
no esto relacionados com cursos de Computao ou mesmo de Engenharia [Hung,
2006; Marchais, 1999; Munshi et al, 2008].
Neste contexto, este trabalho tem como objetivo avaliar cinco problemas PBL
aplicados em um componente curricular Mdulo Integrado (MI) de Programao do
curso de Engenharia de Computao da Universidade Estadual de Feira de Santana
(UEFS). A anlise foi realizada por um educando que cursou o MI Programao, que
um dos autores deste artigo. Para tanto, tomamos como base o trabalho de Schmidt e
Sockalingam (2011) no qual so apresentadas onze caractersticas para um problema
PBL de acordo com a opinio de discentes. Em outras palavras, foram avaliados cinco
problemas de acordo com estas onze caractersticas.
O principal resultado deste trabalho um ranking dos cinco problemas
analisados. Mais tarde professores do MI-Programao ou de componentes similares
podero utilizar os apontamentos aqui observados para construir problemas PBL com
mais qualidade.
Para um melhor entendimento deste trabalho, organizamos ele como disposto a
seguir. Na Seo 2, descrevemos o componente MI Programao no qual os problemas
foram aplicados enquanto na Seo 3 descrevemos as caractersticas que usamos como
base para a construo da anlise. Na Seo 4 est a anlise e na ltima Seo encontra-
se as consideraes finais do trabalho.
2. MI Programao
O curso de Engenharia de Computao da UEFS est um funcionamento desde
2003. Em sua grade curricular atual, existem os Mdulos-Integrados(MI), que consistem
em um tutorial para integrar os contedos de um conjunto de componentes curriculares.
Cada tutorial tem um tutor, o professor responsvel pelo acompanhamento do grupo que,
geralmente, composto por 10 educandos.
O MI Programao ofertado no segundo semestre do curso e agrega os
contedos dos seguintes componentes: Estrutura de Dados, Algoritmos e Programao II,
Estrutura Discretas e Projeto de Sistemas. As ementas e carga-horria das disciplinas
podem ser observadas na Tabela 1. Todas estes componentes possuem como pr-
requisitos Algoritmos e Programao I e MI Algoritmos, que visam a introduo bsica
algoritmos e programao. Ademais, havia duas sesses tutoriais por semana.
A avaliao realizada aqui neste trabalho diz respeito ao problemas aplicados no
semestre 2013.1. Por limitao de espao, no ser possvel disponibilizar qualquer um
dos problemas usados, porm eles podem ser encontrados na seguinte pgina:
http://sites.ecomp.uefs.br/mip-20131/home/tutorial. A soluo de todos eles deveria ser
individual e estar em forma de um cdigo-fonte (Java). Em alguns problemas tambm foi
solicitado a entrega de um relatrio individual para descrio do processe de criao e
tambm descrio da soluo. Em mdia, a durao do desenvolvimento da soluo para
cada problema era estipulada em quatro semanas.

Tabela 1. Ementa das disciplinas do MI - Programao
Disciplina Ementa Carga-
Horria
MI
Algoritmos
Estudo aprofundado de metodologias de programao, modelos de
algoritmos e estruturas de dados avanadas que compem os programas de
computador, alm das estruturas matemticas discretas subjacentes aos
modelos estudados.
60 h
Algoritmos e
Programao
II
Princpios de orientao a objetos: objetos, classes, atributos, mtodos,
mensagens, encapsulamento, herana, composio, polimorfismo, interfaces,
acoplamento, ligao dinmica. Interfaces grficas e programao orientada
a eventos. Tratamento de excees. Princpios de testes e depurao de
programas. Paradigmas de linguagem de programao
30 h
Estrutura de
Dados
Tipos abstratos de dados; independncia entre especificao e
implementao. Estruturas de dados bsicas: tabelas, listas simples e
encadeadas, pilhas, filas. Filas com prioridades. rvores: terminologia e
implementao. rvores binrias, balanceamento de rvores binrias,
rvores B. Conjuntos: conceituao, implementao, mtodos de
representao. Mtodos de busca e ordenao. Hashing. Grafos orientados e
no orientados
30 h
Projeto de
Sistemas
Realizao de requisitos e modelos conceituais atravs de padres GRASP.
Diagramas essenciais UML para projeto de software. Design patterns
essenciais. Noes bsicas de projeto arquitetural. Mapeamento de projeto
para cdigo. Testes de aceitao e descrio das funcionalidades gerais do
sistema. Teste de Unidade.
30 h
Estruturas
Discretas
Princpios de contagem, combinatria. Grafos e rvores: grafos no-
orientados e orientados, rvores, rvores geradoras.
60 h

3. Caractersticas de problemas PBL
Como dito anteriormente, a base terica para nossa anlise est no trabalho de Schmidt e
Sockalingam (2011), cujo objetivo geral identificar caractersticas mais marcantes dos
problemas no PBL segundo as percepes de alunos. Nessa seo descreveremos
suncitamente as caractersticas levantadas pelos autores e o processo de como fizeram
isso.
Para ranquear as caractersticas foram usadas reflexes dos alunos sobre o que
eles consideravam como caractersticas de bons problemas. Os alunos respondiam a
seguinte questo: Qual a sua percepo de um bom problema provocador para voc e
por qu? Voc pode responder baseado em qualquer um dos problemas que voc tem
feito at agora.
De posse das respostas foi usado um software de reconhecimento de palavra, o
TexSTAT, que "gera uma lista de todas as palavras usadas em um documento e conta a
frequncia das palavras (Schmidt et al, 2011). Agrupou-se as palavras de acordo com a
semelhana semntica e identificou-se onze caractersticas a partir disso. Quanto maior a
frequncia das palavras, mais importante a caracterstica. A Tabela 2 exibe a relao
entre palavras e caractersticas, a porcentagem da frequncia das palavras usadas nas
respostas e o ranking obtido a partir desta frequncia.

Abaixo encontra-se uma descrio de que consiste cada uma das caractersticas:
1. Levar a objetivos de aprendizagem: todo problema PBL procura levar aos alunos mais
conhecimento sobre determinados contedos, esses contedos so chamados de
objetivos de aprendizagem;
2. Desencadear interesse: os problemas PBL tm que motivar os educandos a
encontrarem uma soluo. A situao-problema exposta e o grau de complexidade da
soluo esto ligados a este critrio;
Tabela 2. Ranking de caractersticas segundo Schmidt e Sockalingam (2011)
O problema deve.. Palavras usadas pelos
estudantes
Freqncia
das palavras
Ranking de
importncia
Levar a objetivos de
aprendizagem
Aprender, questes e fatos 23.8% 1
Desencadear interesse Interessante, gostar e capturar 11.5% 2
Ser do formato adequado frase, sentena e imagem 10.9% 3
Estimula o raciocnio
crtico
Pensamentos, ideias e lgica 10.2% 4
Promover aprendizado
autodirigido
Pesquisar, explorar,
equipamento
10% 5
Ser de clareza adequada Obvio, claro, entender 7.3% 6
Ser de dificuldade
apropriada
Fcil, dificuldade, difcil 7.1% 7
Permitir aplicao ou uso Aplicar, mundo e uso 7% 8
Usar conhecimento prvio Saber, lembrar, experincia 6.7% 9
Estimular elaborao Elaborar, discusso, ideia genial 3.6% 10
Promover trabalho em
equipe
Equipe, classe, conjunto 1.9% 11
3. Ser do formato adequado: este item est relacionado a apresentao do problema,
textos, imagens e qualquer outro elemento que o compe;
4. Estimular o raciocnio crtico: o problema deve ter um grau de dificuldade adequado,
nem fcil demais, porque no exerccio, nem difcil demais, sob pena de
desestimular os alunos a terem ideias e julg-las teis;
5. Promover aprendizado autodirigido: deve levar o aluno a construir conhecimento
fazendo com que ele seja o principal responsvel pelo seu processo de ensino-
aprendizagem;
6. Ser de clareza adequada: deve ser de fcil entendimento de modo a no gerar
demasiadamente dvidas no relacionadas ao processo de ensino-aprendizagem;
7. Ser de dificuldade apropriada: a dificuldade deve ser dosada de forma equilibrada;
8. Permitir aplicao ou uso: deve permitir que o conhecimento construdo seja til na
futura profisso;

9. Usar conhecimento prvio: utilizar conceitos que os alunos conheceram em situaes
de aprendizado no passado;
10. Estimular elaborao: O problema deve fazer com que o aluno tenha ideias e
hipteses;
11. Promover trabalho em equipe: deve fazer com que os alunos dos tutoriais trabalhem
em equipe.
importante ressaltar que estas caractersticas esto interligadas entre si, uma
influenciando e/ou impactando na outra. Para ilustrar, a complexidade (critrio 7) incide
diretamente no estmulo do raciocnio crtico (critrio 4) e vice-versa. Alm disso, vale
mencionar que a importncia de cada critrio pode variar de acordo a experincia do
educando no mtodo PBL e at mesmo de instituio para instituio.
4. Resultados e discusses
Buscando esquematizar a avaliao, atribumos s caractersticas indicadas na seo
anterior, critrios de avaliao da adequao do problema, os quais variavam de 1 a 5,
onde 1 e 2 indicam baixa adequao, 3, uma adequao regular e 4 e 5, uma alta
adequao. Como se pode notar, temos duas escalas para cada extremo baixo, 1 e 2 e
alta, 4 e 5 , mas apenas para indicar um maior ou menor grau de adequao dentro
destas escalas. O resultado est na Tabela 3.
Tabela 3. Escala atribuda a cada uma das caractersticas para cada problema
Caractersticas P1 P2 P3 P4 P5
1. Leva para as questes de aprendizado 5 5 5 5 5
2. Desencadear interesse 3 3 4 4 5
3. Ser de formato adequado 4 2 3 4 4
4. Estimular o raciocnio crtico 5 5 5 5 5
5. Promover a aprendizagem auto-dirigida 3 4 4 4 4
6. Ser de clareza adequada 4 2 3 5 5
7. Ser de dificuldade apropriado 4 4 4 3 4
8. Permitir a aplicao ou uso 2 3 4 4 4
9. Referem-se a um conhecimento prvio 5 5 5 5 5
10. Estimular a elaborao 5 5 5 5 5
11. Promover o trabalho em equipe 5 5 5 5 5
Todos os problemas conseguiram cumprir bem a sua primeira funo de levar os
alunos aos objetivos de aprendizagem. Na segunda caracterstica, desencadear interesse,
dois problemas tiveram adequao regular (problemas 1 e 2), enquanto o restante, alta
adequao. No problema 1 havia uma certa insegurana, pois no se sabia ao certo o que
estava sendo feito. Esperava-se algo parecido com o que era solicitado no componente
curricular anterior (pr-requisito), de introduo a algoritmos e programao. Um fator
que pode ter influenciado essa nota foi a falta de conhecimento sobre a orientao a

objetos e testes de unidade. J no problema 2 a pontuao se deve principalmente ao
texto que era confuso, oprimindo o interesse de resoluo por conta dos alunos. O ltimo
problema, em especial, desperta o interesse por se tratar de um software mais realista,
exigindo interface grfica e problema do caixeiro viajante.
Na terceira caracterstica encontra-se uma falha grave: quatro (2, 3, 4 e 5) dos
cinco problemas no possuam referencias para materiais ideais para consulta. O
problema 2 teve pior avaliao nesse quesito, principalmente, devido ao excesso de
informaes trazidos pelo texto. Abaixo encontra-se um fragmento de texto:
[....]
Nesta primeira fase devemos considerar que h uma nica praa de pedgio,
responsvel por controlar as operaes. Basicamente a praa composta
pelos sistemas de Nvel 0 (composto por controlador do lao magntico
para detectar a quantidade de eixos, leitores de RFID, cmeras de contexto e
de OCR para fotografar as placas). Na verdade, isso tudo s existe nas
pistas automticas, nas pistas de cobrana manual, h apenas o lao
magntico, para auditoria. Esse negcio do lao magntico ser na sada da
cabine um super problema, pois a operadora pode errar na hora de contar a
quantidade de eixos (imagine um caminho em que o motorista jura que 4
eixos esto levantados, se ela acha que no, isso d uma briga rs, mas se ela
acha que sim e no est, cobram a diferena do salrio dela, super
injusto!).[...]
O terceiro problema tambm no se saiu muito bem, porm, em comparao com
o segundo, teve uma evoluo. Assim como no problema 2 existiam informaes
desnecessrias que confundem o aluno como a destacada abaixo:
[...]
No h mais validao explcita de passagens, pois o cliente quer a validao
no momento em que inserir a nova cobrana. S as passagens invlidas
sero enviadas para o Nvel 3, mas por enquanto no precisamos nos
preocupar com essa integrao. Na verdade, o cliente nem nos passou
direito a especificao do Nvel 3, s sei que ser na fase 7 do projeto. [...]
Ao ler este trecho, questionado se realmente as passagens invlidas sero ou
no enviadas para o nvel 3.
Todos os problemas conseguem facilmente estimular o raciocnio. Eles
promovem situaes em que o educando pense muito no que necessrio e como realiz-
lo, ou seja, os problemas proporcionaram chances para criar hipteses e test-las.
A promoo da aprendizagem autodirigida tambm teve um desempenho
equilibrado. O primeiro problema teve um desempenho menor que os outros por se tratar
de uma novidade recheada de complexidade, afinal ele introduz um novo paradigma de
linguagem de programao.
Na sexta caracterstica, ser de clareza adequada, trs problemas obtiveram um
bom desempenho: 1, 4 e 5. Estes explicavam o suficiente para um problema PBL,
deixando claro os requisitos do programa teriam que ser desenvolvidos. Conforme j
exemplificado, o problema 2 teve comparativamente o pior texto e isso o tornou confuso.
No problema 3, embora tenha melhorado neste aspecto, ainda assim o texto era um
pouco confuso se comparado aos demais.

Em relao a dificuldade, todos os problemas se saram bem. Nem fceis demais,
nem difceis demais. Aplicvamos conhecimento dos componentes tericos de forma
prtica. Porm, no problema 4 tivemos que pensar muito numa forma de armazenamento
de dados adequada para uma determinada classe. Isso custou alguns dias de buscas, teste
de ideais at que chegssemos a uma soluo.
As situaes trazidas pelos problemas PBLs analisados aqui poucas vezes
permitiro realmente aplicao ou uso, pois se tratam de softwares bsicos apenas para o
aprendizado de programao. O problema 1 traz uma situao que dificilmente poder
aparecer, j que o objetivo do programa apenas rodar testes de unidades. Os problemas
2 e 3 lidam com o gerenciamento de pedgio, onde basicamente era exigido a criao um
sistema que administrasse de maneira bsica este tipo de negcio. A ltima situao
(problema 4 e 5) est contextualizada em uma empresa de fretes que precisa de
otimizao de rotas em grafos ponderados e a interface grfica, ou seja, chegando mais
perto de softwares comerciais.
Todos os problemas atenderam bem as ltimas caractersticas: utilizar
conhecimento prvio, estimular a elaborao e promover o trabalho em equipe. Para
solucionar os problemas os alunos utilizam toda a base de conhecimento construda ao
cursarem os pr-requisitos dos componentes curriculares do MI. Alm disso, o
conhecimento utilizado em cada problema praticamente acumulativo. Na Tabela 4
esto listados exemplos do conhecimento prvio necessrio para resoluo de cada
problema.
Tabela 4. Conhecimento prvio utilizado por cada problema
Problema Conhecimento prvio necessrio
1 Noes de programao, lista encadeada
2 Noes de Programao, lista encadeada, Classes, Objetos
3 Noes de Programao, lista encadeada, Classes, Objetos Herana,
Polimorfismo, Padres de projeto, Diagrama de classes, rvore.
4 Noes de Programao, lista encadeada, Classes, Objetos Herana,
Polimorfismo, Padres de projeto, Diagrama de classes, Arquivos, Excees.
5 Noes de Programao, lista encadeada, Classes, Objetos Herana,
Polimorfismo, Padres de projeto, Diagrama de classes, Arquivos, Excees,
Interface grfica.
Os problemas sempre tinham uma certa dificuldade de resoluo, estimulando,
por um lado, a efervescncia de ideias e, por outro, a discusso em grupo dessas ideias.
Muitas delas eram adotadas por todos do grupo, outras s por alguns j que a soluo
em forma de produto deveria ser individual.
Finalmente, usando as notas atribudas aos problemas em cada caracterstica,
ranqueamos os cinco problemas de duas formas: usando a mdia aritmtica e a mdia
ponderada. Esta ltima considera o ranking de cada caracterstica, ento o valor das
escalas (de 1 a 5) ter como peso o valor inverso do ranking (peso da caracterstica 1
11, da caracterstica 2 10 e assim sucessivamente). O problema que tiver maior
(menor) pontuao classificado como melhor (pior) problema dentre os usados em MI
Programao na turma supracitada. O resultado mostrado na Tabela 5.

Tabela 5. Mdia ponderada obtida para cada problema
Problema Mdia aritmtica Mdia ponderada
1 4,1 4,0
2 3,9 3,7
3 4,3 4,1
4 4,5 4,4
5 4,6 4,6
Por apresentar os maiores valores em ambas as mdias, o problema 5 pode ser
considerado o melhor aplicado no MI Programao da UEFS no semestre 2013.1. J os
dois primeiros problemas (1 e 2) deste componente podem ser considerados os que
apresentaram comparativamente maiores limitaes quanto sua qualidade. Porm,
ainda assim, importante destacar que, considerando o todo, obtiveram um valor
suficiente para serem considerados adequados.
5. Consideraes finais
Este artigo apresentou uma anlise de problemas PBL aplicados no MI
Programao da UEFS no perodo 2013.1, tendo como base caractersticas
fundamentadas na perspectiva estudantil. Os principais aspectos negativos encontrados
foram a apresentao do problema, em seu formato e texto, alm da sua falta de
aplicao direta ao mercado de trabalho (mas compreensvel por se tratar de conceitos
iniciais). Porm, isso no influenciou na qualidade como um todo; pelo contrrio, todos
estavam adequados proposta do mtodo PBL, at mesmo porque existiam outras
caractersticas em avaliao como conhecimento prvio, trabalho em grupo, estimular
raciocnio crtico, etc. As principais contribuies deste trabalho so a estruturao de
uma avaliao de problemas PBL (em Computao) e a gerao de um ranking deles.
importante tambm relatar algumas limitaes da pesquisa. Primeiro, por se
tratar de um estudo com base na percepo de apenas um dos alunos do componente
curricular, pode-se em certa medida haver divergncias quanto ao restante da turma.
Portanto, para futuras anlises, interessante ampliar o escopo, considerando uma
amostragem significativa da turma. Segundo, aspectos como ser o primeiro problema ou
o ultimo so desconsiderados na anlise. Talvez isso possa ter influenciado na qualidade
medida em que os tutores podem ir aprendendo com a experincia.
6. Referncias
Hung, W. (2006). The 3C3R Model: A Conceptual Framework for Designing Problems
in PBL. Interdisciplinary Journal of Problem- based Learning, 1(1). Disponvel em:
http://dx.doi.org/10.7771/1541-5015.1006
Marchais, J. E. Des. (1999) A Delphi technique to identify and evaluate criteria for
construction of PBL problems, Medical Education, 33 (7), pp. 504508.
Munshi, Fadi F. M., Zayar, El E. S. A. and & Dolmans, Diana D. H.. (2008).
Development and utility of a questionnaire to evaluate the quality of PBL problems.
South East Asian Journal of Medical Education, Vol. 2, no 2, 2008.

Pereira, C. F., Afonso, R. A., Santos, M. J., Arajo, C. A. L., Nogueira, M. (2007).
Aprendizagem Baseada em Problemas (ABP) Uma proposta inovadora para os
cursos de engenharia. XIV SIMPEP 2007. Disponvel em:
http://nogueira.eti.br/profmarcio/obras/publicado_1474.pdf
Ribeiro, Luis R. de C (2005). A Aprendizagem Baseada em Problemas (PBL): uma
implementao na educao em engenharia na voz dos autores. Disponvel em: :
http://www.bdtd.ufscar.br/htdocs/tedeSimplificado/tde_arquivos/8/TDE-2005-05-
16T12:29:32Z-668/Publico/TeseLRCR.pdf
Santos, J. A. M. & Angelo, M. F. (2009). Anlise de Problemas Aplicados em um
Estudo Integrado de Programao utilizando PBL. In XI Workshop sobre Educao
em Computao Anais do XXIII Congresso da Sociedade Brasileira de Computao,
Bento Gonalves RS.WEI 2009.
Schmidt, H. G., & Sockalingam, N (2011). Characteristics of Problems for Problem-
Based Learning: The Students Perspective. Interdisciplinary Journal of Problem-
based Learning, 5(1). Disponvel em: http://dx.doi.org/10.7771/1541-5015.1135