Psicologia: Reflexo e Crtica, 2000, 13(3), pp.

327-336

327

Auto-Eficcia e Dificuldade de Aprendizagem

A Auto-Eficcia e os Aspectos Comportamentais de Crianas com

Dificuldade de Aprendizagem
Paula Cristina Medeiros1 2
Sonia Regina Loureiro
Maria Beatriz Martins Linhares
Edna Maria Marturano

Universidade de So Paulo/Ribeiro Preto

Resumo
O objetivo da pesquisa avaliar as relaes entre o desempenho acadmico, o senso de auto-eficcia e os aspectos comportamentais,
em 52 crianas de ambos os sexos, na faixa etria de oito anos a onze anos e onze meses, alunos de primeira a quarta srie, com
nvel intelectual pelo menos mdio inferior, divididas em: G1-26 crianas com queixa de dificuldade de aprendizagem,
encaminhadas a um Ambulatrio de Psicologia vinculado a um Hospital Escola; e G2-26 crianas com bom desempenho
acadmico avaliado por teste de Desempenho Escolar. Os instrumentos utilizados foram: Roteiro de Avaliao de Auto-eficcia
e Escala Comportamental Infantil A2 de Rutter, alm do teste de desempenho escolar. Observou-se que as crianas do G1
apresentaram uma avaliao significativamente mais baixa quanto ao senso de auto-eficcia e seus pais caracterizaram-nas com
mais dificuldades comportamentais, comparativamente ao G2. O desempenho acadmico mostrou-se relacionado ao senso de
auto-eficcia e a indicadores de dificuldade comportamentais.
Palavras-chave: Dificuldade de aprendizagem; auto-eficcia; comportamento.
Self-Efficacy and Behavioral Aspects of Children with Learning Difficulties
Abstract
The aim of the present study was to assess the relationship among school performance, sense of self-efficacy, and behavioral
aspects in 52 children of both sexes, aged from eight to 11 years and 11 months. The children were enrolled in the first to fourth
grade and their intelligence level was assessed as of lower medium level at least. Subjects were divided in two groups: G1-26
children with learning difficulties referred to a Psychology Ambulatory of a School Hospital, and G2-26 children with good
achievement, assessed by an academic performance test. The instruments used were: Self-Efficacy Assessment Form and Rutter
Child Behavior Scale, as well as a school achievement test. G1 showed a significantly lower score for self-efficacy sense,
compared to G2. A significant difference was also observed in the assessment made by parents, who characterized G1 children
as having more behavioral difficulties. Academic performance was found to be related to self-efficacy sense and to indicators
of behavioral problems.
Keywords: Learning difficulty; self-efficacy; behavior.

A experincia escolar pode contribuir para diferentes

trajetrias de desenvolvimento, tendo impacto sobre as
experincias futuras do indivduo (Marturano, 1997). A
poca de ingresso na escolaridade formal coincide com
a fase de desenvolvimento psicossocial, proposta por
Erikson (1950/1971), que enfatiza o perodo entre os
seis e doze anos como sendo a fase em que ocorre a
crise evolutiva decorrente do desafio da produtividade
versus inferioridade, onde a criana quer e precisa ser
Endereo para correspondncia: Rua Iguape, 603, apto. 62, Bairro Jardim
Paulista, 14.090-090, Ribeiro Preto, SP.
2
Este trabalho faz parte do projeto de mestrado da primeira autora, sob
orientao da segunda, subvencionado pela FAPESP.
1

reconhecida pela sua capacidade de realizar tarefas

valorizadas no seu meio ambiente. O sucesso escolar,
nesta fase, contribui para a resoluo satisfatria desta
crise, visto que garante criana um desempenho
valorizado pela sociedade (Lindahl, 1988; Marturano,
1997). Por outro lado, o insucesso acadmico pode
acarretar um senso de no cumprimento da sua tarefa
psicossocial de desenvolvimento.
Os atrasos e problemas de aprendizagem foram
durante muito tempo considerados como uma deficincia
em determinada habilidade. No entanto, as teorias da
deficincia apresentaram grandes dificuldades para
estabelecer uma relao direta entre a dimenso
psicolgica atingida e o rendimento acadmico

328

Paula Cristina Medeiros, Sonia Regina Loureiro, Maria Beatriz Martins Linhares & Edna Maria Marturano

(Boruchovitch, 1994; Martn & Marchesi, 1995). Neste

sentido, mais recentemente, tende-se a considerar a
interao de uma srie de fatores, cuja confluncia
especfica determina o nvel de rendimento da criana
frente situao de aprendizagem.
Ao se fazer referncia s dificuldades de aprendizagem
no se pode perder de vista a presena de distores
inerentes ao prprio sistema educacional e s influncias
ambientais que funcionam como contexto para as
manifestaes comportamentais e as peculiaridades do
indivduo que pode apresentar, no sistema escolar, o
sintoma de no aprender (Linhares, 1998; Marturano,
Linhares & Parreira, 1993).
Estudos sobre o processo de ensino e aprendizagem
vm reforando a importncia das influncias das variveis
internas como as escolhas, crenas, expectativas e afetos,
que funcionam como mediadores da relao entre
estmulo e resposta (Chapman, Cullen, Boersma &
Maguire, 1981). Dentre estas variveis, destaca-se neste
estudo a auto-eficcia. Define-se como auto-eficcia a
crena do indivduo sobre sua capacidade de desempenho
em atividades especficas. Envolve o julgamento sobre
suas capacidades para mobilizar recursos cognitivos e
aes de controle sobre eventos e demandas do meio
(Bandura, 1989a). Tais crenas influenciam as aspiraes
e o envolvimento com metas estabelecidas, o nvel de
motivao, a perseverana face s dificuldades, a resilincia
s adversidades, relacionando-se com a qualidade de
pensamento analtico, a atribuio causal para sucesso e
fracasso e a vulnerabilidade para o estresse e depresso.
Os estudos em geral tm abordado como os fatores
ambientais e pessoais afetam a auto-eficcia e como a
auto-eficcia influencia a aprendizagem, motivao e
realizao acadmica (Bandura, Barbaranelli, Caprara &
Pastorelli, 1996).
Os indivduos possuem um sistema de crenas que
afeta pensamentos, sentimentos e aes. Atravs da
reflexo os indivduos so capazes de se engajarem em
auto-avaliaes e alterarem seu prprio pensamento e
comportamentos subseqentes. Estas auto-avaliaes
incluem o senso de auto-eficcia (Bandura, 1989b;
Schunk, 1995).
Segundo Schunk (1995), existem quatro principais
formas de influncias sobre o desenvolvimento do senso
de auto-eficcia: a) experincias significativas, que so os
resultados interpretados de um desempenho proposto,
sendo que o sucesso aumenta o senso de auto-eficcia e
o fracasso o diminui; b) experincias atravs do outro,
que so as observaes sociais e a avaliao do
desempenho dos outros, se o outro pode fazer eu
tambm posso; c) persuaso social, que so as avaliaes

que as pessoas recebem dos outros; d) os estados

psicolgicos associados emoes positivas ou negativas
que influenciam na maneira como as situaes so
percebidas.
O constructo auto-eficcia tem sido particularmente
aplicado s crianas que experienciam dificuldades de
aprendizagem, afeto ou comportamento. A auto-eficcia
dos estudantes, juntamente com outras crenas e atitudes
para a aprendizagem, forte preditor de desempenho
acadmico. A auto-eficcia influencia o desempenho
acadmico e, ao mesmo tempo, influenciada por ele,
tendo implicaes no desenvolvimento da criana como
um todo. Esta influncia ocorre tanto por uma ao direta
como atravs do seu impacto nos processos de
motivao, auto-regulao e auto-percepo, nas
expectativas de resultados, bem como escolhas e
interesses, que por sua vez, afetam o nvel e o tipo de
comportamento (Bandura & Schunk,1981; Pajares &
Valiante, 1997; Pintrich, Anderman & Klobucar, 1994;
Schunk, 1995).
Segundo Pajares (1996), pesquisas que abordam o
senso de auto-eficcia dentro do contexto acadmico
sugerem que estudantes com alto senso de auto-eficcia
so capazes de desempenhar tarefas acadmicas usando
mais estratgias cognitivas e metacognitivas e persistem
por mais tempo do que aqueles com baixo senso. Em
contrapartida, crianas que apresentam dificuldades de
aprendizagem podem se julgar com baixo senso de autoeficcia quanto s suas capacidades de desempenharem
com sucesso determinadas tarefas acadmicas.
A dificuldade de aprendizagem quase sempre se
apresenta associada a outros comprometimentos. Estudos
tm revelado que comumente as crianas com
dificuldades escolares manifestam paralelamente prejuzos
de ordem emocional e comportamental (Graminha,
1994a). Linhares, Parreira, Maturano e Santana (1993)
observaram a presena de mais de uma rea problema
nos relatos dos pais que procuravam atendimento para
seus filhos, havendo padres de queixas combinadas. As
queixas escolares apareciam associadas a problemas
afetivos-sociais, relacionados ou no escola, e a
alteraes de processos cognitivos.
A auto-eficcia exerce sua influncia sobre o
comportamento atravs de quatro processos que incluem:
a cognio, motivao, afeto e seleo de atividades e
ambientes (Bandura, 1993; Pajares, 1996; Schunk, 1995).
Os efeitos do senso de auto-eficcia no processo cognitivo,
recaem sobre o tipo de cenrio antecipatrio a ser
construdo. Pessoas com alto senso de auto-eficcia so
capazes de visualizarem a si mesmos executando
atividades com habilidades e apresentam boas construes
Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336

A Auto-Eficcia e os Aspectos Comportamentais de Crianas com Dificuldade de Aprendizagem

cognitivas para resolverem problemas potenciais,

possibilitando diretrizes positivas de desempenho. A
crena na auto-eficcia, alm de modificar regras de
pensamento, determina o nvel de motivao. Quanto mais
alto o senso de auto-eficcia, maior ser o esforo
despendido, a persistncia, o envolvimento com metas e
objetivos mais elevados. Pessoas duvidosas de suas
capacidades enfraquecem seus esforos ou abandonam
prematuramente suas tentativas. O processo afetivo tambm
fortemente afetado pela crena na auto-eficcia, porque
pode influenciar na quantidade de estresse e ansiedade
que uma pessoa vai experimentar diante de determinadas
atividades. A eficcia no processo de seleo pode interferir
no curso da vida atravs da influncia nas escolhas de
atividade e ambientes, baseadas na sua percepo do que
seguro, atingvel, desafiador ou recompensador. As
pessoas tendem a evitar atividades e situaes que elas
acreditam exceder suas capacidades (Bandura, 1993;
Schunk, 1995)
Neste sentido, o presente trabalho tem como objetivo
avaliar as relaes entre o desempenho acadmico, o senso
de auto-eficcia e aspectos comportamentais de crianas
do Ensino Fundamental.
Mtodo
Participantes
Foram avaliadas 52 crianas, de ambos os sexos, na
faixa etria entre oito anos e 11 anos e 11 meses, alunos
de primeira a quarta srie de 20 escolas da rede pblica
do municpio de Ribeiro Preto, distribudas em dois
grupos:
Grupo 1 - G1: Composto por 26 crianas (16 meninos
e 10 meninas) encaminhadas a um ambulatrio de
Psicologia vinculado a um hospital escola com queixa de
dificuldade de aprendizagem.
Grupo 2- G2: Composto por 26 crianas com bom
desempenho acadmico que freqentam um Centro de
Atendimento Integral a Crianas e Adolescentes (CAIC)
Para a seleo dos 52 sujeitos foram inicialmente
avaliadas 88 crianas, sendo 36 procedentes do
ambulatrio e 52 do CAIC. Foram excludos de ambos
os grupos 26 sujeitos que apresentaram desempenho
abaixo do nvel intelectual mdio inferior na avaliao
intelectual atravs das Matrizes Progressivas Coloridas de
Raven Escala Especial - MPC (normas brasileiras de
Angelini, Alves, Custdio & Duarte, 1987) e aqueles que
apresentaram histria de tratamento neurolgico e/ou
psicolgico no ltimo ano. Considerou-se como condio
para incluso no G2 o desempenho no Teste de
Desempenho Escolar - TDE (normas brasileiras de Stein,
Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336

329

1994), nas reas de leitura e escrita, compatvel com sua

faixa etria e/ou srie escolar, e a avaliao da professora
atravs do Questionrio para Caracterizao do
Desempenho e do Comportamento da Criana no
Ambiente Escolar - DCCE (Machado, Figueiredo &
Selegato, 1989), indicando bom desempenho.
Na composio do G2 tomou-se como referncia
as crianas do G1, buscando-se o balanceamento com
relao a sexo, idade da criana e nvel de escolaridade
dos pais. Aps a seleo dos sujeitos, procedeu-se
comparao dos grupos atravs do teste no-paramtrico
de Mann-Whitney, quanto s variveis idade (G1/
M=109,31 e G2/M=110,42), escolaridade das mes
(G1/M=6,27 e G2/M=6,81), escolaridade dos pais (G1/
M=4,62 e G2/M=5,50), e no foram observadas
diferenas estatisticamente significativas na comparao
destas variveis. Quanto ao nvel intelectual das crianas
(G1/M=44,81 e G2/M=57,88), observou-se diferena
estatisticamente significativa, sendo que o G1 apresentou
um nvel intelectual inferior ao G2.
O projeto foi apreciado e aprovado pelas Comisses
de tica do hospital escola e das Secretarias Municipais
do Bem Estar Social e da Educao de Ribeiro Preto.
Aps a explicao relativa aos objetivos do trabalho e o
tipo de participao requerida, foi solicitado aos pais que
assinassem o Termo de Consentimento, autorizando a
participao das crianas. Aps essa etapa as crianas
foram convidadas a participarem de forma voluntria.
Instrumentos
Foram utilizados:
- Matrizes Progressivas Coloridas de Raven Escala Espe
cial, avaliao do nvel intelectual (normas brasileiras de
Angelini, Alves, Custdio & Duarte, 1987)
- Teste de Desempenho Escolar TDE, avaliao objetiva
do nvel de desempenho escolar (normas brasileiras de
Stein, 1994)
- Questionrio para Caracterizao do Desempenho e do
Comportamento da Criana no Ambiente Escolar - DCCE
(Machado, Figueiredo & Selegato, 1989). Trata-se de um
questionrio apresentado sob a forma de escala de sete
pontos, composta por adjetivos bipolares, englobando
categorias de comportamento da criana em sala de aula
em trs reas distintas: comportamento em relao
professora, aos colegas e tarefa.
- Roteiro de Avaliao de Auto-eficcia (Anexo A): focaliza
a percepo da criana quanto ao seu desempenho
acadmico e sua capacidade de realizao. Trata-se de
um procedimento elaborado pela segunda autora a partir
dos estudos de Bandura (1993) e Shunck (1995) como
parte das atividades no projeto integrado conjunto com

330

Paula Cristina Medeiros, Sonia Regina Loureiro, Maria Beatriz Martins Linhares & Edna Maria Marturano

a terceira e quarta autora: Problemas associados a

dificuldades escolares construo e aplicao de
procedimentos
avaliativos
com
enfoque
desenvolvimentista (Medeiros & Loureiro, 1999). O
roteiro composto por 20 afirmativas, dessas 12 so
relacionadas percepo da capacidade quanto ao
desempenho acadmico, compreendendo seis afirmativas
com significado positivo (itens 01, 03, 05, 07, 09, 20) e
seis afirmativas com significado negativo (itens 02, 12,
14, 16, 18, 19); e oito afirmativas relacionadas percepo
de desempenho acadmico, tendo como referncia a
avaliao de outros ou a comparao com os pares,
compreendendo quatro afirmativas com significado
positivo (itens 11, 13, 15, 17) e quatro afirmativas com
significado negativo (itens 04,06,08, 10). O roteiro foi
testado em estudo preliminar com 20 crianas (idade entre
8 e 10 anos). O ndice de estabilidade (teste e reteste)
alcanado em duas avaliaes, com 28 dias de intervalo
foi de 92% (concordncia bruta).
- Escala Comportamental Infantil A2 de Rutter (ECI)
avaliao de problemas comportamentais, preenchida
pelos pais padronizada para escolares de Ribeiro Preto
(Graminha, 1994b). A ECI inclui 36 itens, fornecendo
um escore global, assim como escores parciais relativos
a problemas de sade (oito), hbitos (sete) e
comportamentos (21).
Procedimentos
As crianas foram avaliadas individualmente, as do
G1 no ambulatrio e as do G2 no CAIC. Na primeira
sesso procedeu-se aplicao do Raven. Em uma
segunda sesso, procedeu-se aplicao do TDE
conforme recomendaes tcnicas. Com base no dados
destas duas avaliaes e a avaliao dos professores, os
sujeitos foram includos nos grupos G1 (crianas com
queixa de dificuldade de aprendizagem) e G2 (crianas
com bom desempenho acadmico). Em uma terceira
sesso procedeu-se aplicao do Roteiro de Avaliao
de Auto-eficcia, subseqente a uma situao semiestruturada de contato com materiais e atividades
acadmicas, visando a fornecer uma contextualizao de
aprendizagem antecedendo imediatamente aplicao.
O Roteiro foi aplicado nos dez minutos finais da
sesso. Os itens do Roteiro foram apresentados atravs
de fita cassete gravada, evitando assim variaes de
entonaes e pausas na leitura dos mesmos. As crianas
podiam ouvir os itens tantas vezes quantas sentissem
necessidade, sempre atravs do gravador. A examinadora,
presente na situao, apenas assinalava a opo da criana
na folha de respostas.

Com relao aos pais, o procedimento de aplicao

da ECI teve peculiaridades em cada um dos grupos.
Quanto ao G1, aps uma situao de entrevista face a
face, visando a coleta de informaes de dados de
identificao, os pais preenchiam a ECI por escrito sob a
forma auto-aplicativa, prpria da adaptao do
instrumento. Quanto ao G2, os pais receberam em suas
casas um questionrio de dados de identificao e a ECI,
respondendo ambos por escrito.
Quanto aos professores, estes foram contatados nas
escolas de origem das crianas e responderam por escrito
ao Questionrio para Caracterizao do Desempenho e
do Comportamento da Criana no Ambiente Escolar.
Tratamento dos dados
Para a classificao dos dados relativos ao senso de
auto-eficcia, as respostas foram pontuadas em 0 (zero)
ou 1 (um), de acordo com a alternativa escolhida. Os
sujeitos dispunham de duas alternativas de respostas, sim
ou no. Para as respostas favorveis a um senso de
auto-eficcia positivo foi atribudo um valor 1 (um), que
pode corresponder a um sim ou no dependendo do item
em questo. No conjunto de 20 itens, nas dez afirmativas
positivas a resposta sim pontuada com valor 1 (um), e
nas dez afirmativas negativas a resposta no pontuada
com valor 1 (um).
Ex.: Eu tenho me sado bem......... Sim = 1 e No = 0
Eu quero parar de estudar logo.....Sim = 0 e No = 1
A somatria do total de pontos obtidos no conjunto
de 20 itens correspondeu ao escore total, tendo-se por
este critrio que quanto maior a pontuao mais alto o
senso de auto-eficcia da criana. Consideraram-se para
a comparao dos grupos, os resultados de cada item e
o escore total.
O Roteiro foi cotado de acordo com o esquema
descrito. Os dados foram quantificados e os grupos
comparados mediante anlise estatstica atravs do Teste
no-paramtrico de Mann-Whitney para amostras
independentes. Procedeu-se anlise dos 20 itens do
Roteiro comparando-se os grupos e identificando-se as
diferenas estatisticamente significativas com base no Teste
Exato de Fisher.
Os dados da ECI foram cotados segundo as normas
de Graminha (1994b). A fim de comparar os grupos
quanto aos escores parciais e total, assim como nos itens
especficos aplicou-se o Teste no-paramtrico de MannWhitney. Objetivando-se a comparao dos grupos
atravs do Teste Qui-quadrado quanto ao nvel de
funcionamento, tomou-se a proposio de Graminha e
Coelho (1994) relativa nota de ponto de corte (escore
Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336

A Auto-Eficcia e os Aspectos Comportamentais de Crianas com Dificuldade de Aprendizagem

total >16) como indicativa da necessidade de

encaminhamentos para atendimento psicolgico.
Para determinar a existncia de possveis associaes
entre a avaliao do senso de auto-eficcia realizada pelas
crianas, o nvel intelectual, e o funcionamento
comportamental informado pelos pais atravs da ECI,
procedeu-se aplicao da Matriz de correlao noparamtrica de Spearman.
Resultados
Primeiramente sero apresentados os dados da
avaliao do senso de auto-eficcia com relao ao escore
total e a discriminao dos itens. Em seguida, sero
apresentados os dados relativos ECI, destacando-se os
escores parciais e total e os itens com diferenas
estatisticamente significativas e, por fim, a associao entre
os dados dos dois instrumentos em questo. Os dados
Tabela 1. Auto-eficcia Mdia, Desvio Padro e
Mediana da Comparao do Escore Total dos Grupos
Avaliados (Teste no-paramtrico de Mann-Whitney)
Grupos
Mdia
dp
Mediana
p
G1
G2

12,19
18,54

4,22
2,16

12,50
19,00

0,001

331

relativos ao Roteiro de Avaliao de Auto-eficcia quanto

comparao do escore total de cada grupo esto
apresentados na Tabela 1.
Observa-se diferena altamente significativa entre os
dois grupos quando da avaliao do escore total,
considerando-se p< 0,001. O G1 obteve pontuao
menor que o G2, caracterizando uma avaliao mais baixa
do senso de auto-eficcia por parte das crianas com
queixa de dificuldade de aprendizagem. A Tabela 2
apresenta os dados do Roteiro de Avaliao de Autoeficcia discriminando os itens com diferenas
estatisticamente significativas
Pode-se observar que, dentre os 20 itens apresentados,
12 itens diferenciam os grupos com significncia estatstica.
Observa-se que destes 12 itens, trs tm valorao positiva
em relao ao senso de auto-eficcia e nove tm uma
valorao negativa. Nos itens com valorao positiva que
diferenciam os grupos com significncia estatstica podese observar que o G2 apresenta uma porcentagem
superior ao G1, indicando que as crianas com bom
desempenho apresentaram um senso de auto-eficcia mais
alto quando comparadas com o G1. Em contrapartida,
nos itens com valorao negativa, o G1 apresenta uma
porcentagem superior ao G2, indicando um senso de
auto-eficcia mais baixo para os sujeitos do G1.
Observa-se ainda que oito itens no apresentaram
diferenas estatisticamente significativas e que destes, sete

Tabela 2. Auto-eficcia - Itens com Diferenas Estatisticamente Significativas, na Comparao da Porcentagem de

Sujeitos dos Dois Grupos, Discriminando a Valorao Positiva e Negativa
+
+
+
+
+
+
+
+
+
+
-

Itens
1.Eu tenho me sado bem
13.Eu acabo as atividades no mesmo tempo que os meus colegas.
15.Minha professora me considera um bom aluno.
4.Minha famlia me considera um aluno fraco
6.Minha professora me considera um aluno fraco
8.Eu demoro mais que os outros para acabar as atividades.
10.Eu tenho mais dificuldade para aprender que os meus colegas.
12.Eu esqueo rpido o que aprendi.
14.Eu tenho dificuldade para escrever as palavras que so ditadas.
16.Eu tenho dificuldade para fazer cpia.
18.Eu tenho dificuldade para ler.
19.Eu tenho me sado mal.
3.Eu consigo ler com facilidade.
5.Eu consigo copiar com facilidade.
7.Eu consigo escrever as palavras que so ditadas.
9.Eu lembro com facilidade do que aprendi.
11.Eu aprendo to bem quanto os meus colegas.
17.Minha famlia me considera bom aluno.
20.Eu quero continuar estudando por muitos anos.
2.Eu quero parar de estudar logo.

Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336

G1
73,1
61,5
73,1
42,3
38,5
38,5
76,9
50
61,5
46,2
61,5
50
76,9
73,1
76,9
76,9
65,4
88,5
88,5
19,2

G2
96,2
92,3
96,2
11,5
7,7
7,7
15,4
0
7,7
7,7
3,8
7,7
92,3
92,3
96,2
88,5
80,8
96,2
100
3,8

p
0,05
0,01
0,05
0,05
0,05
0,05
0,001
0,001
0,001
0,01
0,001
0,01
ns
ns
ns
ns
ns
ns
ns
ns

332

Paula Cristina Medeiros, Sonia Regina Loureiro, Maria Beatriz Martins Linhares & Edna Maria Marturano

itens so com valorao positiva, onde o G2 novamente

apresentou uma porcentagem superior ao G1. A Tabela
3 apresenta os dados obtidos da ECI respondida pelos
pais das crianas do G1 e do G2, comparando os escores
parciais e total.
Obser va-se que os grupos se diferenciam
significativamente com relao rea de comportamento
e ao escore total. Quanto ao escore parcial relativo rea
de comportamento o G1 apresenta mdia maior do que
o G2, indicando maiores dificuldades nesta rea. Quanto
ao escore total, incluindo todos os itens, o G1 apresenta
tambm mdia significativamente maior do que o G2.
Quanto ao escore total superior nota de corte - 16
pontos (Graminha & Coelho, 1994), observa-se que 77%
dos sujeitos do G1 apresentaram valores de escore total
acima de 16 pontos, sugerindo maior necessidade de
atendimento psicolgico. A Tabela 4 apresenta a
comparao dos grupos, discriminando os itens da ECI
com diferenas estatisticamente significativas.

Observa-se que sete itens diferenciam significa

tivamente os grupos. Nos dois primeiros itens relativos
rea de sade, o G1 apresenta uma mdia inferior quando
comparado com G2. Na rea de hbitos apenas o item
referente dificuldade de fala diferencia os grupos. O
G1 apresenta maior nmero de sujeitos com esta
dificuldade e nenhuma criana do G2 foi referida como
tendo-a. Nos quatro itens referentes rea de
comportamento, o G1 novamente apresenta um nmero
maior de sujeitos com dificuldade na comparao com
G2.
A correlao entre as variveis senso de auto-eficcia,
funcionamento comportamental, e nvel intelectual das
crianas, atravs da Matriz de Correlao NoParamtrica de Spearman, apresentada na Tabela 5.
Com relao ao senso de auto-eficcia, observa-se
correlao com o escore parcial da rea de
comportamento e o escore total da ECI. Analisando-se
a direo das relaes pode-se dizer que as crianas que

Tabela 3. Escala Comportamental Infantil A2 Rutter (ECI) Comparao dos Escores

Parciais e Total dos Grupos Avaliados (Teste no-paramtrico de Mann-Whitney)
reas
Sade
Hbitos
Comport.
Escore Total

Grupos
1
2
1
2
1
2
1
2

Mdia
2,77
2,88
2,62
1,88
15,23
11,00
20,62
15,77

dp
1,56
2,03
1,94
1,37
6,00
7,03
7,46
8,30

Mediana
3,04
2,50
3,00
2,00
15,50
9,50
21,00
14,00

0,05
0,05

Tabela 4. Escala Comportamental Infantil A2 Rutter (ECI) Comparao dos Grupos quanto aos Itens com Diferenas
Estatisticamente Significativas
rea

Itens

Sade

Faz xixi na cama ou nas calas

Mata ou enforca aula

Hbitos
Comportamento

H alguma dificuldade com a fala alm

da gagueira.

Fica facilmente preocupado,

preocupa-se com tudo.
Tende a ser uma criana fechada um
tanto solitria
Irritvel,
perde as estribeiras
uma criana insegura, no tem
confiana em si mesma
(Teste no-paramtrico de Mann-Whitney)

Grupo

Mdia

dp

Mediana

1
2
1
2
1
2

0,00
0,19
0,00
0,19
0,62
0,00

0,00
0,49
0,00
0,40
0,80
0,00

0,00
0,00
0,00
0,00
0,00
0,00

0,05

1
2
1
2
1
2
1
2

1,04
0,50
0,77
0,31
1,19
0,73
1,00
0,27

0,87
0,76
0,86
0,68
0,85
0,72
0,75
0,53

1,00
0,00
0,50
0,00
1,00
1,00
1,00
0,00

0,05

0,05
0,01

0,05
0,05
0,01

Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336

A Auto-Eficcia e os Aspectos Comportamentais de Crianas com Dificuldade de Aprendizagem

333

Tabela 5. Associaes entre Avaliao do Senso de Auto-eficcia, Funcionamento

Comportamental, e o Nvel Intelectual das Crianas (Matriz de correlao no-paramtrica
de Spearman)
Auto-eficcia
Sade
Hbito
Compor
Total
Nvel intelectual
*p<0,05; **p<0,01

Auto-eficcia
1,00
- 0,07
- 0,19
- 0,37*
- 0,36*
0,25

Sade

ECI
Hbito Compor

Total

Nvel intelectual

1,00
0,10
0,34*
0,49**
-0,21

1,00
0,25
0,41**
0,16

1,00
0,001

1,00

apresentam pontuao mais alta no sentido de problemas

comportamentais apresentam pontuao mais baixa no
Roteiro de Avaliao de Auto-eficcia, sugerindo baixo
senso de auto-eficcia.
Verificam-se correlaes entre os escores parciais das
reas de sade, hbito e de comportamento e o escore
total da ECI. Observa-se tambm correlao entre o
escore das reas de sade e comportamento. No se
observa correlao entre o nvel intelectual, o senso de
auto-eficcia e o nvel de funcionamento comportamental
das crianas.
Discusso
Retomando o objetivo do presente trabalho, podese observar que os dois grupos estudados apresentaram
diferenas importantes no que se refere ao senso de autoeficcia e manifestaes comportamentais. O grupo de
crianas com queixa de dificuldade de aprendizagem
apresenta um senso de auto-eficcia mais baixo em relao
s crianas com bom desempenho, considerando-se
pouco competente para a execuo com sucesso de
determinadas atividades acadmicas. Este padro de
funcionamento concordante com dados de outros
estudos que apontam as relaes de baixo senso de autoeficcia com baixo desempenho acadmico (Bandura e
cols., 1996; Pajares, 1996; Pajares & Valiante, 1997;
Schunk, 1995). Pintrich e colaboradores (1994)
compararam crianas com dificuldade de aprendizagem
e sem dificuldade, investigando as diferenas nas crenas
motivacionais e o conhecimento metacognitivo dos
estudantes. Os resultados indicaram que estudantes que
atribuam seus sucessos na leitura a causas internas, eram
menos ansiosos, apresentavam uma orientao mais
focalizada, apresentavam um senso de auto-eficcia mais
alto, eram mais metacognitivos e tinham um desempenho
acadmico melhor.
Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336

1,00
0,96**
-0,02

Quanto anlise dos dados do Roteiro de Avaliao

de Auto-eficcia, interessante destacar que nove, dos
12 itens com diferena significativa, se relacionam com
afirmativas com sentido negativo em relao ao senso
de auto-eficcia. Na maioria das vezes, estas afirmativas
iniciam a frase retratando a dificuldade: eu demoro, eu esqueo,
eu tenho mais dificuldade. Pode-se pensar que essas
afirmativas, com sentido negativo, tenham um impacto
maior para as crianas com dificuldade de aprendizagem,
possivelmente por serem parte da sua experincia
cotidiana em comentrios ou avaliaes dos pais, das
professoras ou dos colegas.
Observa-se ainda que os itens com sentido negativo,
que apresentaram diferena significativa, referem-se
percepes baseadas em julgamentos dos outros ou
comparaes com os colegas. Destaca-se aqui a
importncia do meio ambiente enquanto fonte de
influncia para a formao das crenas das crianas. De
acordo com Bandura (1989a) as comparaes sociais, a
avaliao do desempenho dos colegas e avaliao que as
pessoas recebem dos outros, tm forte influncia sobre
o desenvolvimento do senso de auto-eficcia. Estas
percepes baseadas no julgamento das outras pessoas
esto relacionadas ao senso de auto-eficcia social. Um
alto senso de auto-eficcia social pode promover
satisfao e sustentar relacionamentos sociais positivos.
Com relao aos aspectos comportamentais, avaliados
atravs da ECI, de forma geral observa-se que os pais
das crianas encaminhadas com queixa de dificuldade de
aprendizagem, tendem a perceb-las com mais problemas,
se comparadas ao grupo com bom desempenho.
Quando se analisa as reas separadamente, observa-se
um dado interessante quanto rea de sade. Nota-se
que os sujeitos do grupo com bom desempenho
apresentam mais dificuldades nos itens matar aula e fazer
xixi na cama, quando comparado com o grupo com
dificuldade de aprendizagem. Pode-se pensar que embora
estas crianas tenham bom desempenho acadmico,

334

Paula Cristina Medeiros, Sonia Regina Loureiro, Maria Beatriz Martins Linhares & Edna Maria Marturano

podem estar suscetveis a outras dificuldades. Loureiro,

Marturano, Linhares, Machado e Silva (1994), estudando
trs grupos de crianas (com histria de atraso escolar e
procura de atendimento psicolgico, com histria de
atraso sem procura por atendimento e sem atraso escolar)
verificaram manifestaes conflituosas nesses grupos. As
crianas sem atraso escolar apresentaram indcios
sugestivos de manifestaes de controle sobre o meio e
dissimulao dos conflitos. Por outro lado, pode-se pensar
que a ausncia do indicador matar aula para as crianas
do G1 tenha relao com a preocupao dos pais destas
crianas quanto s atividades acadmicas, fiscalizando mais
a freqncia e assiduidade de seus filhos s aulas.
Os problemas da rea de comportamento
apresentados pelas crianas com queixa de dificuldade
de aprendizagem referem-se em geral a aspectos internos
como preocupao, fechamento ou solido, irritabilidade
e insegurana. Estudos tm sugerido a presena de
manifestaes emocionais e comportamentais
desadaptadas quando da associao dificuldades de
aprendizagem e fatores afetivos (Graminha, 1994a).
Marturano, Loureiro, Linhares e Machado (1997)
encontraram que crianas com atraso escolar, identificadas
pelas famlias que buscaram assistncia psicolgica,
denotaram um empobrecimento na sua capacidade
produtiva e comprometimentos associados estruturao
da personalidade, bem como uma auto-imagem negativa
com intensos sentimentos de inferioridade e menos valia.
As pesquisas que relacionam auto-eficcia e afeto so
concordantes ao apontarem uma relao negativa entre
auto-eficcia e ansiedade. Pintrich e colaboradores (1994),
relatam que alto nvel de ansiedade aparece relacionado
com mau desempenho em tarefas de leitura, sendo que
os estudantes que sentiam-se muito preocupados quanto
ao seu desempenho nos testes de leitura no se saam
bem e apresentavam um baixo senso de auto-eficcia.
Bandura e colaboradores (1996), referem que um baixo
senso de auto-eficcia para exercer controle sobre eventos
estressores e a alta valorizao dada aos resultados
propiciam sentimentos de vazio e depresso.
Ao considerar-se a correlao entre o senso de autoeficcia e o escore parcial da rea de comportamento e o
escore total da ECI, observa-se que as crianas que
apresentaram pontuao mais alta no sentido de
problemas comportamentais apresentaram pontuao
mais baixa na avaliao do senso de auto-eficcia. Podese pensar nas possveis relaes do senso de auto-eficcia
sobre o comportamento, ou seja, o quanto um baixo
senso de auto-eficcia pode estar associado a
comportamentos pouco adaptados.

Outro dado importante a ser mencionado refere-se

ao nvel intelectual das crianas dos dois grupos. Apesar
de os grupos se diferenciarem estatisticamente com
relao ao nvel intelectual, esta varivel no mostrou
correlao com o senso de auto-eficcia ou mesmo com
problemas comportamentais. Deve-se ressaltar que apesar
de o nvel intelectual apresentar-se como
significativamente diferente para os grupos, foi critrio
de incluso que este fosse pelo menos mdio inferior.
Partindo-se do pressuposto de que as crianas com
dificuldade de aprendizagem contavam com indcio de
recurso intelectual potencial, ou seja, suas dificuldades no
poderiam ser atribudas a um rebaixamento intelectual,
pode-se pensar que embora com recursos estas crianas
no estejam em condies de utiliz-los. Para Bandura
(1993), a realizao pessoal no requer s o recurso, mas
sim um alto senso de auto-eficcia para us-las da melhor
forma. O rendimento escolar pode ser suscetvel s
flutuaes do senso de auto-eficcia, e quando baixo
pode levar a criana a render menos do que realmente
poderia, no porque no seja capaz, mas sim porque no
acredita em sua capacidade.
Segundo sugerido por Schunk (1995) e Pajares (1996),
o senso de auto-eficcia influencia o desempenho
acadmico tanto por uma ao direta como atravs do
seu impacto nos processos de motivao, auto-regulao
e auto-percepo, expectativas de resultados, escolhas e
interesses. Entretanto, o tipo de instrumento utilizado para
avaliar o senso de auto-eficcia neste estudo, no permite
uma anlise aprofundada quanto ao impacto desta nos
processos especficos citados. Para tal, seriam necessrias
provas de desempenho associadas s variveis especficas
e um instrumento construdo para estas avaliaes.
A avaliao do senso de auto-eficcia no contexto
acadmico pode ser de utilidade para o planejamento de
procedimentos de interveno. Um aumento evidente
no modo como os estudantes se percebem ao nvel
acadmico, afeta seu desempenho e comportamentos
acadmicos subseqentes (Pajares, 1996). Estudantes com
dificuldade de aprendizagem que receberam interveno
baseada em dilogo interativo e instrues durante o
processo, demonstraram um aumento substancial no
senso de auto-eficcia para a escrita (Wong, Butler, Ficzere
& Kuperis, 1996). Ainda sobre processos de interveno
que visam alterar o senso de auto-eficcia frente tarefas
motoras especficas, Zimmerman e Kitsantas (1997)
concluram que o processo de auto-regulao, atravs do
estabelecimento de metas e do auto-monitoramento, pode
otimizar no s o desempenho em si, mas tambm o
senso de auto-eficcia e interesse intrnseco pela tarefa.
Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336

A Auto-Eficcia e os Aspectos Comportamentais de Crianas com Dificuldade de Aprendizagem

Os dados do presente trabalho, sugerem que crianas

encaminhadas com queixa de dificuldade de
aprendizagem apresentaram um baixo senso de autoeficcia e foram avaliadas pelos seus pais como tendo
mais problemas comportamentais quando comparadas
s crianas com bom desempenho escolar.
A etapa do ensino fundamental, correspondente a fase
dos seis aos doze anos, segundo Erikson (1950/1971)
constitui-se um perodo em que as aquisies de
habilidades e conhecimentos tm papel decisivo para o
desenvolvimento. Nesse sentido, as intervenes
favorecedoras de um alto senso de auto-eficcia podem
possibilitar no s um melhor nvel de rendimento, como
tambm implementar a capacidade de se envolver com
situaes de aprendizagem.
Como implicao dessa destaca-se a importncia de
se oferecer s crianas ferramentas que lhes permitam,
alm da aquisio de habilidades, desenvolver crenas mais
positivas em relao s suas prprias capacidades de
realizao. Sugere-se que no trabalho com crianas na
fase inicial de aprendizagem formal, mesmo quando seu
rendimento est abaixo do esperado seja valorizado o
desenvolvimento da auto-eficcia como um recurso
favorecedor do processo de aprendizagem.
Referncias
Angelini, A., Alves, I., Custdio, E. & Duarte, W. (1987). Manual das matrizes
progressivas coloridas Raven. So Paulo: Casa do Psiclogo.
Bandura, A. (1989a). Human agency in social cognitive theory. American
Psychologist, 44, 11751184.
Bandura, A. (1989b). Regulation of cognitive processes through perceived
self-efficacy. Developmental Psychology, 25, 729-735.
Bandura, A. (1993). Perceived self-efficacy in cognitive development and
functioning. Educational Psychologist, 28, 117-148.
Bandura, A., Barbaranelli, C., Caprara, G. V. & Pastorelli, C. (1996). Multiface
ted impact of self-efficacy beliefs on academic functioning. Child
Development, 67, 1206-1222.
Bandura, A. & Schunk, D. H. (1981). Cultivating competence, self-efficacy,
and intrinsic interest through proximal self-motivation. Journal of
Personality and Social Psychology, 41, 586-598.
Boruchovitch, E. (1994). As variveis psicolgicas e o processode apren
dizagem: Uma contribuio para a psicologia escolar. Psicologia: Teoria
e Pesquisa, 10, 129-139.
Chapman, J. W., Cullen, J. L., Boersma, F. J. & Maguire, T. O. (1981). Affective
variables and school achievement: A study of possible causal
influences. Canada Journal of Behavior Science, 3, 181-192.
Erikson, E. (1971). Infncia e sociedade (G. Amado, Trad.) Rio de Janeiro: Za
har. (Original publicado em 1950)
Graminha, S. S. V. (1994a). Problemas emocionais/comportamentais em
uma amostra de escolares: Incidncia em funo do sexo e idade.
Psico, 25, 49-74.
Graminha, S. S. V. (1994b). A escala comportamental infantil de Rutter A2:
Estudos de adaptao e fidedignidade. Estudos de Psicologia, 11, 34-42.
Graminha, S. S. V. & Coelho, W. F. (1994). Problemas emocionais/compor
tamentais em crianas que necessitam ou no de atendimento
psicolgico ou psiquitrico [Resumo]. Em Sociedade Brasileira de
Psicologia (Org.), Resumos da XXIV Reunio Anual de Psicologia (p. 263).
Ribeiro Preto: SBP.
Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336

335

Lindahl, N. Z. (1988). Personalidade humana e cultura: Aplicaes educa

cionais da teoria de Erik Erikson. Revista Brasileira de Estudos Pedaggicos,
69, 492-509.
Linhares, M. B. M. (1998). Atendimento psicopedaggico de crianas em
servio especializado de psicologia infantil na rea de sade: Uma
perspectiva desenvolvimentista. Psicopedagogia, 17, 30-36.
Linhares, M. B. M., Parreira, V. L. C., Maturano, A. C. & SantAnna, S. C.
(1993). Caracterizao dos motivos da procura de atendimento infantil
em um servio de psicopedagogia clnica. Medicina, 26, 148-160.
Loureiro, S. R., Marturano, E. M., Linhares, M. B. M., Machado, V. L. S. &
Silva, S. R. (1994). Crianas com queixa de dificuldade escolar: Avaliao
psicolgica atravs de tcnica grfica. Arquivos Brasileiros de Psicologia
Aplicada, 46, 161-182.
Machado, V. L. S., Figueiredo, M. A. & Selegato, M. V. (1989). Caracterizao
do comportamento de alunos em sala de aula atravs de escalas de
desempenho. Estudos de Psicologia, 6, 50-76.
Martn, E. & Marchesi, A. (1995). Da terminologia do distrbio s necessi
dades educacionais especiais. Em C. Coll, J. Palcios & A. Marchesi
(Orgs.), Desenvolvimento psicolgico e educao: Necessidades educativas especiais
e aprendizagem escolar (pp. 7-35) (M. A. G. Domingues, Trad.). Porto
Alegre: Artes Mdicas.
Marturano, E. M. (1997). A criana, o insucesso escolar precoce e a famlia:
Condies de resilincia e vulnerabilidade. Em E. M. Marturano, S.
R. Loureiro & A. W. Zuardi (Orgs.), Estudos em sade mental (pp. 132145). Ribeiro Preto: Comisso de Ps-Graduao em Sade Mental
da FMRP/USP.
Marturano, E. M., Linhares, M. B. M. & Parreira, V. L. C. (1993). Problemas
emocionais e comportamentais associados a dificuldades na
aprendizagem escolar. Medicina, 26, 161-175.
Marturano, E. M., Loureiro, S. R., Linhares, M. B. M. & Machado, V. L. S.
(1997). A avaliao psicolgica pode fornecer indicadores de
problemas associados a dificuldades escolares? Em E. M. Marturano,
S. R. Loureiro & A. W. Zuardi (Orgs.), Estudos em sade mental (pp. 1147). Ribeiro Preto: Comisso de Ps-Graduao em Sade Mental da
FMRP/USP.
Medeiros & Loureiro, S. R. (1999). Auto-eficcia e aspectos comportamentais de
crianas com dificuldade de aprendizagem. [Resumo] Em Sociedade Brasileira
de Psicologia (Org.), Programas e Resumos da XXIX Reunio Anual
de Psicologia, (p. 152). Ribeiro Preto: SBP.
Pajares, F. (1996). Self-efficacy beliefs in academic settings. Review of Educa
tional Research, 66, 543-578.
Pajares, F. & Valiante, G. (1997). The predictive and mediational role of
the writing self-efficacy beliefs of upper elementary students. Journal
of Educational Research, 90, 353-360.
Pintrich, P. R., Anderman, E. M. & Klobucar, C. (1994). Intraindividual
differences in motivation and cognition in students with and without
learning disabilities. Journal of Learning Disabilities, 27, 360-370.
Schunk, D. H. (1995). Self-efficacy and education and instruction. Em J. E.
Maddux (Org.), Self-efficacy, adaptation, and adjustment: Theory, research, and
application (pp. 281-301). New York: Plenum Press.
Stein, L. M.(1994). TDE - Teste de desempenho escolar: Manual para aplicao e in
terpretao. So Paulo: Casa do Psiclogo.
Wong, B. Y. L., Butler, D. L., Ficzere, S. A. & Kuperris, S. (1996). Teaching
low achievers and students with learning disabilities to plan, write,
and revise opinion essays. Journal of Learning Disabilities, 29, 197-212.
Zimmerman, B. J. & Kitsantas, A. (1997). Developmental phases in selfregulation: Shifting from process goals to outcome goals. Journal of
Educational Psychology, 89, 29-36.

Recebido em 27.09.1999
Primeira reviso em 16.11.1999
Segunda reviso em 15.12.1999
Aceito em 02.02.2000

336

Paula Cristina Medeiros, Sonia Regina Loureiro, Maria Beatriz Martins Linhares & Edna Maria Marturano

Anexo A
Roteiro de Avaliao de Auto-Eficcia
Vou apresentar para voc algumas frases e voc vai me dizer o quanto elas tem a ver com o seu jeito de ser.
Basta me responder SIM quando elas se parecerem e NO quando elas forem diferentes do seu jeito.
Na escola,
01. Eu tenho me sado bem.
* 02. Eu quero parar de estudar logo.
03. Eu consigo ler com facilidade.
* 04. Minha famlia me considera um aluno fraco.
05. Eu consigo copiar com facilidade.
06. Minha professora me considera um aluno fraco.
07. Eu consigo escrever as palavras que so ditadas.
08. Eu demoro mais que os outros para acabar as atividades.
09. Eu lembro com facilidade do que aprendi.
10. Eu tenho mais dificuldade para a prender que os meus colegas.
11. Eu aprendo to bem quanto os meus colegas.
12. Eu esqueo rpido o que aprendi.
13. Eu acabo as atividades no mesmo tempo que os colegas.
14. Eu tenho dificuldade para escrever as palavras que so ditadas.
15. Minha professora me considera um bom aluno.
16. Eu tenho dificuldade para fazer cpia.
* 17. Minha famlia me considera um bom aluno.
18. Eu tenho dificuldade para ler.
19. Eu tenho me sado mal.
* 20. Eu quero continuar estudando por muitos anos.
* Estes itens no devem ser precedidos da expresso: Na Escola.

Sim

No

Sobre as autoras:
Paula Cristina Medeiros Psicloga, Especialista em Problemas de Aprendizagem e Psicopedagogia,
Mestranda em Sade Mental pela Faculdade de Medicina de Ribeiro Preto, Universidade de So
Paulo.
Sonia Regina Loureiro Psicloga, Professora Doutora da Faculdade de Medicina de Ribeiro
Preto/USP e docente nos Cursos de Ps-Graduao em Cincias Mdicas (rea Sade Mental) e
Psicologia, na Universidade de So Paulo/Ribeiro Preto. Coordena o Servio de Psicodiagnstico
do Hospital de Clnicas de Ribeiro Preto, onde mantm atividades de formao de recursos humanos
e de pesquisa com instrumentos e procedimentos de avaliao em diferentes contextos psicossociais.
Maria Beatriz Martins Linhares Psicloga, Especialista em Psicologia Clnica Infantil, Mestre em
Educao Especial, Doutora em Psicologia Experimental, Docente da Faculdade de Medicina de
Ribeiro Preto, Universidade de So Paulo, Orientadora nos Cursos de Ps-Graduao em Sade
Mental (FMRP/USP) e Psicologia (FFCLRP/USP).
Edna Maria Marturano Psicloga, Professora Titular da Faculdade de Medicina de Ribeiro
Preto/USP e Docente nos Cursos de Ps-Graduao em Cincias Mdicas (rea Sade Mental) e
Psicologia, na Universidade de So Paulo/Ribeiro Preto. Coordena o Ambulatrio de Psicologia
Infantil do Hospital de Clnicas de Ribeiro Preto, onde mantm atividades de pesquisa, formao
de recursos humanos e desenvolvimento de intervenes preventivas, focalizando crianas que
vivem em situao de risco psicossocial e suas famlias.

Psicologia: Reflexo e Crtica, 2000, 13(3), pp.327-336