Psicologia, Crime e Direito

ISSN: 1068-316X (impressão) 1477-2744 (online) Página inicial do jornal:

Psicologia, Crime E Lei, dezembro 2005; 11 (4): 389 -402 /

ARTIGO ORIGINAL

Um projeto de avaliação útil e efeitos do Programa de

Prevenção de Bullying Olweus

DAN OLWEUS

Centro de Pesquisa para Promoção da Saúde (HEMIL), Universidade de Bergen, Noruega

Abstrato
O artigo apresenta a lógica e outras características de um projeto quase-experimental de '' coortes
de seleção estendida ''. Possíveis ameaças à validade das conclusões baseadas neste tipo de
desenho são discutidas. Conclui-se que há boas chances de que as conclusões sobre os efeitos ou
não efeitos dos programas de intervenção na escola sejam aproximadamente corretas na maioria
dos casos. O projeto pode ser particularmente útil em estudos em que não é possível ou desejável
usar uma seleção aleatória de “escolas de controle” e deve ser valioso para profissionais e
pesquisadores. O projeto é ilustrado com um estudo no qual três coortes consecutivas de alunos (n
aproximadamente 21.000) receberam o Questionário de Bully / Vítima antes e depois de cerca de 8
meses de intervenção com o Olweus Bullying Prevenção Programa (OBPP). Resultados indicado
bastante substancial reduções (de 32 -/49%) dentroproblemas de agressor / vítima. A natureza de
"série temporal" dos dados mostrou de forma convincente que uma "interpretação histórica" das
descobertas (Cook & Campbell, Quasi-experimentation. Chicago: Rand McNally, 1979) é muito
improvável. Os dados neste projeto foram obtidos no contexto de uma nova iniciativa nacional
financiada pelo governo contra o bullying na Noruega. As características dessa iniciativa e o modelo
de implantação do programa em mais de 450 escolas foram brevemente descritos.

Palavras-chave: Desenho de coortes de seleção, avaliação, prevenção, intimidação, vítima

Introdução
Um pesquisador ou profissional interessado em avaliar os efeitos de um programa de
intervenção, por exemplo, contra problemas de agressores / vítimas na escola, muitas
vezes se depara com uma situação em que não é possível ou desejável usar um desenho
experimental tradicional. Isso significa que as unidades de observação, como alunos ou
classes / escolas, não são atribuídas aleatoriamente às várias condições de tratamento
(por exemplo, intervenção versus nenhuma intervenção / controle, ou vários graus de
intervenção versus nenhuma intervenção / controle). Em tais situações, o investigador
geralmente deve recorrer ao que é chamado de design quase-experimental. Como pode o
investigador avaliar os efeitos de uma intervenção de uma forma razoavelmente
rigorosa?

Correspondência: Dan Olweus, Centro de Pesquisa para Promoção da Saúde (HEMIL), Universidade de Bergen,
Christies Gate 13, N-5015 Bergen, Noruega. E-mail:Olweus@psyhp.uib.no e bvpolweus@c2i.net.
ISSN 1068-316X print / ISSN 1477-2744 online # 2005 Taylor & Francis
DOI: 10.1080 / 10683160500255471
390 D. Olweus
Há uma grande literatura sobre vários projetos quase-experimentais (ver, por exemplo,
Cook & Campbell, 1979; Shadish, Cook, & Campbell, 2002, e uma série de livros-texto
padrão em design e estatística), cujos pontos fortes e fracos não serão discutido no
presente contexto. No entanto, aqui focalizarei uma breve atenção em um projeto
particular que considero particularmente útil e que é relativamente fácil de usar, também
para pesquisadores que não são principalmente pesquisadores. A estrutura geral desse
projeto, às vezes chamada de projeto de coortes de seleção, é descrita no livro clássico de
Cook e Campbell (1979) e em alguns tratamentos de livros didáticos (por exemplo, Judd
& Kenny, 1981, sob o nome de '' design de coorte de idade ''). No entanto, não se vê
muitos exemplos disso na literatura, em particular, não a versão '' estendida '' do projeto
(abaixo) que eu recomendo e usei em vários estudos de intervenção. Aspectos
importantes dessa variante do projeto são que ela consiste em várias coortes adjacentes
ou contíguas e que há um intervalo de 1 ano (ou possivelmente 2 anos) entre as ocasiões
de medição.

Uma ilustração concreta

Começarei dando uma breve descrição desta versão estendida como foi usada no Primeiro
Projeto Bergen contra o Bullying (por exemplo, Olweus, 1991, 1993, 1994a). Como este
projeto fazia parte de uma campanha nacional contra o bullying, não foi possível realizar um
estudo estritamente experimental com alocação aleatória de escolas ou turmas para
tratamento e condições de controle / comparação.
A avaliação dos efeitos do programa de intervenção foi baseada em dados de
aproximadamente 2.500 alunos que foram acompanhados por um período de 2,5 anos.
Os alunos originalmente (no Tempo 1, abaixo de) pertencia para 112 grade 4− 7 Aulas /

(correspondente para grades 5 -8 dentro a novo grade sistema) dentro 42 primário e júnior
/

Alto escolas dentro Bergen. Cada de as quatro coortes de série / idade (com idades modais
de 11, 12, 13 e 14 anos, respectivamente, no Tempo 1) consistiam de 600 -700 assuntos
/

comuma distribuição aproximadamente igual de meninos e meninas. No presente contexto, os

alunos pertenciam a uma '' coorte '' no sentido de que estavam reunidos em turmas distintas dentro
de um determinado nível de ensino e tinham aproximadamente a mesma idade. A primeira coleta
de dados (Tempo 1) foi em maio / junho de 1983, aproximadamente 4 meses antes do programa
de intervenção ser introduzido em outubro. Novas medições foram feitas em maio de 1984
(Tempo 2) e maio de 1985 (Tempo 3). O programa de intervenção foi (mais ou menos) em vigor
durante todo o período de 20 meses de outubro de 1983, até maio / junho de 1985. A estrutura
básica do projeto é mostrada na Figura 1 (para facilidade de exposição e compreensão, a figura
usa dados fictícios e idealizados que, em certa medida, refletem as tendências gerais dos
resultados empíricos para "ser intimidado"; no entanto,
Para três das coortes (C5, C6 e C7), os dados coletados no Tempo 1 foram usados
como linha de base com a qual os dados para coortes de idade equivalente no Tempo 2
puderam ser comparados. Os últimos grupos foram então expostos ao programa de
intervenção por cerca de 8 meses. Para exemplificar, os dados para a coorte da 5ª série no
Tempo 1 (idade modal 12 anos) foram comparados com os dados do Tempo 2 para a
coorte da 4ª série, que naquele momento havia atingido aproximadamente a mesma idade
que o grupo de base. O mesmo tipo de comparação foi feito entre a coorte da 6ª série no
Tempo 1 e a coorte da 5ª série no Tempo 2, e entre a coorte da 7ª série no Tempo 1 e a
coorte da 6ª série no Tempo 2.
A comparação dos dados coletados no Tempo 1 e no Tempo 3 permitiu uma avaliação
da persistência ou possível declínio ou aumento dos efeitos ao longo de um período de
tempo mais longo. Para
 Avaliação do Programa de Prevenção de Bullying Olweus 391
TEMP
O1

4ª série
TEMPO 2 (1 ANO DEPOIS)

5ª série T1 – T2
TEMPO 3 (2
YE ARS DEPOIS)
6ª série T1 – T2
T1 –
T 3
T1 – T2
Nota 7
T1 – 3
T

PROGRAMA DE
INTERVENÇÃ
O
TEM
PO
X

Figura 1. Desenho para avaliação dos efeitos do programa de intervenção. Dados fictícios (que até certo ponto
refletem a tendência geral das descobertas empíricas para '' ser intimidado '') são mostrados.

os dados dessas comparações para apenas duas das coortes puderam ser usados como
linha de base, as das coortes das séries 6 e 7, que foram contrastadas com os dados
coletados no Tempo 3 nas coortes das séries 4 e 5, respectivamente. Os últimos grupos
foram expostos ao programa de intervenção durante aproximadamente 20 meses naquela
época.

Características adicionais do design

Em qualquer estudo projetado para estabelecer ou tornar prováveis os efeitos de algum
fator, como um programa de intervenção, é obrigatório que o investigador examine e,
idealmente, seja capaz de descartar a maioria ou todas as explicações alternativas dos
resultados em termos de possível confusão, '' fatores irrelevantes ''. Isso é verdade quer o
estudo seja experimental ou quase experimental, embora seja óbvio que certas
interpretações alternativas podem ser mais facilmente eliminadas se as unidades de
amostragem foram alocadas para as várias condições por um procedimento aleatório.
Consequentemente, é muito importante estar ciente das possíveis "ameaças comuns à
validade interna" (Cook & Campbell, 1979) de qualquer projeto, e examinar em que
medida e de que forma tais ameaças ou fontes de confusão podem possivelmente ser
eliminado ou neutralizado. Aqui, darei apenas uma breve discussão dessas questões em
relação ao projeto atual. Para discussões mais detalhadas e um tanto mais técnicas de
certos aspectos, ver Olweus & Alsaker (1991) e Olweus (1991).
Um aspecto fundamental desse projeto é que os grupos ou coortes relevantes comparados
têm a mesma idade. Isso é necessário para atender ou descartar explicações dos resultados em
termos de diferenças de idade ou '' maturação ''. Está bem documentado que ocorrem
mudanças nos problemas do agressor / vítima em função da idade (por exemplo, Olweus,
1993; Smith, Madsen, & Moody, 1999; Solberg & Olweus, 2003). Conseqüentemente, tais
mudanças no desenvolvimento devem ser “controladas”, e isso é feito pela comparação de
grupos com idade equivalente nos vários momentos.
392 D. Olweus
Ao controlar a idade desta forma, a época do ano em que o resultado ou a (s) variável (s)
dependente (s) está (ão) sendo medida (s) também é "mantida constante". Em algumas áreas,
como problemas de intimidação / vítima, isso pode ser importante para controlar possíveis
variações sazonais (devido à quantidade e natureza das atividades ao ar livre, padrões típicos
de interação, etc.).
Um grande problema em muitos estudos quase-experimentais está relacionado ao fato
de que o (s) grupo (s) de intervenção e os grupos de controle ou de comparação diferem
de maneiras conhecidas ou parcialmente desconhecidas em aspectos importantes antes de
a intervenção ser introduzida. E, como tem sido repetidamente apontado na literatura
estatística (por exemplo, Miller & Chapman, 2001; Porter & Raudenbush, 1987), a
estratégia comum de usar a análise de covariância, ANCOVA, para '' controlar '' as
diferenças iniciais entre grupos pré-existentes costumam ser uma empresa inadequada ou
arriscada. Consequentemente, é uma grande vantagem se o investigador puder obter
grupos de ocorrência natural que sejam razoavelmente semelhantes ou equivalentes no
que diz respeito à variável de resultado (e dimensões relacionadas à variável de
resultado), antes que a intervenção seja administrada a um ou mais dos grupos. Quando
os grupos a serem comparados pertencem às mesmas escolas (por exemplo, a coorte da
5ª série no Tempo 1, sem intervenção, em comparação com a coorte da 4ª série no
Tempo 2, com 8 meses de intervenção, recrutada nas mesmas escolas), frequentemente,
há bons motivos para supor que uma coorte difere apenas em pequenas maneiras de sua
(s) coorte (s) contígua (s). Normalmente, a maioria dos membros nas várias coortes de
séries foi recrutada nas mesmas populações relativamente estáveis e também foram
alunos nas mesmas escolas por vários anos. Em alguns casos, em particular em estudos
mais orientados para a pesquisa, pode ser possível verificar a semelhança dos grupos em
comparação com as dimensões presumivelmente importantes. em comparação com a
coorte da 4ª série no Tempo 2, com 8 meses de intervenção, recrutada nas mesmas
escolas), muitas vezes há bons motivos para supor que uma coorte difere apenas em
pequenas maneiras de sua (s) coorte (s) contígua (s). Normalmente, a maioria dos
membros nas várias coortes de séries foi recrutada nas mesmas populações relativamente
estáveis e também foram alunos nas mesmas escolas por vários anos. Em alguns casos,
em particular em estudos mais orientados para a pesquisa, pode ser possível verificar a
semelhança dos grupos em comparação com as dimensões presumivelmente importantes.
em comparação com a coorte da 4ª série no Tempo 2, com 8 meses de intervenção,
recrutada nas mesmas escolas), muitas vezes há bons motivos para supor que uma coorte
difere apenas em pequenas maneiras de sua (s) coorte (s) contígua (s). Normalmente, a
maioria dos membros nas várias coortes de séries foi recrutada nas mesmas populações
relativamente estáveis e também foram alunos nas mesmas escolas por vários anos. Em
alguns casos, em particular em estudos mais orientados para a pesquisa, pode ser
possível verificar a semelhança dos grupos em comparação com as dimensões
presumivelmente importantes. a maioria dos membros nas várias coortes de séries foi
recrutada nas mesmas populações relativamente estáveis e também foram alunos nas
mesmas escolas por vários anos. Em alguns casos, em particular em estudos mais
orientados para a pesquisa, pode ser possível verificar a semelhança dos grupos em
comparação com as dimensões presumivelmente importantes. a maioria dos membros
nas várias coortes de séries foi recrutada nas mesmas populações relativamente estáveis e
também foram alunos nas mesmas escolas por vários anos. Em alguns casos, em
particular em estudos mais orientados para a pesquisa, pode ser possível verificar a
semelhança dos grupos em comparação com as dimensões presumivelmente importantes.
Apesar do fato de que coortes selecionadas nas mesmas escolas podem freqüentemente ser
consideradas razoavelmente equivalentes em aspectos importantes, é possível que algum tipo
de viés de seleção possa ocorrer. Esse viés pode ser o resultado de mudanças inadvertidas no
 Avaliação do Programa de Prevenção de Bullying Olweus 393
recrutamento de alunos para as várias coortes, de modo que as coortes de fato representam
populações com características composicionais parcialmente diferentes. Se presente, esse
viés pode complicar a interpretação das comparações defasadas. No entanto, aqui é
importante enfatizar que o desenho de coortes de seleção estendidas com coortes adjacentes
fornece proteção parcial contra tal viés de seleção. Isso se deve ao fato de que várias das
coortes servem como grupo de linha de base em um conjunto de comparações e como grupo
de intervenção em outro. É o caso, por exemplo, com a coorte de grau 5 no Tempo 1, os
dados para os quais são usados como linha de base em comparação com os dados de coorte
de grau 4 coletados no Tempo 2 (após 8 meses de intervenção; ver Figura 3). Ao mesmo
tempo, os dados de coorte de grau 5 obtidos no Tempo 2 servem para avaliar os possíveis
efeitos de 8 meses de intervenção quando são comparados com os dados para coorte de grau
6 no Tempo 1. A mesma situação se aplica ao coorte de grau 6 em comparações com coortes
de 5ª e 7ª séries, respectivamente.
A vantagem considerável desse aspecto do projeto é que um possível viés na composição
das coortes operaria em direções opostas nos dois conjuntos de comparações, tornando assim
difícil obter "efeitos de intervenção" aparentes entre as coortes como consequência de tal viés
de seleção. Esse recurso do projeto também fornece proteção contra conclusões errôneas no
caso de os dados de linha de base para uma ou ambas as coortes serem excepcionalmente
altos ou baixos simplesmente como uma função do acaso. A proteção contra o viés de
seleção é parcial no sentido de que tanto a coorte mais jovem quanto a mais velha, na
presente ilustração a coorte de 4ª série e a coorte de 7ª série, servem apenas como um grupo
de intervenção (coorte de 4ª série no Tempo 2) ou um grupo de linha de base (coorte de 7ª
série no Tempo 1) em relação para a Tempo 1 - Tempo 2 comparações.
/
394 D. Olweus
Para proteção contra conclusões errôneas devido a possível atrito seletivo (por
exemplo, indivíduos mais extremos ou desviantes podem ter maior probabilidade de
desistir em estudos longitudinais), as análises podem ser restritas a alunos para os quais
existem dados válidos em ambos os pontos de tempo em uma comparação particular
(tanto para a linha de base como para os grupos de intervenção).
Além disso, deve-se mencionar que a seleção de grupos / assuntos neste projeto
normalmente não é baseada em algum tipo de critério de '' pontuação extrema ''.
Conseqüentemente, o problema com a “regressão em direção à média”, que é grande em
muitos estudos de avaliação, não é um problema aqui.

Possíveis efeitos de medição repetida e '' histórico ''

No entanto, existem duas fontes adicionais concebíveis de confusão que também devem ser
consideradas. Um está relacionado a possíveis efeitos de '' teste '' ou medições repetidas.
Como fica evidente na Figura 1, as pontuações dos dados da linha de base (Tempo 1)
geralmente representam uma medição da primeira vez, enquanto os dados do Tempo 2 vêm
de uma segunda onda de medição. Embora possa não parecer muito provável que uma
segunda medição, separada por um ano inteiro da primeira ocasião de medição, resultaria em
algum tipo de mudança sistemática na resposta dos alunos, pode, a título de precaução, ser
valioso examinar se essas mudanças ocorreram e em que direção eles podem ir. Se esses
efeitos (não triviais) forem encontrados, isso pode complicar a interpretação dos resultados.
Com um desenho de coortes de seleção, deve-se também estar ciente da possibilidade de
que as mudanças registradas na variável de resultado sejam consequência de algum fator ''
irrelevante '' concomitante ao programa de intervenção, o que implica que os resultados
podem receber um '' histórico '' interpretação (ver Cook & Campbell, 1979). Pode ser, por
exemplo, que os grupos de intervenção estivessem expostos, além do programa de
intervenção, a algum tipo de mudança nas rotinas educacionais, administrativas ou outras
rotinas escolares que podem ter afetado seu comportamento e resposta no Tempo 2.
Conseqüentemente, pode ser importante para o investigador examinar se tais mudanças
paralelas ocorreram durante o (s) período (s) de intervenção e, em caso afirmativo, se elas
podem ser vinculadas de forma significativa a mudanças sistemáticas nas variáveis de
resultado. 120 - 121). Embora tais '' explicações de história '' freqüentemente pareçam bastante
/

improváveis, particularmente em consideração à abrupta relativa das mudanças frequentemente

observadas, o investigador pode obter ajuda adicional para descartar (ou possivelmente
incorporar) tais interpretações se ele ou ela também puder incluir em o desenho de algumas
unidades equivalentes (escolas / turmas) sem qualquer intervenção, ou seja, algumas unidades de ''
controle ''.
Embora o design de coortes de seleção estendida tenha muitos recursos atraentes,
também existem algumas limitações que merecem ser mencionadas. Em primeiro lugar,
pode-se notar (conforme indicado acima) que alguns dos dados coletados não podem ser
usados na avaliação dos efeitos do programa. Isso é verdadeiro para os dados da coorte
da 4ª série no Tempo 1 e os dados da coorte da 7ª série no Tempo 2, por exemplo, com
em relação ao Tempo 1 - Tempo2 comparações. Além disso, embora o desenho seja longitudinal,
/

esse aspecto não pode ser levado em consideração nas análises estatísticas. Isso significa
 Avaliação do Programa de Prevenção de Bullying Olweus 395
que a vantagem de ter medições repetidas nos mesmos assuntos não se traduz em um
termo de erro reduzido. Conseqüentemente, o desenho provavelmente terá menos poder
estatístico ou precisão do que se um desenho de medidas repetidas tivesse sido usado. Ao
mesmo tempo, essas duas preocupações podem não ser muito importantes no contexto de
um projeto de coortes de seleção, onde grandes quantidades de dados podem
frequentemente ser coletadas sem grande esforço.
Deve-se mencionar que todas essas possíveis explicações alternativas (além do possível
sub e super-relato) das reduções sistemáticas nos problemas de agressores / vítimas e padrões
de comportamento relacionados (abaixo) foram cuidadosamente examinadas no Primeiro
Projeto Bergen contra o Bullying e geralmente considerado deficiente na explicação dos
resultados obtidos (Olweus, 1991, 1993; Olweus & Alsaker, 1991). Além disso, uma relação
clara de '' dosagem-resposta '' (r = 0,51, n = 80)foi estabelecido em análises preliminares no
/ /

nível da classe (que é a unidade natural de análise neste caso): os professores / turmas que tiveram
maiores reduções nos problemas de agressores / vítimas implementaram três componentes
presumivelmente essenciais do programa de intervenção (incluindo o estabelecimento da classe
regras contra o bullying e o uso de reuniões regulares de classe) em maior extensão do que
aquelas com mudanças menores. Esse achado fornece evidências que corroboram a hipótese de
que as mudanças observadas foram consequência do programa de intervenção e não de algum
outro fator '' irrelevante ''.
Alguns dos argumentos apresentados acima podem parecer um tanto sutis e técnicos.
Eles são, no entanto, muito importantes a serem considerados em um estudo de pesquisa,
seja experimental ou quase-experimental, com o objetivo de documentar os possíveis
efeitos de um programa de intervenção. Além disso, para um tratamento estatístico
adequado, a natureza hierárquica ou '' aninhada '' dos dados deve ser levada em
consideração (ver Olweus, 1991; Olweus & Alsaker, 1991). No entanto, o projeto de
coortes de seleção estendida tem uma série de recursos atraentes e proteções embutidas
que devem facilitar a interpretação dos resultados. Além disso, profissionais como a
liderança escolar ou o conselho escolar podem provavelmente encarar a maioria das
questões de validade discutidas de maneira bastante superficial, desde que a situação de
intervenção seja razoavelmente "limpa". Com isso, quero dizer que, de preferência,
nenhum outro programa de intervenção ou atividades ou eventos semelhantes são
introduzidos nas escolas participantes no mesmo período em que o programa em questão
está sendo avaliado. (Na preparação da possível implementação do Programa de
Prevenção de Bullying Olweus em uma determinada escola, recomendamos fortemente a
liderança da escola para não iniciar a implementação de algum outro programa ao
mesmo tempo, tanto em consideração ao tempo e recursos de energia necessários,
possivelmente negativo interações entre os programas e prováveis ambigüidades no que
diz respeito à interpretação dos possíveis "efeitos da intervenção". No caso de a escola
em questão já ter implementado um programa que, de uma forma ou de outra, está em
conflito com os princípios e abordagem geral do Programa Olweus ,
Resumindo, com o uso de um desenho de coortes de seleção estendido do tipo descrito
acima, as chances são muito boas de que as conclusões sobre os efeitos ou não-efeitos de um
programa de intervenção sejam aproximadamente corretas na maioria dos casos. Além disso,
o design é fácil de usar; na verdade, é um passo muito natural no monitoramento do que
acontece nas escolas envolvidas no trabalho anti-bullying. No geral, o design deve ser
considerado um design bastante útil para profissionais e pesquisadores e, na opinião do autor,
é claramente subutilizado. No entanto, os muitos aspectos positivos do projeto não podem,
obviamente, isentar-nos da responsabilidade de usar outros dados disponíveis e de fazer uma
avaliação equilibrada dos resultados obtidos.
396 D. Olweus
Algumas avaliações dos efeitos do Programa de Prevenção de Bullying Olweus
(OBPP) 1
Conforme descrito acima, um desenho de coortes de seleção estendido foi usado para avaliar
os efeitos do programa de intervenção no Primeiro Projeto Bergen contra o Bullying,
ocorrendo de 1983 a 1985. Variantes do mesmo desenho, com algumas modificações,
também foram usadas em mais dois projetos de avaliação recentes: o Novo Projeto Bergen
contra o Bullying de 1997 a 1998 (1999a) e a Nova Iniciativa Nacional contra o Bullying
com dados de avaliação de 2001 a 2003 (até agora).
O Novo Bergen Projeto contra Assédio moral compreendido algum 3200 alunos dentro
grades 5− 7 e 9 pertencentes a 14 escolas de intervenção e 16 escolas de '' comparação ''
/

(Olweus, 1999a). O fato de o segundo grupo de escolas ser chamado de escolas de

comparação não implica de forma alguma que eles não estejam envolvidos em algum tipo
de trabalho de intervenção contra o bullying (o que é realmente esperado de todas as
escolas na Noruega atual). No entanto, não faziam parte do projeto de intervenção
envolvendo o Programa Olweus de Prevenção ao Bullying (OBPP).
A Nova Iniciativa Nacional contra o Bullying (a ser descrita com mais detalhes abaixo)
compreendia mais de 100 escolas com aproximadamente 21.000 alunos na 4ª série - /

7. Essas escolas se inscreveram para a participação no OBPP em três momentos

diferentes, no outono de 2001, na primavera de 2002 e no outono de 2002, quando
também responderam ao Questionário Olweus Bully / Victim (Olweus, 1986, 1996) para
uma linha de base avaliação. A segunda medição com o mesmo instrumento ocorreu 1
ano depois, quando as escolas já trabalhavam com o programa há aproximadamente 8
meses. Este projeto é particularmente interessante do ponto de vista de que pode lançar
luz sobre os efeitos possivelmente confusos das tendências gerais do tempo ou da
atenção da mídia.
Aqui, darei apenas um resumo relativamente breve dos resultados desses três projetos, sem
detalhes estatísticos. Deve-se notar, no entanto, que em todas as análises estatísticas, a
natureza hierárquica ou aninhada dos dados (com os alunos aninhados nas salas de aula
aninhados nas escolas) foi levada em consideração (por exemplo, Olweus, 1991; Olweus &
Alsaker, 1991; Raudenbush & Bryk , 2002). Todas as conclusões principais são baseadas em
resultados estatisticamente significativos ou altamente significativos. Para os dois estudos
recentes, vou restringir o relatório aos dados a partir de a elementar grades (5 -7 e 4 -7,
/ /

respectivamente) Onde importante os componentes do programa foram implementados de

forma mais completa do que nas séries superiores.

Resultados dos dois projetos de Bergen

Os principais resultados do Primeiro Projeto Bergen podem ser resumidos da seguinte forma
(por exemplo, Olweus, 1991, 1993; Olweus & Alsaker, 1991):
. Lá foram marcadas (e estatisticamente altamente significativas) reduções * de 50% ou mais
/

* dentro auto-relatado valentão / vítima problemas para os períodos estudados, com 8 e

/

20
meses de intervenção, respectivamente. Em geral, os resultados se aplicam a
meninos e meninas e a alunos de todas as séries estudadas. Resultados semelhantes
foram obtidos para um tipo de variáveis agregadas de avaliação de pares e
avaliações de professores. No entanto, os efeitos foram um pouco mais fracos para
as avaliações dos professores.
. Também houve reduções claras no comportamento anti-social geral, como vandalismo,
brigando com a polícia, furtos, embriaguez e evasão escolar.
. Além disso, pudemos registrar uma melhora acentuada no que diz respeito a vários
aspectos do '' clima social '' da classe: ordem e disciplina melhoradas, social mais
positivo
 Avaliação do Programa de Prevenção de Bullying Olweus 397
relacionamentos e uma atitude mais positiva em relação ao trabalho escolar e à
escola. Ao mesmo tempo, houve um aumento da satisfação dos alunos com a vida
escolar.

Dentro a Novo Bergen Projeto contra Assédio moral (1997 -1998), nós poderia
/

novamente registro melhorias claras no que diz respeito aos problemas de agressores /
vítimas nas escolas de intervenção, mas os efeitos foram um pouco mais fracos do que no
primeiro projeto, com médias variando entre 21 e 38%. Deve-se notar, entretanto, que o
programa de intervenção estava em vigor há apenas 6 meses ou menos quando a segunda
medição foi feita (no Tempo 2). Além disso, este ano em particular (1997/98) foi muito
turbulento para os professores com a introdução de um novo Currículo Nacional que exigiu
muito do seu tempo e recursos emocionais. Para as escolas de comparação, houve mudanças
muito pequenas ou nenhuma mudança na prática de bullying e, na verdade, um aumento no
nível de bullying de outros alunos em cerca de 35%. Sem ter analisado as informações do
questionário obtidas junto aos professores nas escolas de comparação (e intervenção), não
estamos preparados para dar uma explicação detalhada desse resultado. No entanto, é
certamente consistente com os resultados de uma série de estudos que encontraram efeitos
negativos de intervenções destinadas a neutralizar o comportamento delinquente e anti-social
(por exemplo, Dishion, McCord, & Poulin, 1999; Gottfredson, 1987; Lipsey, 1992).
Resultados semelhantes aos dos dois projetos de Bergen, embora um pouco mais fracos,
foram
obtido em replicações parciais no Reino Unido, EUA e Alemanha (Olweus & Limber, 1999;
Smith & Sharp, 1994).
Stevens, de Boudeaudhuij e Van Oost (2000) levantaram a questão de se os resultados
positivos do Primeiro Projeto Bergen contra o Bullying poderiam ser, pelo menos em parte,
um chamado efeito Hawthorne, ou seja, uma consequência da atenção geral do mídia e o
público em geral, em vez de um efeito do próprio programa de intervenção. Conforme
detalhado em uma publicação escrita em sueco (Olweus, 2002), argumento que essa hipótese,
por uma série de razões, é altamente improvável de ser verdadeira. Por falta de espaço,
limitar-me-ei a listar alguns dos argumentos contra a hipótese. Eles se concentram em (a) o
momento da atenção da mídia para o Projeto, (b) a interpretação dos resultados supostamente
contraditórios de um estudo de Roland (1989; Olweus, 1999b), (c) a natureza de um possível
efeito Hawthorne, ( d) a amplitude do programa efeitos, e (e) a documentação de uma
''dosagem− resposta'' relação Mencionado acima. Além disso, os resultados do projeto a ser
/

apresentado a seguir contradizem claramente essa interpretação.

Resultados do Projeto de Nova Iniciativa Nacional

Os principais resultados do Projeto de Nova Iniciativa Nacional podem ser vistos nas
Figuras 2 e 3. Para melhor compreender o significado das curvas, vamos nos concentrar
na Figura 2. A curva superior retrata as porcentagens de base (antes da intervenção) de alunos
intimidados na 4ª série - 7 de cinco coortes diferentes de escolas que participaram do OBPP
/

por 18 meses. Para ser classificado como intimidado, o aluno tinha que responder à
pergunta global no Questionário Olweus Bully / Victim (Olweus, 1986, 1996) de que ele
ou ela havia sofrido bullying '' 2 ou 3 vezes por mês '' ou mais em nos últimos dois meses.
As análises psicométricas mostraram que esta é uma forma útil e confiável de dicotomizar
a variável global (Solberg & Olweus, 2003). Em outras análises, a variabilidade total da
variável global de cinco pontos e várias escalas ou índices foram usados, e com resultados
semelhantes.
No momento em que escrevo este artigo, nos concentramos principalmente nas três primeiras
dessas coortes para
quais dados completos de acompanhamento 1 ano depois estavam disponíveis. As
porcentagens de alunos que
398 D. Olweus
Porcentagem de alunos vítimas de bullying 2001–2003.
Graus elementares (4-7).
16

14

12

10

8
Oct01May02Oct02May03Oct03

Dados básicos Após 8 meses com o Programa Olweus

Figura 2. Porcentagens de alunos vítimas de bullying, 2001 -/ 2003, antes (curva superior) e depois (curva
inferior) da intervenção com o Programa de Prevenção de Bullying Olweus.

relatados que sofreram bullying 1 ano depois, quando as escolas usaram o OBPP por
aproximadamente 8 meses, são mostrados na curva inferior. Os dados de um
determinado grupo de escolas estão conectados com uma seta. Para ilustrar, a
porcentagem de alunos vítimas de bullying na primeira coorte de escolas (n = 8388) foi
de 15,2, enquanto no acompanhamento 1 ano depois, essa porcentagem foi reduzida a
10,3 * umaredução relativa de 32%. As reduções relativas para as duas coortes sucessivas de
/

escolas foram muito semelhantes, ambas totalizando 34% (n = 4083 e n = 8238). As reduções
/ /

absolutas para essas três coortes totalizaram 4,9, 4,8 e 4,5 pontos percentuais,
respectivamente.
Na Figura 3, a variável retratada é o bullying de outros alunos '' 2 ou 3 vezes por mês '' ou
mais nos últimos dois meses. O padrão geral de resultados é muito semelhante ao relatado
para o bullying na Figura 2, mas em um nível inferior, como esperado. As reduções relativas
para as três primeiras coortes de escolas (as mesmas da Figura 2) foram 37%, 48% e 49%,
respectivamente. As reduções absolutas foram de 2,1. 2,8 e 2,5 pontos percentuais.
Geralmente, os resultados para ambas as variáveis de resultado foram muito semelhantes
nas três coortes. Houve reduções relativas muito substanciais nos níveis de agressor / vítima

Porcentagem de estudantes que praticam bullying em 2001-2003.

Graus elementares (4-7).
7

2
Oct01May02Oct02May03Oct03

Dados de linha de base Após 8 meses com o Olweus Programa

Figura 3. Porcentagens de alunos que praticam bullying, 2001 -/ 2003, antes (curva superior) e depois (curva
inferior) da intervenção com o Programa de Prevenção de Bullying Olweus.
 Avaliação do Programa de Prevenção de Bullying Olweus 399
problemas, variando entre 32% e 34% para ser intimidado, e entre 37% e 49% para
intimidar outros alunos. Em termos de reduções absolutas, os números variaram entre 4,5
e
4,9 pontos percentuais para o bullying e entre 2,1 e 2,8 pontos percentuais para o
bullying de outros alunos. O fato de que as reduções relativas foram maiores para
intimidar outras pessoas, apesar do fato de que um padrão oposto foi encontrado para as
reduções absolutas, é, obviamente, devido ao fato de que os valores de base dos quais as
reduções relativas foram derivadas foram menores no caso de intimidar os outros.
Bonecos 2 e 3 mostrar percentagens fou Garoto e gIRL amostras combinado através
grades 4 -7. Resultados basicamente semelhantes foram obtidos quando os dados foram
/

analisados separadamente para os dois gêneros, as quatro classes, e quando um critério mais
estrito * ''cerca de uma vez por semana '' ou mais frequentemente * estava usava dentro
/ /

classificando alunos como sendo intimidado ou assédio moral outro alunos. Melhorias
marcadas puderam, portanto, ser registradas também para alunos que haviam se
envolvido em problemas mais sérios de agressores / vítimas. (Deve-se notar que ter sido
intimidado / intimidado outros alunos '' 2 ou 3 vezes por mês '' de forma alguma
representa problemas não sérios ou triviais, como mostrado em Solberg & Olweus,
2003.)
Quando as porcentagens de mudança relatadas acima foram calculadas, não apenas
seguimos os mesmos assuntos ao longo do tempo e calculamos o grau de mudança para cada
participante da linha de base ao acompanhamento. Conforme explicado na primeira parte do
artigo, as principais comparações estavam sendo feitas entre grupos de idade equivalente, ou
seja, os dados para alunos da 6ª série no acompanhamento (após 8 meses de intervenção), por
exemplo, foram comparados com o dados de linha de base (antes da intervenção) para os
alunos da 6ª série nas mesmas escolas. O mesmo procedimento foi seguido para as demais
séries.
Em análises mais detalhadas dos resultados de uma das coortes (até agora), pudemos
registrar uma série de mudanças em outras áreas ou dimensões que também sugeriram
fortemente que os resultados positivos foram uma consequência da intervenção. A título
de ilustração, os alunos relataram uma intervenção mais ativa em situações de bullying
por parte de professores e colegas no acompanhamento, em comparação com a linha de
base. Além disso, no acompanhamento, havia claramente mais alunos que responderam
que o professor da sala de aula / sala de aula principal havia feito "muito" ou "muito"
para combater o bullying na sala de aula nos últimos meses.

É uma '' interpretação da história '' razoável?

Ao explicar a lógica do desenho de coortes de seleção estendida, uma '' interpretação da
história '' foi mencionada como uma possível ameaça à validade, o que implica que o
pesquisador deve tentar descartar ou minimizar a possibilidade de que tendências gerais
de tempo ou alguma '' irrelevante ' 'fator concomitante à intervenção poderia explicar os
resultados. O fato de que várias coortes consecutivas de escolas foram medidas antes da
intervenção no presente projeto (curvas superiores nas Figuras 2 e 3) pode lançar uma luz
especial sobre a razoabilidade de tais explicações alternativas.
Nós veja então que há um ligeiro declínio nos níveis de intimidação e possivelmente de
intimidação nos primeiros três pontos de tempo. Este ligeiro declínio pode ser uma
indicação de uma tendência geral de tempo ou um efeito da mídia em geral / atenção
pública aos problemas de agressores / vítimas nas escolas norueguesas durante o período
específico. No entanto, em particular, uma vez que a maior parte da atenção da mídia a
esses problemas começou no início do outono de 2002, uma interpretação igualmente
provável é que as escolas que se inscreveram para a participação no OBPP tiveram níveis
ligeiramente mais altos de problemas do que as escolas que entraram no programa em
400 D. Olweus
um ponto um pouco mais tarde no tempo. Em qualquer caso, o possível declínio nas três
primeiras coortes foi bastante pequeno e também se refletiu de alguma forma nas curvas
de resultado após 8 meses de intervenção (menor
 Avaliação do Programa de Prevenção de Bullying Olweus 401
curvas nas Figuras 2 e 3). Esses resultados derivados de coortes de escolas diferentes, mas
razoavelmente comparáveis, indicam uma estabilidade considerável ao longo do tempo na
quantidade média de problemas com agressores / vítimas. Também encontramos níveis
semelhantes de estabilidade quando indivíduos ou grupos de escolas foram acompanhados ao
longo do tempo (em intervalos de 1 ano) sem intervenção.
Todos esses resultados sugerem que, sem intervenção sistemática e eficaz, os níveis de
problemas de agressores / vítimas caracterizando coortes consecutivas e amplamente
comparáveis de escolas em diferentes momentos ou uma coorte de escolas seguida ao longo
do tempo, serão relativamente estáveis pelo menos por um período de alguns anos. Isso
também implica que uma “interpretação da história” em termos de tendências de tempo
gerais ou atenção especial da mídia não pode ser razoavelmente invocada como uma
explicação das mudanças positivas em nossas escolas de intervenção no Projeto de Nova
Iniciativa Nacional.
Deve-se enfatizar neste contexto que, embora as escolas que buscam participação no OBPP
tenham sido '' auto-selecionadas '', os níveis de problemas que caracterizam as escolas
participantes (antes da intervenção) estavam claramente dentro dos intervalos normalmente
encontrados para amostras representativas nacionalmente ( por exemplo, Tikkanen & Junge,
2004) para aproximadamente os mesmos períodos. Pode ser útil saber que as escolas
participantes do OBPP não eram, portanto, de forma alguma "atípicas" no que diz respeito
aos níveis de problema.
Para aproximadamente metade das escolas da primeira coorte, também obtivemos
dados de acompanhamento (32 escolas com cerca de 4.000 alunos) 2 anos após a
primeira ocasião de medição e aproximadamente 6 meses após o término da fase de
implementação do OBPP. Esses dados mostraram que as reduções obtidas após 1 ano
foram mantidas ou mesmo ligeiramente aumentadas após 2 anos. Essas escolas eram
aproximadamente semelhantes ao coorte total de escolas em termos de níveis de
problemas no Tempo 1 e grau de redução de problemas entre o Tempo 1 e Tempo 2 O
resultados indicar naquela a Tempo 1 - Tempo 2 reduções Cantes não uma fenômeno
/

temporário e de curta duração contingente à participação constante de “recursos

completos” no OBPP. Embora o período de acompanhamento (até agora) tenha sido
relativamente limitado, os resultados sugerem que as escolas podem ter realmente
mudado sua cultura, prontidão e competência para lidar com e prevenir problemas de
agressores / vítimas de uma forma mais duradoura.
Enquanto sistemático usar de a OBPP com alunos dentro grades 4 -7 tem consistentemente
/

produziram resultados muito positivos, que parecem ser relativamente únicos em uma
perspectiva internacional (ver Smith, Pepler, & Rigby, 2004), também deve ser
mencionado que os efeitos têm sido mais variáveis com alunos do ensino médio. Em
cerca de metade de nossos projetos de avaliação, os resultados com alunos dessa faixa
etária foram menos bem-sucedidos do que com alunos mais jovens. Acreditamos
conhecer várias das razões para esses resultados que, no entanto, não serão discutidas
neste contexto por falta de espaço. Estamos atualmente empenhados em adequar o
programa, ou melhor, a sua implementação, de forma a obter resultados positivos de
forma mais consistente também para estas faixas etárias.

Uma nova iniciativa nacional contra o bullying na Noruega

Neste contexto, é natural fazer uma breve descrição do desenvolvimento e organização do
projeto de que derivaram os resultados apresentados nas secções anteriores.
No final de 2000, o Departamento de Educação e Pesquisa (UFD) e o Departamento de
Crianças e Assuntos da Família (BFD) decidiram que o OBPP seria oferecido em larga
escala para escolas primárias e secundárias da Noruega durante um período de anos . Na
construção da organização e infraestrutura para esta iniciativa nacional, dois princípios
402 D. Olweus
fundamentais orientaram nosso trabalho: (1) tentar garantir que o programa fosse
implementado
 Avaliação do Programa de Prevenção de Bullying Olweus 403
de acordo com as intenções do projetista do programa, ou seja, com razoável fidelidade
(controle de qualidade); (2) tentar implementar o programa em um número razoável de
escolas / comunidades em um período de tempo relativamente limitado, digamos 5 ou 6
anos.
Para Para acomodar esses dois princípios ao mesmo tempo, usamos uma estratégia de
disseminação de quatro níveis, uma espécie de modelo de "treinar o treinador". O Grupo
Olweus contra Bullying e Comportamento Antissocial no Centro HEMIL da Universidade de
Bergen, treina e supervisiona candidatos a instrutores especialmente selecionados que
treinam e supervisionam "pessoas-chave" de várias escolas (idealmente cerca de cinco
escolas por candidato a instrutor) . Essas pessoas-chave são então responsáveis por liderar ''
grupos de discussão de funcionários '' recorrentes em cada escola participante. A estrutura
básica do modelo é mostrada na Figura 4.
O treinamento dos candidatos a instrutor consiste em 10-11 assembleias de dia inteiro
distribuídas por um período de cerca de 16 meses. Entre as reuniões de um dia inteiro, os
candidatos a instrutores recebem consultoria contínua por telefone ou e-mail com membros
do meu grupo. Depois de ter concluído com sucesso o período de treinamento, eles receberão
o status de instrutores certificados da Olweus. (Na implementação deste modelo de '' treinar o
treinador '' nos EUA, algumas modificações foram feitas para acomodar diferenças culturais e
restrições práticas. Em particular, o número de assembleias de dia inteiro foi reduzido para
quatro ou cinco, e os Comitês de Coordenação de Prevenção do Bullying nas escolas
individuais receberam responsabilidades um pouco maiores do que na Noruega.)
Uma tarefa importante para os candidatos a treinador é realizar um treinamento de 2
dias com pessoas-chave especiais de cada escola participante (ou nos EUA, com
membros do comitê de coordenação; ver Olweus & Limber, 1999). Os candidatos a
treinador também estão envolvidos na administração do Questionário de Intimidação /
Vítima (Olweus, 1996; Solberg & Olweus, 2003) e na interpretação e comunicação dos
resultados para cada escola. O questionário Questionário é um veículo importante para
criar consciência e envolvimento entre funcionários, alunos e pais. Além disso, as
pessoas-chave recebem supervisão e assistência contínuas de seus candidatos a
instrutores.
O estabelecimento de grupos de discussão para funcionários em cada escola
participante é uma ferramenta importante para a disseminação e implementação eficazes
do programa. Esses grupos com até 15 participantes se reúnem regularmente por
aproximadamente 90 minutos a cada duas semanas sob o

Treinamento de instrutores

Centro HEMIL do
grupo Olweus

A aula de Oslo A aula de Bergen A aula de Narvik

Instrutor # 1 .... Instrutor # 15

Escola 1 ..... Escola 5

3-5 3-5 funcionários
funcionários principais
principais
Grupo de
discussão do
professor (todo o
corpo docente)
Figura 4. Visão geral do modelo de '' treinar o treinador '' usado na nova iniciativa nacional norueguesa anti -bullying.
404 D. Olweus
liderança das pessoas-chave especialmente treinadas. As reuniões são normalmente
organizadas em torno de componentes ou temas importantes do programa, conforme descrito
no Programa Principal da Olweus contra o Bullying: Um Manual do Professor (Olweus,
2001) e o livro Bullying na Escola: O que sabemos e o que podemos fazer (Olweus, 1993) )
Os principais objetivos dessas reuniões são os seguintes:
. Para fornecer um conhecimento mais detalhado e abrangente do programa de intervenção
e seus vários componentes.
. Para fornecer aos participantes a possibilidade de testar, por meio de dramatização e
em
outras formas, ideias e soluções práticas para várias situações problemáticas de forma
segura
meio Ambiente.
. Para estimular a rápida (er) implementação dos vários componentes do programa.
. Para compartilhar experiências e pontos de vista com outras pessoas em situações
semelhantes e aprender com
experiências positivas e negativas de outros.
. Para criar e manter a motivação e o comprometimento.
. Para estimular a cooperação e coordenação de componentes e atividades do programa
(para
desenvolver e manter uma política para toda a escola).

Embora os grupos de discussão da equipe possam ser percebidos por alguns na

sociedade escolar como algo que consome muito tempo / recursos, o feedback informal
que recebemos até agora certamente sugere que essas reuniões são vistas como muito
valiosas pela maioria dos participantes. De muitas maneiras, essas reuniões em torno do
programa na verdade servem para estimular o desenvolvimento organizacional da escola.
Uma vantagem distinta aqui é que o objetivo principal desta forma de desenvolvimento
escolar é direcionado aos alunos: criar um ambiente de aprendizagem seguro e positivo.
Até agora, cerca de 125 candidatos a instrutores concluíram ou estão em treinamento, e
mais de 450 escolas de toda a Noruega participam do programa. Percebemos tudo isso
como um avanço para o trabalho sistemático, de longo prazo e baseado em pesquisas
contra os problemas de agressores / vítimas na escola e esperamos ver desenvolvimentos
semelhantes em outros países.

Reconhecimentos
O programa de pesquisa relatado neste artigo foi apoiado por doações do Ministério da
Criança e da Família (BFD), do Ministério da Pesquisa e da Educação (UFD) e, em fases
anteriores, do Conselho de Pesquisa da Noruega (NFR, NAVF) e a Fundação Johann Jacobs,
Suíça, que é reconhecida com gratidão.

Observação
1 O '' pacote '' de intervenção consiste no livro Bullying na escola: o que sabemos e o que podemos fazer (Olweus,
1993; este livro é vendido em livrarias ou por encomenda direta da editora: Blackwell, 108 Cowley Road, Oxford
OX4 1JF, Reino Unido, ou sua divisão norte-americana: Blackwell, 238 Main Street, Cambridge, MA 02142,
EUA), Olweus 'Core Program Against Bullying and Antisocial Behavior: A Teacher Handbook (Olweus, 2001), o
Olweus Bully / Victim revisado Questionário (Olweus, 1996) com programa para PC que o acompanha e uma fita
de vídeo sobre bullying (Olweus & Limber, 1999). Mais informações sobre o programa de intervenção e pedido
de materiais podem ser obtidas emOlweus@online.no ou nobully@clemson.edu.

Referências
Cook, TD, & Campbell, DT (1979). Quase experimentação. Chicago: Rand McNally.
Dishion, TJ, McCord, J., & Poulin, F. (1999). Quando as intervenções prejudicam: Grupos de pares e
 Avaliação do Programa de Prevenção de Bullying Olweus 405
comportamento problemático.
Psicólogo americano , 54, 755 -/ 764.
 406 D. Olweus
Gottfredson, GD (1987). Intervenções de grupos de pares para reduzir o risco de comportamento delinquente:
uma revisão seletiva e uma nova avaliação. Criminologia, 25, 671 -/ 714.
Judd, CM e Kenny, DA (1981). Estimando os efeitos das intervenções sociais. Nova York: Cambridge University
Press.
Lipsey, MW (1992). Tratamento da delinquência juvenil: Uma investigação meta -analítica sobre a variabilidade dos
efeitos. Em T.
D. Cook, H. Cooper, DS Corday, H. Hartman, LV Hedges, RJ Light, et al. (Eds.), Meta -análise para explicação: A
casebook (pp. 83-125). Nova York: Russell Sage.
Miller, GA e Chapman, JP (2001). Análise de incompreensão de covariância. Journal of Abnormal Psychology,
110 , 40 -/ 48
Olweus, D. (1986). O Questionário Olweus Bully / Victim. Mimeo. Bergen, Noruega: Centro de Pesquisa para
Promoção da Saúde, Universidade de Bergen.
Olweus, D. (1991). Problemas de intimidação / vítima entre crianças em idade escolar: fatos básicos e efeitos de um
programa de intervenção na escola. Em D. Pepler, & K. Rubin (Eds.), O desenvolvimento e tratamento da
agressão na infância (pp. 411 -/ 448). Hillsdale, NJ: Erlbaum.
Olweus, D. (1993). Bullying na escola: o que sabemos e o que podemos fazer. Oxford: Blackwell.
Olweus, D. (1994a). Anotação: Bullying na escola: fatos básicos e efeitos de um programa de intervenção na
escola.
Jornal de Psicologia Infantil e Psiquiatria, 35, 1171 -/1190.
Olweus, D. (1994b). Bullying na escola: resultados de longo prazo para as vítimas e um programa eficaz de
intervenção na escola. Em LR Huesmann (Ed.), Comportamento agressivo: perspectivas atuais (pp. 97 -
/130). Nova York: Plenum.

Olweus, D. (1996). The Revised Olweus Bully / Victim Questionnaire. Mimeo. Bergen, Noruega: Centro de
Pesquisa para Promoção da Saúde, Universidade de Bergen.
Olweus, D. (1999a). Noen hovedresultater fra Det nye Bergensprosjektet mot mobbing og antisosial atferd. [Alguns
resultados importantes do Projeto New Bergen contra o bullying e o comportamento anti-social.] Manuskript.
HEMIL- senteret, Universitetet i Bergen.
Olweus, D. (1999b). Noruega. Em PK Smith, Y. Morita, J. Junger-Tas, D. Olweus, R. Catalano, & P. Slee
(Eds.),
A natureza do bullying escolar: uma perspectiva transnacional (pp. 28 -/48). Londres: Routledge.
Olweus, D. (2001). Programa central da Olweus contra o bullying e o comportamento anti -social: um manual do
professor. Bergen, Noruega: Centro de Pesquisa para Promoção da Saúde (Centro Hemil).
Olweus, D. (2002). Mobbning eu skolan: Grundl¨aggande fakta, ett Efetivo uma˚ tg¨ardsprogram och en Nova Iorque
Nationell Storsatsning i Norge [Bullying na escola: fatos básicos, um programa de intervenção eficaz e uma nova
iniciativa nacional na Noruega]. Em IE Menckel (Ed.), V ¨anskap vinner: Om mobbning och kr¨ankande
behandling i skolan (pp. 27-59). Halmstad, Sverige: Hoë gskolan eu Halmstad.
Olweus, D., & Alsaker, FD (1991). Avaliação da mudança em um estudo longitudinal de coorte com dados
hierárquicos. Em D. Magnusson, LR Bergman, G. Rudinger, & B. Toë restad (Eds.), Problemas e métodos em
pesquisa longitudinal (pp. 107 -/ 132). Nova York: Cambridge University Press.
Olweus, D., & Limber, S. (1999). Projetos de prevenção da violência: Programa de Prevenção do Bullying. Institute
of Behavioral Science, University of Colorado, Boulder, EUA.
Porter, AC e Raudenbush, SW (1987). Análise de covariância: seu modelo e uso na pesquisa psicológica.
Journal of Counseling Psychology, 34, 383 -/392.
Raudenbush, S., & Bryk, A. (2002). Modelos lineares hierárquicos: Aplicações e métodos de análise de dados (2ª ed.).
Newbury Park, CA: Sage.
Roland, E. (1989). Bullying: A tradição de pesquisa escandinava. Em DP Tattum, & DA Lane (Eds.), Bullying nas
escolas (pp. 21 -/ 32). Stoke-on-Trent, Reino Unido: Trentham Books.
Shadish, WR, Cook, TD, & Campbell, DT (2002). Desenho experimental e quase experimental para inferência causal
generalizada. Boston: Houghton-Mifflin.
Smith, PK e Sharp, S. (1994). Bullying escolar: percepções e perspectivas. Londres: Routledge.
Smith, PK, Madsen, KC, & Moody, JC (1999). O que causa o declínio da idade nos relatos de intimidação na escola?
Rumo a uma análise do desenvolvimento de ser intimidado. Pesquisa Educacional, 41, 276 -/ 285.
Smith, PK, Pepler, D., & Rigby, K. (2004). (Eds.) Bullying nas escolas: quão bem-sucedidas podem ser as
intervenções?
Cambridge: Cambridge University Press.
Solberg, M., & Olweus, D. (2003). Estimativa da prevalência de bullying escolar com o Olweus Bully / Victim
Questionnaire. Comportamento agressivo, 29, 239 -/ 268.
Stevens, V., de Bourdeaudhuij, I., & Van Oost, P. (2000). Bullying nas escolas flamengas: uma avaliação da
intervenção anti-bullying nas escolas primárias e secundárias. British Journal of Educational Psychology, 70, 195
-/210. Tikkanen, T., & Junge, A. (2004). Realisering av en visjon om et mobbefritt oppvekstmiljø for celeiro e unge.
Stavanger, Noruega: Rogalandsforskning