INTRODUÇÃO

A capacidade das crianças de se moverem habilmente entre as novas

tendências e meios de comunicação é um reflexo e sintoma das mudanças
globais na elaboração de significados, além de levar a uma revisão e
redefinição de possíveis abordagens práticas para a alfabetização. Isso
marca uma mudança e desenvolvimento na maneira como o texto é
compreendido. Por muito tempo, dentro da sala de aula, os textos foram
principalmente associados à escrita, como representação do discurso
transcrito. São apresentados como se fossem gêneros estabelecidos e
formas fixas. Nos últimos dez anos, a pesquisa multimodal desafiou as
definições unimodais e demonstrou que a aprendizagem da alfabetização
exige a compreensão da complexa inter-relação entre o material escrito e
gráfico, juntamente com os modos corporais de construção de significado
(Bearne, 2009). Os avanços tecnológicos e o desenvolvimento da
comunicação global introduziram novos gêneros, formas e meios de
comunicação, desafiando a visão do texto como algo fixo e estático, não
suscetível a mudanças por parte dos responsáveis individuais pelo texto.
Considerando que muitas vezes nas salas de aula houve uma abordagem
cautelosa e, às vezes, até mesmo antagonista em relação às novas formas
e modos de construção de significados, para as crianças pequenas os
limites estabelecidos são menores, permitindo-lhes adaptar-se a
mudanças nos cenários textuais de maneiras criativas, inovadoras e
multimodais. Seus textos podem incluir escrita, imagens visuais e objetos
em duas ou três dimensões, que podem ser feitos de papel, projetados na
tela ou por meio de mídia, e que podem envolver efeitos visuais, musicais
ou cinestésicos, e que talvez possam ser incorporados à linguagem, som,
gesto ou ação (LANCASTER E ROWE, 2009).

Essas mudanças trazem importantes desafios teóricos, pedagógicos e

metodológicos para pesquisadores e profissionais. O processamento de
dados de maneira a facilitar a análise de múltiplos sistemas de signos,
mantendo a capacidade de gerenciamento, requer cuidado em sua
abordagem e experiência no uso de técnicas digitais e software, para
apoiar a pesquisa destinada à transformação da alfabetização nas salas de
aula do século XXI. Carey Jewitt e Gunther Kress coordenaram a primeira
coleção de artigos sobre alfabetização multimodal em 2003. Diferentes
pesquisadores têm estudado o discurso nas salas de aula sob uma
abordagem multimodal (LEMKE, 1998; KRESS, 2005; JEWITT, 2008 e STEIN,
2008), explorando os diversos tipos de linguagens usadas nas aulas e seus
aspectos retóricos, incluindo linguagem oral, escrita, gestual e corporal.
Esses estudos fornecem contribuições específicas a partir da linguagem
oral e escrita e as relacionam com outros recursos utilizados por
professores e alunos nas salas de aula, incluindo TICs, livros didáticos,
imagens, entre outros. Dessa forma, a própria sala de aula pode ser vista
como um espaço multimodal devido à sua disposição espacial, mobiliário,
recursos audiovisuais, ferramentas e artefatos, além dos diversos
discursos comunicativos que cercam o conhecimento. Kress (2005) propõe
que a comunicação ocorre por meio de diferentes modos de construção
de significado, como texto, imagens, gráficos, som, música, etc.,
simultaneamente. Portanto, para compreender o significado de um ato
comunicativo, é necessário considerar todos os modos usados nele, pois
estão intimamente interligados. O autor define o conceito de modo como
um recurso semiótico social e cultural a partir do qual os significados são
construídos. Assim, a escrita, o design, a música, os gestos, as palavras, as
imagens e os objetos em 3D são exemplos visíveis dos diversos modos
usados para representação e comunicação. Esses modos, empregados
para diferentes propósitos e intenções comunicativas e pedagógicas,
acarretam efeitos significativos no ensino e aprendizagem nas salas de
aula contemporâneas, pois os alunos usam múltiplos recursos semióticos
para expressar significados. Nessa perspectiva, uma abordagem de ensino
multimodal vai além do ensino "tradicional" e do que a linguagem
costumava significar: apenas ler e escrever.

Kress (2005) expressou que os novos meios de informação e comunicação

apresentam facilidades diferentes das mídias tradicionais, como livros,
uma vez que têm maior potencial para ação por parte dos leitores,
escritores e criadores de texto de forma interativa, o que implica que os
sujeitos podem interagir e participar dos processos de construção e
elaboração do conhecimento. A importância do conceito de
multimodalidade ao considerar as práticas de ensino nos contextos de
aprendizagem escolar reside no surgimento de novos modos de
representação e comunicação que significam uma mudança de paradigma
na alfabetização. As transformações que surgem do ensino "tradicional"
para as práticas de ensino multimodal sinalizam uma mudança substancial
no tema da alfabetização "tradicional", abrindo caminho para uma nova
alfabetização que vê nas imagens, gestos, música, movimento, animação e
outros modos de representação formas diferentes de expressar e acessar
o conhecimento. Um exemplo disso é a facilidade com que os alunos
podem desenhar, pintar, cantar e dançar, além de produzir seus próprios
filmes digitais, dominar jogos de computador complexos e participar da
criação de sites interativos, o que implica que a alfabetização hoje vai
além do conhecimento e da codificação e decodificação das letras. Nas
novas formas de alfabetização, as imagens e os sons ocupam um lugar
proeminente, com o mesmo nível hierárquico do texto alfabético. A
aquisição de habilidades para compreender textos icônicos e sons assume
a mesma relevância que o texto alfabético tinha até recentemente.

Com o avanço dos equipamentos e programas para processamento

gráfico, a presença de imagens tem se tornado cada vez mais comum nos
textos digitais, forçando os leitores a adquirir habilidades para interpretar
e contextualizar as informações apresentadas nesses novos formatos. As
novas formas de alfabetização buscam aproveitar os recursos multimodais
e flexíveis oferecidos pelos hipermeios para desenvolver habilidades de
pensamento, promover a aprendizagem e estimular a capacidade do
estudante. O conceito de convergência midiática é baseado nas novas
possibilidades de ação e participação dos usuários que foram abertas pela
digitalização dos meios. A convergência, portanto, anuncia a coexistência
dos novos meios digitais com o surgimento de uma cultura participativa,
liderada por comunidades de usuários envolvidos em atividades quase
frenéticas. Múltiplos modos de acessar o conteúdo Cultura participativa
mediática de baixo para cima. Este autor está explorando fenômenos de
transmidiação, ou seja, conteúdos e narrativas que atravessam diferentes
plataformas. Uma excelente investigação sobre os novos fenômenos que
surgem com a mudança do antigo paradigma da comunicação de massa e
o início da cultura multimídia.
Esses conceitos influenciam uma nova maneira de compreender a
alfabetização e as implicações que isso pode ter. Analisamos abordagens
que lidam com aspectos concretos da multimodalidade em sala de aula.
Wohlwend e Mavers (2009) exploram o impacto das novas tecnologias
nos primeiros anos de ensino, embora a partir de perspectivas muito
diferentes. Este trabalho demonstra como as crianças podem combinar
novas tecnologias, como celulares e jogos de vídeo, com o formato
tradicional de folhas impressas, criando uma interação híbrida entre as
novas tecnologias e as habilidades de alfabetização. Mavers demonstra a
utilidade do uso de tecnologias simples, como quadros individuais, para
contar histórias.

Esses espaços podem oferecer oportunidades magníficas para que as

crianças desenvolvam ideias e hipóteses, registrando-as como textos
efêmeros, relevantes para o momento.

Pahl (2009) investiga a interação entre a conversação e o texto. Ele

explora a materialidade dos textos e demonstra como a conversação pode
estimular e transformar de maneira imaginativa o material e o significado
textual, indo além das estruturas imediatas da sala de aula.

Flewitt (2009) emprega descrições e análises multimodais para abordar

questões de diferença. Flewitt destaca evidências de um estúdio infantil
envolvendo necessidades educacionais especiais. Esses autores ressaltam
a importância das interações físicas entre adultos e crianças,
reconhecendo a idiossincrasia e os significados multimodais que
caracterizam seus eventos de alfabetização.

Albers et al. (2009) enfatiza o papel desempenhado pelas imagens visuais

na criação de textos infantis. Utiliza um esquema visual de palestras para
avaliar as atitudes das crianças de acordo com seu gênero, analisando as
imagens produzidas por crianças sobre crianças e pelas próprias crianças.

Bearne (2009) defende que a complexidade dos textos multimodais não é

adequadamente abordada pelos sistemas desenvolvidos para a linguagem
oral e escrita. Seu trabalho estabelece um referencial para descrever a
inter-relação dos elementos visuais, linguagem, som, olhar e movimentos
das crianças na criação de textos multimodais. Ela também sugere como
um referencial multimodal desse tipo pode ser expandido para incluir
avaliação. Este artigo analisa a profundidade de sua proposta.

1. MULTIMODALIDADE, ANALFABETISMO E TEXTOS: UM NOVO DISCURSO

Além disso, incorporando a gramática da sentença em sua teoria

semiótica da linguagem, Halliday (1985) influenciou a teoria multimodal,
ao levar em consideração outros elementos não linguísticos. Dessa forma,
o significado está no centro da abordagem adotada para o ouvinte /
leitor / observador e influencia a estrutura do texto. Uma vez que os
elementos ideacionais e interpessoais são invisíveis, ou seja, elementos
implícitos da comunicação, a forma do texto em si, sua gramática,
compreende o significado por meio da representação de padrões.

A escrita agora não implica apenas um elemento visual, como um

desenho, talvez de tamanhos, formas e cores de letras e fontes variadas,
mas também o design da página não será sequencial da mesma forma que
o texto escrito contínuo. Além disso, os textos na tela, às vezes incluindo
imagens e gráficos, frequentemente são acompanhados de efeitos
sonoros e visuais. Os avanços tecnológicos também contribuíram para
uma proliferação de livros ilustrados complexos para todas as idades,
assim como tiveram um profundo impacto no design de livros
informativos (MOSS, 2003). O material que está presente nas redes sociais
e textualmente na tela e nos livros requer contribuições e mudanças nas
teorias da alfabetização. A organização espacial dos materiais e das ideias
implica uma forma diferente de compreender como os textos estão sendo
construídos e mediados socialmente.

A mudança da página para a tela significa olhar "além da linguística"

(JEWITT, 2005, p. 315) em direção à semiótica: a partir de uma teoria de
linguagem que leva em consideração os diferentes componentes do
significado. O semiótico Halliday (1978) é um dos que mais influenciou as
teorias atuais da multimodalidade e propõe três elementos de
comunicação que operam simultaneamente para construir significado:
ideacional, interpessoal e textual. O componente ideacional implica
decisões sobre as relações interpessoais (audiência / leitores) dos
componentes, e isso é realizado na forma de texto, que em última
instância comunica ideias e intenções de maneira coesa.

Com a maior disponibilidade e acessibilidade da tecnologia digital, a

alfabetização passou por uma transformação espacial. A tela agora ocupa
um lugar central nas comunicações públicas e cada vez mais nas
instituições educacionais, alterando as formas como compreendemos a
leitura e a escrita. A leitura na tela significa usar meios diversos e variados,
caminhos e processos de leitura em contraste com a impressão contínua
(HOLSANOVA e HOLMQVIST, 2006; KRESS, 2003A).

de comunicação, como gestos, movimentos, imagens, música, som e

cores, juntamente com a linguagem escrita e falada (COPE E KALANTZIS,
2000; MACKEN, 2004; MARTINEC E SALWAY, 2005; KRESS E VAN
LEEUWEN, 2006). Para Halliday, a gramática de qualquer expressão,
apresentação ou texto descreve os padrões que tornam compreensíveis
para os membros da cultura em que foram concebidos e recebidos (COPE
E KALANTZIS, 2000, p. 24).

A multimodalidade, portanto, é uma parte essencial de uma teoria da

alfabetização como um fenômeno fundamentalmente social (BARTON et
al, 1999). Textos multimodais contribuem para uma ecologia mutável da
alfabetização (MACKEY, 2002), onde a experiência das crianças com
diversos textos impressos e digitais amplia seu potencial para compor e
compreender outros tipos de textos.

A sintaxe descreve a gramática da sentença: a maneira pela qual uma

comunidade linguística espera que uma sentença seja estruturada para
ser o modelo de sentido e referência nessa comunidade. De maneira
semelhante, os textos gramaticais representam as expectativas de que
alguns textos serão organizados de acordo com convenções
desenvolvidas. No entanto, a teoria semiótica também incorpora a noção
de intencionalidade. Embora a gramática dos textos possa ser
culturalmente estabelecida, mediada e mantida, ainda existe a
possibilidade de aplicá-la e contextualizá-la para cada situação. Essa
posição pode parecer paradoxal, mas se alinha bem com a perspectiva de
Bourdieu sobre práticas sociais como "improvisações regulamentadas"
(BOURDIEU, 1977, p. 78). Longe de considerar a gramática como um
conjunto rígido de regras, a noção de padrões de representação permite
flexibilidade, transformação e criatividade.

O cerne da multimodalidade é o conceito de design e intencionalidade

(KRESS, 2003B; KRESS E VAN LEEUWEN, 2006), que se manifesta através
de uma dinâmica enfatizando tanto as relações sociais em qualquer ato
comunicativo quanto as possibilidades de transformação na construção
dos textos. Um elemento crucial é a análise crítica reflexiva dos textos e
"os contextos culturais e situacionais em que parecem operar".

A multimodalidade, portanto, integra uma teoria da alfabetização

essencialmente social (BARTON et al, 1999), e os textos multimodais
contribuem para uma ecologia em constante mudança da alfabetização
(MACKEY, 2002). Nesse contexto, a experiência das crianças com uma
variedade de textos impressos e digitais amplia seu potencial para compor e
compreender outros tipos de textos.

Especificamente, o conhecimento das crianças sobre textos da cultura popular,

muitas vezes em casa, proporciona a base para uma compreensão crítica dos
textos e dos contextos em que eles são produzidos (MARSH, 2004; VÁSQUEZ,
2005). Para potencializar essa capacidade crítica em ambientes educacionais,
é necessário contar com um discurso por meio do qual seja possível descrever
e analisar textos multimodais (BEARNE, 2003; MACKEN, 2004). Isso é fácil de
dizer, mas esse discurso precisa ser moldado por um
Por um lado, esse discurso precisa ser suficientemente flexível para abranger
diferentes modos semióticos e, por outro, deve ser capaz de descrever tanto
um texto técnico quanto um romance, assim como a ampla variedade de um
texto de filme. No entanto, talvez devido à necessidade de uma abordagem
global, o desenvolvimento de um quadro analítico está sendo amplamente
pressionado, principalmente porque em muitas áreas da educação,
especialmente aquelas relacionadas à alfabetização, espera-se que os alunos
produzam textos multimodais.