VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

Captura de Movimento e Animao de Personagens em Jogos

Joo Victor Boechat Gomide 1, David Lunardi Flam 2 , Daniel Pacheco 2 , Arnaldo de Albuquerque Arajo 2 1 Faculdade de Cincias Empresariais, Universidade FUMEC 2 Departamento de Cincia da Computao, UFMG Resumo
Esse tutorial discute, tanto do ponto de vista prtico quanto terico, a animao de personagens e a utilizao da captura de movimento para esse fim. Assim, ele apresenta brevemente a histria da animao e da captura de movimento. Em seguida, aborda de maneira mais detalhada todo o fluxo de trabalho para realizar a captura de movimento e animar personagens com essa tcnica. Ele tambm apresenta uma soluo de cdigo aberto para a captura de movimento proposta pelos autores e o estado atual desse desenvolvimento. introduo do cinema nas nossas vidas. Sempre limitada pelo tipo de suporte miditico para realiz-la. A evoluo da animao de personagens, a partir de 1906, com o primeiro filme de Blackgton, para o estdio de Thomas Edson, s animaes com computador, dialoga com o desenvolvimento dos jogos eletrnicos desde o seu primeiro momento. Os ciclos de caminhada, a acelerao e desacelerao de movimentos, os movimentos secundrios, a animao por poses-chave ou direta e outros princpios foram formalizados de maneira sistemtica nos Estdios Disney, em torno de 1940, e so utilizados plenamente na construo de animaes em jogos nesse momento. A tcnica evoluiu com as demandas de interatividade para os jogos e tem apresentado novas solues, baseadas em ciclos de animao, fuso entre ciclos de movimentos e na busca de maior realismo com os recursos disponveis. Existem duas maneiras de se animar personagens: por pose-chave, ou keyframe, e a direta, que construda do incio ao fim, momento a momento, ou quadro a quadro. A captura de movimento uma animao do tipo direta, diferentemente da animao por keyframe, que determina a posio em momentos extremos no tempo e interpola o movimento e a forma entre essas poses. A animao de jogos, atualmente, uma mistura desses dois modos, utilizando a animao direta para ciclos de animao e a animao por keyframe para a mudana entre os ciclos. Nesse tutorial abordamos a utilizao da captura digital de movimento e os conceitos relacionados animao de personagens em geral. A captura de movimento (mocap) amplamente usada para animar personagens em jogos em todo o mundo. No Brasil, bancos de dados de captura de movimento so pouco utilizados para animao de personagens virtuais em qualquer tipo de aplicao. Quando usados em jogos, em geral, os dados so alugados, comprados ou adquiridos gratuitamente de fornecedores, j que apenas uma empresa, pelo que conhecemos, faz esse trabalho especfico no Brasil no presente momento. Essa situao advm do fato que os equipamentos de mocap so muito caros, incluindo as taxas de importao e os impostos, e a sua utilizao tem complexidades intrnsecas. Diante desse cenrio, os autores desse tutorial esto trabalhando para construir um sistema de captura de movimento de cdigo aberto. Esse tutorial discute, tanto do ponto de vista prtico quanto terico, essas questes e tambm a animao de personagens, os usos da captura de

Abstract
This tutorial discusses character animation and the uses of motion capture for animation. It presents a brief history of animation and motion capture. It discusses more deeply the workflow to realize motion capture and to animate characters with this technique. At the end, it presents an open source code solution to capture motion, proposed by the authors, and the actual stage of development. Contatos dos autores:
jvbg@face.fumec.br {arnaldo, david, pacheco}@dcc.ufmg.br

1. Introduo
A animao de personagens em jogos eletrnicos uma rea em contnuo desenvolvimento acelerado. Ela passou por diversas etapas de sofisticao, desde os primeiros jogos com poucos pixels e poses, como no jogo Pac-Man, at o estgio atual, caracterizado por uma interatividade cada vez maior do jogador com o software e seus personagens. As perspectivas de aonde se pode chegar so bastante claras, porm todo o caminho tem que ser percorrido se pautando no desenvolvimento de hardware, primeiramente, e de algoritmos. Apesar de ter a sua plenitude de realizao ancorada em desenvolvimentos tecnolgicos a serem ainda realizados, a animao de personagens intensamente baseada na arte de animar. Essa arte se iniciou em projees com a lanterna mgica, no sculo 17, e evoluiu at os dias de hoje, passando pela

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

movimento em jogos, o estgio atual da nossa soluo e prximos passos a serem dados. Devido quantidade de informao contida nesse tutorial, no abordaremos mais longamente a evoluo histrica da animao de personagens e da captura de movimento. Essa abordagem pode ser encontrada na dissertao de mestrado de um dos autores [Gomide 2006] e nos livros de Alberto Menache [2000] e Thomas e Johnston [1984]. Ele tambm apresenta o OpenMoCap, o software de cdigo livre que est sendo desenvolvido pelos autores, e ser apresentado em seu atual estgio [Flam et al 2009]. Esse software faz parte de um projeto desenvolvido pelo Ncleo de Processamento Digital de Imagens, do Departamento de Cincia da Computao da UFMG em colaborao com o Laboratrio de Computao Grfica da Universidade FUMEC, e teve seu incio em 2006 [Gomide 2006]. Atualmente ele apoiado financeiramente pela FAPEMIG e pelo CNPq. O software, nesse momento, permite a realizao, em tempo real, de todo o fluxo de trabalho e fornece os dados de movimento na sada. Esto sendo implementadas melhorias no rastreamento de pontos e na velocidade dos processos. Futuros desenvolvimentos para essa soluo e as possibilidades, como uma opo de animao de personagens com os dados gratuitos gerados pelo OpenMoCap, sero discutidos ao final.

2. Animao de personagens
A arte da animao sempre esteve procura de tcnicas que diminussem o trabalho envolvido na construo da histria quadro a quadro e que contribussem para expandir o seu universo de expresso. Antes de se elevar categoria de manifestao artstica, a animao esperou por milnios de evoluo tcnica para despontar como uma forma de expresso humana, no incio do sculo XX. A arte da animao expressada nos desenhos animados, nas animaes abstratas, nos jogos eletrnicos, nos efeitos visuais e em outras modalidades. A utilizao da animao se torna ainda mais ampla com a imagem digital em movimento. Podem-se empregar os mesmos equipamentos para produzir imagens para jogos, cinema, televiso, internet, telefones celulares, painis eletrnicos e o que mais possa reproduz-las. As imagens so, em ltima anlise, luz que atinge um dispositivo eletrnico de estado slido, chamado de ccd (charged-coupled device) ou cmos (complementary metal oxide semiconductor), ou so produzidas inteiramente por computador, e so usadas para contar histrias, interativas ou no. Nos primrdios da produo cinematogrfica existia o desenho animado e o trickfilm, ou filme de efeito, que se utilizava da tcnica de substituio por parada da ao (stop motion), isto , parava-se a encenao, alterava-se o que se desejava dentro do enquadramento da cmera, e depois se continuava a filmar, mantendo a posio do resto do quadro como estava antes da modificao. Isso era feito tambm

para introduzir elementos de animao nas cenas filmadas. Utilizavam-se ento exclusivamente desenhos quadro a quadro e trucagens pticas para imprimir a animao na pelcula. Ao longo dos tempos, desde o primeiro curtametragem todo feito com desenho animado em 1908, Fantasmagorie, de Emile Cohl, foi-se procurando aperfeioar as tcnicas para animar e dar personalidade aos personagens e encontrar caminhos para a expresso dessa nova arte. Apesar de j existirem as histrias em quadrinho, que indicavam uma maneira de realizar a decupagem e confeccionar os desenhos animados, esta arte permaneceu em um segundo plano por muito tempo. Isso diante das dificuldades para construir um nmero to grande de quadros para contar a histria, ao trabalho mecnico e tedioso envolvido e construo da prpria linguagem a ser utilizada. A grande mudana de paradigma ocorreu com o aparecimento dos Estdios Disney no final da dcada de vinte, em meio a um cenrio dominado pelo Gato Felix, de Otto Messmer, e esforos pouco eficazes para aumentar a eficincia da produo dos quadros da animao. Walt Disney proporcionou uma nova forma de abordar a animao em todos os seus aspectos, dos movimentos aos tipos de personagens, ao sistema de produo e testes. Pode-se dizer que nessa poca se estabeleceram os conceitos mais gerais e eficazes para fazer animao, e esses conceitos so aplicveis a qualquer tcnica de animao de personagens, seja a tradicional, a feita por computao grfica com keyframes ou a captura de movimento [Barbosa Jnior 2004]. Dois dos participantes da equipe dos Estdios Disney em seus tempos de maior riqueza criativa, Frank Thomas e Ollie Johnston, escreveram o clssico The Illusion of Life: Disney Animation. Nesse livro esto descritos os doze princpios de animao de personagens, que podemos considerar como princpios bsicos para a animao de personagens em geral. Tendo em vista esses princpios podemos analisar as possibilidades da captura de movimento para as diferentes demandas de uso da tcnica. Os doze princpios bsicos esto listados a seguir, utilizando algumas observaes adicionais de Livermann [2007]: 1. 2. 3. Comprimir e esticar: pode ser criado para criar uma sensao de peso; Antecipao: o movimento na direo oposta antes que a ao principal comece; Encenao: refere-se a apresentar uma idia ou ao claramente: como os personagens interagem entre si, como se movem, como a cena vista; Animao direta e posio-chave: so dois mtodos de animao. No primeiro caso, a ao construda em uma seqncia de eventos quadro a quadro, comeando no incio at que a animao esteja completa. Na posio-chave as poses mais importantes da ao so construdas primeiramente. A seguir, os quadros entre elas vo sendo preenchidos

4.

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

at que a animao esteja completa (inbetween); 5. Continuidade e sobreposio da ao: refere-se ao movimento secundrio, como passar do ponto de parada e depois retornar, por exemplo; o oposto da antecipao; 6. Acelerao e desacelerao: mudanas na velocidade dos objetos animados; 7. Movimento em arco: a maior parte dos movimentos no so lineares; refere-se aos objetos se movendo no espao em arcos ao invs de retas; 8. Ao secundria: movimento de outras partes ou objetos que reagem ao primria dos membros e face, como cabelos e roupas; 9. Temporizao: refere-se ao ritmo em que a ao ocorre; 10. Exagerao: implica em aproximar ou ultrapassar os limites da realidade fsica para aumentar ou dramatizar a performance do personagem; 11. Personalidade: dois personagens idnticos podem aparecer totalmente diferentes com personalidades diferentes em cada um deles; 12. Apelo: a platia deve achar os personagens interessantes e com apelo, tanto em animao quanto em cenas captadas ao vivo. Os princpios de sobreposio de ao, animao direta, acelerao e desacelerao, arcos e movimento secundrio so naturais para uma atuao ao vivo. Assim, tm-se os princpios naturalmente no processo de captura de movimento. A temporizao, o apelo, a personalidade e a encenao requerem trabalho qualquer que seja a tcnica utilizada. A computao grfica veio atender em grande parte as demandas para minimizar e racionalizar os esforos para produzir cenas de animao, atravs dos programas de modelagem e animao. Esses softwares comearam a surgir nos anos oitenta e hoje so populares. Desde o primeiro filme a utilizar cenrios gerados por computador, Tron (1982), uma produo dos Estdios Disney, seu uso s vem crescendo. Juntamente com o computador e a imagem digital, surgiu a captura digital de movimento, que vem evoluindo e est introduzindo novos paradigmas na forma de animar os personagens. Existem duas maneiras de se fazer animao com computao grfica, como na animao tradicional, que so a animao por keyframes e a captura de movimento. Na animao por keyframes so utilizados quadros-chave (keyframe), ou poses-chave, onde se do valores a parmetros envolvidos no movimento, como posio, cor, ou o que quer que possa variar com o tempo. Faz-se isso nos quadros principais, e o computador calcula a evoluo dos parmetros entre os quadros-chave, utilizando interpolao e ajustes pr-determinados, habilitados

pelo animador, como o easy-in e o easy-out que podem ser traduzidos por acelerao e desacelerao. Nos trabalhos feitos com captura de movimento, usa-se a animao direta, animando-se cada quadro, do incio ao fim. As animaes, em geral, adotam um mtodo hbrido entre essas duas maneiras, utilizando uma ou outra quando mais adequado.

3. Captura digital de movimento

A captura de movimento, tambm conhecida como mocap, um conjunto de artifcios usado para mapear e reproduzir deslocamentos em objetos ou seres vivos. Ela atualmente realizada usando recursos digitais, e um campo do conhecimento relativamente recente, ainda procura de se definir e de aperfeioar sua tecnologia, que evolui em diversas direes. A mocap foi primeiramente utilizada e desenvolvida para aplicaes mdicas, mas as produes cinematogrficas e de jogos eletrnicos se apropriaram dela e expandiram suas aplicaes. Atualmente ela est nos planejamentos de produo em diversos tipos jogos bem sucedidos, como o FX Fighter e as sries Fifa Soccer e NBA Live. De maneira resumida, nos dias de hoje a captura de movimento o processo que permite traduzir uma atuao ao vivo em uma atuao digital. Ou, como definido por Menache, captura de movimento o processo de gravar um evento de movimento ao vivo, e traduz-lo em termos matemticos utilizveis ao rastrear um nmero de pontos-chave no espao atravs do tempo, e combin-los para obter uma representao tridimensional nica da performance. Em geral, capturam-se separadamente os movimentos corporais dos movimentos faciais, devido s caractersticas e sutilezas desses ltimos. So colocados marcadores ou sensores em pontos-chave do corpo, como as junes das articulaes, e suas posies so monitoradas ao longo do tempo. Depois essas posies so transferidas para as articulaes do personagem a ser animado e dessa maneira ele ganha vida. A captura de movimento envolve um conhecimento multidisciplinar, utilizando tcnicas de computao e de engenharia associadas criao e realizao de animaes, tanto bidimensionais como tridimensionais, sobre imagens puramente animadas virtualmente ou aplicando animaes sobre cenas gravadas. Alm disso, deve-se dirigir a performance do ator que dar vida ao personagem. A captura de movimento uma tcnica em pleno desenvolvimento e ainda existem diversas polmicas de taxonomia, referentes s possveis denominaes e divises de trabalho e de responsabilidades na produo da animao com captura de movimentos. Alguns dos nomes adotados so captura de movimento, captura de performance, animao de performance, marionete digital e animao em tempo real. No presente trabalho todos esses nomes e definies sero reunidos sob o nome de captura de movimento. Essa discusso sobre esses termos e suas

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

nuances no traz efetivamente um aprofundamento da teoria e da prxis. Pode-se t-los todos sob essa denominao mais geral, que captura de movimento, sem prejuzo de entendimento ou de cobrir as diferenas entre as aplicaes, nele incluindo a captura da performance de um ator, que ser usada em um personagem virtual de animao, ou a captura da performance de um atleta em estudos de biomecnica. Se adotarmos uma definio mais vaga, sendo a captura de movimento o ato de capturar os movimentos em geral, podemos localizar sua origem no final do sculo dezenove, nos trabalhos dos fotgrafos Eadweard Muybridge [1984] e EtienneJules Marey[1873]. Eles desenvolveram independentemente tcnicas de fotografia para estudar a locomoo, que foram amplamente utilizadas por artistas plsticos, animadores e cientistas. So considerados os precursores, com suas tcnicas fotogrficas, do cinema, que estava para ser inventado com o cinematgrafo dos irmos Lumire e o cinetoscpio de Thomas Edison. A rotoscopia, que uma forma manual de capturar o movimento em cenas filmadas, e foi desenvolvida por Max Fleischer e seus irmos em torno de 1915, precursora da tcnica digital como a conhecemos hoje. A inteno de Fleischer era fornecer um mtodo de mecanizao da animao, que reduziria custos e tempo de produo. Fleischer utilizou a rotoscopia para animar as sries Out of the Inkwell, comeando em 1915 com o palhao em Koko, the Clown, usando cenas filmadas como base para fazer as animaes [Fleischer 2005]. A rotoscopia pode ser considerada um ancestral direto da captura de movimento como a conhecemos hoje. Ela uma tcnica na qual os animadores copiam o movimento gravado, quadro a quadro, para us-lo em desenhos animados. As imagens do filme so projetadas sobre uma placa de vidro e redesenhadas pelo animador, quadro a quadro, de trs para frente. Esse equipamento chamado de rotoscpio e essa tcnica ainda usada em estdios de animao tradicionais para copiar movimentos reais filmados e aplicar em personagens de desenho animado. Algumas das tecnologias usadas atualmente para a captura de movimento existem desde a dcada de oitenta, utilizadas em aplicaes com propsitos mdicos e militares. David Sturman [1994] e Menache [2000] fazem revises histricas dessa evoluo nos primeiros anos da captura digital de movimento. De toda essa evoluo citaremos alguns momentos marcantes. Em 1984 foi feita a primeira animao para publicidade utilizando a captura de movimento em computadores. Uma associao formada pelos maiores fabricantes de comida enlatada encomendou uma animao feita dessa maneira para ser veiculada durante o Super Bowl, em janeiro de 1985. Eles queriam associar a imagem de modernidade aos enlatados, e a Apple havia lanado o comercial 1984 durante o campeonato de basquete de 1984 e tinha sido um grande impacto. Esse desafio foi feito empresa

Robert Abel and Associates. Bob Abel tinha um software que, com melhoramentos, poderia animar o primeiro personagem virtual. No grupo de Abel participavam Bill Kovaks e Roy Hall, co-fundadores da futura Wavefront Technologies, Con Pederson, cofundador do futuro Metrolight Studios, Charlie Gibson, vencedor do Oscar como supervisor de efeitos especiais em Babe (1995), dentre tantos outros colaboradores. Foram utilizadas trs cmeras de 35 mm para triangular as posies 3D dos pontos na atriz real. Eles trabalharam utilizando o primeiro computador da Silicon Graphics, o SGI Iris 1000, para desenvolver o personagem. Finalmente conseguiram animar o personagem e o desafio final foi processar o comercial de 30 segundos nas duas semanas que faltavam para terminar o prazo de entrega. Para isso foram utilizados 60 computadores VAX 750 em vrios lugares diferentes dos Estados Unidos. Tudo foi finalizado dois dias antes do prazo final. O nome do comercial Brilliance, ou Sexy Robot, e foi apresentado no campeonato de Super Bowl em janeiro de 1985 [Menache 2000].

Figura 1: Sexy Robot, primeiro personagem animado por captura de movimento

No comeo dos anos 90 a captura de movimento comeava a se apresentar como parte confivel de projetos de computao grfica. Vrias empresas buscavam aplicaes em tempo real, como Medialab, Mr. Film, SimGraphics, Brad deGraf, Windlight Studios, e outros, como Tsi, Biovision e Acclaim, desenvolviam aplicaes no em tempo real, com nfase no mercado de videogames. importante ressaltar que a indstria de videogames foi a grande responsvel pela sobrevivncia durante anos das empresas que trabalhavam com mocap para animao. Como os movimentos no precisavam ser muito precisos e os personagens eram poca mais rudimentares, ela foi uma ferramenta amplamente utilizada nesse mercado. Uma produtora francesa de computao grfica, a Medialab - a mesma que criou e realizou o show de televiso Donkey Kong Coutry, impedido de disputar o Emmy de 1999 por utilizar a captura de movimento - desenvolveu, em 1991, um projeto para

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

criar personagens utilizando a captura de movimento. O primeiro personagem foi Mat, o Fantasma, que foi usado em um programa infantil com aparies dirias de um minuto. Ele interagia com cenas gravadas previamente, e ficou no ar durante trs anos e meio. Mat era controlado por vrios animadores. Dois controlavam os movimentos faciais e o sincronismo labial, um ator encenava os movimentos corporais do tronco e braos, e assim por diante. O Medialab continuou a desenvolver esse sistema, e criou dezenas de personagens para televiso. Dessa fase inicial de desenvolvimento da captura de movimento, vale citar os esforos da SimGraphics no desenvolvimento da captura de expresses faciais. No incio dos anos noventa, utilizando sensores mecnicos presos a partes importantes de movimento do rosto, e sensores eletromagnticos na estrutura de sustentao, podia se capturar os movimentos mais importantes da face e mape-los em personagens de computador em tempo real. Um s ator manipulava todas as expresses faciais do personagem simplesmente fazendo a mmica em si mesmo. O exemplo mais famoso de personagem usando esse sistema Mario, de 1992, do jogo da Nintendo, e que tinha tambm um programa de televiso onde interagia em tempo real com o pblico. Em 1992 foi produzido o vdeo para a msica Steam, de Peter Grabriel, que utilizava captura de movimento em diversas cenas. Este foi o primeiro vdeo de msica utilizando essa tcnica e ganhou o Grammy de Vdeo do Ano de 1993.

tinha sido lanado h pouco tempo. O filme estava sendo rodado na Cidade do Mxico, e decidiu-se mandar para l o sistema de captura e um operador fornecido pelo fabricante do equipamento. A seqncia a ser trabalhada era aquela em que o personagem de Schwazenneger, com soldados e vrios extras, atravessava um aparelho de raio-X, e suas imagens apareciam como esqueletos caminhando, como na figura 3, que um fotograma da seqncia. A captura de movimento no forneceu os dados pretendidos e se abandonou o projeto, optando-se pela animao por keyframe.

Figura 3: seqncia dos esqueletos, que poderia ter sido a primeira cena do cinema com captura digital de movimento.

No Exterminador do Futuro 2 a tcnica de captura de movimento foi utilizada para animar o rob T-1000, encenado por Robert Patrick. O rob era de metal lquido, e veio do futuro para enfrentar o rob T-800, encenado por Schwazenegger, e tambm mandado do futuro pela Skynet. Dennis Muren e equipe levaram o Oscar de Melhor Efeito A captura de movimento foi feita pela Pacific Data Images, PDI, empresa que trabalha com captura de movimento desde os primeiros prottipos, e a Industrial Light & Magic.

Figura 2: cena do clipe Steam, no qual Gabriel lquido contracena com duas mulheres de fogo, animados com mocap [Menache 2000].

O primeiro filme a utilizar a captura de movimento com sucesso foi o Exterminador do Futuro 2 (Terminator 2: Judgement Day), de 1991, dirigido por James Cameron. Antes desse filme, a tcnica tinha sido empregada e depois descartada em uma seqncia do filme Total Recall, de 1990, dirigido por Paul Verhoeven, tambm estrelado por Arnold Schwazenneger, e que no Brasil recebeu o nome de O Vingador do Futuro. Para o Total Recall, o Metrolight Studio faria a captura de movimento com um sistema ptico que

Figura 4: rob T-1000, primeiro personagem animado por captura de movimento da histria do cinema.

Lanado em 1995, o game FX Fighter o primeiro jogo de luta em tempo real, com personagens e cenrios 3D. Ele tambm foi um dos primeiros jogos a utilizar mocap para animar os personagens. Nos games com captura de movimento, os personagens so

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

animados com o usurio dando entrada em um conjunto de aes animadas por mocap, como corrida, pulo, chutes, socos. Os pedaos de aes aparecem de tal maneira que o usurio no percebe a mudana entre elas, parecendo que ele tem total controle dos movimentos dos personagens. Cada conjunto de ao arquivada em bancos de dados e a mudana entre esses bancos de dados so provocados pelo usurio. O sucesso desse jogo incentivou outras empresas a utilizarem essa tecnologia em seus games [Kitagawa e Windsor 2008].

central na histria e contracenou diretamente com atores reais, como se todos estivem sendo filmados ao mesmo tempo. Houve ento, poca, uma discusso intensa para se criar uma nova nominao para o Oscar, para o ator que dava vida ao personagem animado por captura de movimento.

Figura 6: personagens de Donkey Kong Country.

4. Tecnologias Movimento
Figura 5: cena do jogo FX Fighter, em sua primeira verso.

de

Captura

de

4.1. Introduo Os dispositivos para se fazer a captura de movimento podem ser classificados em ativos ou passivos, sncronos ou assncronos, com marcadores ou sem marcadores, e/ou de acordo com os princpios fsicos empregados [Moeslund et al 2006]. A taxonomia aqui adotada a partir dos princpios fsicos usados, mas as divises de acordo com as outras definies sero estudadas. Podem-se dividir os diferentes tipos de sistemas de captura de movimento em trs princpios fsicos bsicos: mecnico, magntico e ptico. O sistema mecnico, por sua vez, pode ser inercial, acstico ou se basear em prteses. Na captura de movimento acstico transmissores que emitem som so colocados no sujeito. Receptores de udio em torno dele medem o tempo que leva para que o som v dos transmissores ao receptor. Por trilaterao chega-se localizao dos transmissores, que, em geral, so colocados nas juntas do sujeito. No sistema prottico, uma estrutura externa colocada em algumas partes do corpo. Nessa estrutura esto sensores que medem a angulao e orientao da estrutura, atravs de piezeltricos, por exemplo, e dessa maneira o movimento pode ser analisado. No sistema inercial, giroscpios e acelermetros so posicionados nas articulaes para capturar o movimento. Na captura magntica os transmissores emitem campos magnticos e os receptores medem a sua orientao com relao a um campo do qual se sabe a intensidade e sentido. Na captura ptica os transmissores so refletores ou fontes de luz e os receptores so cmeras, chegando por triangulao posio dos transmissores.

Esses projetos pioneiros indicaram as vantagens e desvantagens da utilizao de diferentes princpios fsicos para a captura de movimento e as limitaes relacionadas aquisio de dados. Atualmente muitas das idias originalmente utilizadas permanecem, com o emprego de hardwares com capacidade de processamento que permite fazer a animao em tempo real. Esses primeiros esforos ajudaram a pavimentar a estrada por onde viria toda a indstria de animao, com o lanamento de plug-ins para todos os principais programas de modelagem de personagens 3D que permitem uma interface de animao mais amigvel e economia de tempo na realizao das produes para cinema e jogos eletrnicos. As colaboraes entre os realizadores desses primeiros projetos de pesquisa e produtoras de efeitos visuais para cinema consolidaram o uso dessa tcnica em diversos filmes que se destacaram ao abrir novas perspectivas de realizao cinematogrfica. A discusso sobre a mocap servir ou no arte e animao atingiu seu pice em 1999, quando o show animado de televiso Pas de Donkey Kong (Donkey Kong Country), que usava captura de movimento juntamente com animao por keyframes, foi rejeitado para disputar o Emmy sob a argumentao de que no era animao. Esse programa de televiso foi transposto para o formato de jogo eletrnico, sendo a tambm um grande sucesso. Em 2003 ocorreu um cenrio oposto ao da recusa de Donkey Kong Country para concorrer ao Emmy. A mocap foi utilizada para criar o personagem Gollum na trilogia dirigida por Peter Jackson, O Senhor dos Anis (Lord of the Rings), no segundo e terceiro filmes. O personagem teve uma participao

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

Um sistema de captura de movimento de acordo com o que foi exposto acima pode ser esquematizado como no diagrama da figura 7. A complexidade do mdulo de anlise depende do nvel dos dados enviados pelo mdulo de percepo do movimento.

Mdulo de Sensoriamento

Mdulo de Anlise

Dados do Movimento

Figura 7: diagrama dos diversos componentes de um sistema de mocap [Moeslund 2000].

O sistema ativo usa dispositivos no sujeito que transmite ou recebe sinais. Quando o dispositivo funciona como transmissor, ele gera um sinal que pode ser medido por outro dispositivo nas vizinhanas. Quando ele funciona como receptor, o sinal geralmente gerado por uma fonte em suas vizinhanas. Marey foi o primeiro a utilizar uma mocap ativa, em 1873, quando usou sensores pneumticos e cmeras de presso sob os ps para medir a presso no p ao caminhar. O sensor magntico um exemplo de dispositivo usado em um sistema ativo, como discutido mais frente. No sistema passivo os dispositivos no afetam as suas vizinhanas. Eles simplesmente observam o que j est no universo, como por exemplo as ondas eletromagnticas, e no geram novos sinais. A idia usar uma imagem obtida de uma cmera e capturar o movimento baseado naquela imagem. Muybridge foi o primeiro a utilizar essa tcnica, em 1878, quando demonstrou que o cavalo tira as quatro patas do cho. Por interao sncrona entende-se aquela na qual o movimento capturado imediatamente usado para controlar algo no mundo real ou virtual. A interao assncrona assim chamada por ser utilizada depois de gravada e elaborada. Aqui ser dada nfase captura passiva ptica, que a que vem tendo maior receptividade em aplicaes de animao e o princpio empregado no prottipo que est sendo construdo pelos autores desse tutorial. Sero abordadas brevemente as capturas mecnica e a magntica. Um dos autores desse tutorial tambm aborda esses mtodos em sua dissertao de mestrado [Flam 2009]. 4.2. Sistema mecnico O sistema com prteses menos prtico de ser usado para captura de movimento do corpo inteiro, porque demanda uma srie de conexes para medir as variveis mecnicas utilizadas, como exemplo a

presso. As conexes ficam pendentes no corpo do ator ou de onde se quer medir o movimento. O primeiro aparato desse tipo que se tem notcia foi o utilizado por tienne-Jules Marey, descrito no livro Animal mechanism: a treatise on terrestrial and arial locomotion de 1873. Para movimentos da mo, o dispositivo mecnico muito til. No artigo de Molet [1997], os movimentos dos dedos e da mo so capturados por uma luva desenhada para esse fim, e os dados so mandados para um software. Ele simula o posicionamento da cmera de acordo com a orientao da luva com relao cabea da pessoa. Essa orientao captada com sensores magnticos, que do a orientao dela com relao ao campo magntico da Terra, no caso. Foram desenvolvidos diversos prottipos de luvas para capturar os movimentos sutis da mo e dedos. Na figura 8 v-se uma luva desenvolvida para capturar movimentos da mo, chamada CyberGlove. Neste caso, mede-se a inclinao dos dedos atravs da posio de suas pontas, usando cinemtica inversa. O sistema do tipo prottico, e medem-se os ngulos atravs de uma liga metlica que transmite uma tenso medida que dobrada. Os sistemas acsticos de captura de movimento foram testados at o incio da dcada de noventa, mas demonstraram ser solues menos versteis que os sistemas magnticos e pticos. Esses ltimos so mais precisos na localizao dos pontos e mais compactos quanto ao tamanho do aparato.

Figura 8: luva para mocap

Nos sistemas inerciais, marcadores ativos contendo giroscpios e acelermetros so posicionados estrategicamente nas articulaes de uma roupa vestida pela pessoa alvo da captura. Aps uma etapa de calibrao, possvel usar as informaes de rotao dos giroscpios e de posicionamento dos acelermetros para aquisio direta dos dados. Os sistemas inerciais so portteis e quase no possuem restries com relao ao local de captura. Alguns at permitem obter dados em ambientes subaquticos [Animazoo, 2008]. Alm disso, no esto sujeitos a efeitos de ocluso e interferncia nos dados adquiridos. Outra vantagem que grande parte deles

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

usa tecnologia de transmisso de dados sem fio. Isso garante boa liberdade de movimento e um volume extenso de gravao. Porm, preciso usar baterias, o que limita o tempo de captura sem recarga ou implica na necessidade de possuir baterias reservas. O custo de sistemas inerciais elevado, comparvel aos melhores sistemas pticos. A principal razo o nvel de tecnologia empregado na miniaturizao dos sensores. Portanto, o valor final de um sistema desse tipo depende essencialmente do nmero de marcadores utilizados. Um exemplo o sistema Animazoo IGS 190 que possui 18 sensores e captura movimento a uma taxa mximade 120Hz. ideal para a captura de corpo inteiro de um indivduo e seu preo de 75 mil dlares. possvel tambm comprar somente a parte superior ou inferior do torso, custando aproximadamente 52 e 43 mil dlares [Inition 2009].

Figura 9: sistema inercial IGS-190 (Animazoo). Vantagens: - o intervalo de captura pode ser grande; - custa menos que os sistemas magnticos e pticos; - o sistema em geral porttil; - captura em tempo real possvel; - os sensores nunca sofrem ocluso; - possvel capturar o movimentos de vrios atores ao mesmo tempo com vrios sistemas. Desvantagens: - tem uma taxa de amostragem muito baixa; - ele complexo devido quantidade de detalhes mecnicos dos equipamentos; - traz limitaes ao movimento das juntas humanas; - a maior parte dos sistemas no calculam deslocamentos globais sem a ajuda de sensores magnticos. 4.3. Sistema magntico Os sistemas magnticos continuam em uso e existem diversos fabricantes desses dispositivos, como a empresa Ascension. Os equipamentos tm evoludo procurando solucionar problemas relacionados ao princpio fsico utilizado, e esto atualmente

apresentando equipamentos chamados de terceira gerao [Anisfeld 2006]. Estes sistemas utilizam campos magnticos gerados em emissores localizados nas junes do corpo. Esses campos tnues so comparados ao campo magntico da Terra no local onde est sendo medido. Para isso, antes de comear a seo de captura tem-se sempre que calibrar o equipamento. O sistema um dispositivo ativo, como definido anteriormente. Os principais problemas relacionados a esse sistema so os cabos de alimentao que ficam presos ao corpo do ator, limitando os seus movimentos, e a interferncia externa no campo magntico. Essa interferncia limita a atuao de atores cujos movimentos esto sendo capturados e esto muito prximos, e tambm quanto escolha de locais apropriados para a atuao, onde no existam interferncias externas no campo gerado pelos emissores. Os sistemas usam marcadores ativos presos nas articulaes de uma roupa vestida por um ator. Eles so capazes de medir o fluxo magntico entre bobinas presentes no prprio marcador e bobinas estacionrias em posies conhecidas. Assim, possvel determinar a translao e orientao de cada marcador. , portanto, um tipo de sistema de aquisio direta. A liberdade de movimento em sistemas magnticos menor se comparada aos sistemas pticos. Necessariamente, os marcadores utilizados possuem baterias ou fios que limitam o movimento do ator e o volume de captura. Alm disso, os dados produzidos podem ser corrompidos e distorcidos devido a interferncias eltricas ou magnticas. Ou seja, existem tambm restries em relao ao local de gravao. Preferencialmente, o ambiente escolhido no deve possuir objetos metlicos e aparelhos eletrnicos sem blindagem eletromagntica. Uma vantagem de sistemas magnticos a ausncia de ocluso e o custo reduzido em relao aos sistemas pticos. Um exemplo o sistema da Ascension, o Flock of Birds da Figura 10, com 12 sensores, capaz de gravar movimento a 144Hz e adequado para a captura de movimento humano. Pode ser comprado por aproximadamente 25 mil dlares [Inition 2009]. Vantagens: - os dados podem ser fornecidos para os personagens em tempo real; - dados de posio e orientao ficam disponveis sem necessidade de processamento adicional; - custam menos que os sistemas pticos, na faixa de 5000 a 15000 dlares; - os sensores nunca sofrem ocluso; - possvel capturar vrios atores simultaneamente utilizando vrios sistemas, estando atento s interferncias. Desvantagens:

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

a sensibilidade dos rastreadores magnticos a metais pode levar a uma sada de sinal com rudo; os movimentos dos atores so limitados pelos cabos em geral; tem uma taxa de amostragem menor que dos sistemas pticos; a rea de captura, isto , o set de captura menor que o que possvel com os sistemas pticos; difcil mudar a configurao dos marcadores.

Se marcadores no forem usados, os pontos de interesse podem ser determinados por meio de deteco de silhueta ou componentes estruturais (cabea, ombro, perna, mos e etc.). Uma tcnica recente simplica esse processo por meio de uma maquiagem feita por tintas fosforescentes, usada no produto Mova Contour Reality Capture (Mova LLC, 2008). A nfase ser dada ao equipamento de captura passiva ptica. Nesse caso as cmeras de vdeo so retro-iluminadas com LEDs e os marcadores pticos so retro-refletores. Na figura 12 v-se a cmera com os LEDs acesos formando um crculo ao redor da lente que captura a imagem. A luz dos LEDs ilumina o set de gravao. O princpio fsico utilizado apresenta maior flexibilidade, podendo ser deslocado e instalado nos maiores ambientes possveis para a tcnica, e no tem fios ou acessrios que prejudiquem a performance do ator, possibilitando maior liberdade de expresso.

Figura 10: dispositivo magntico Flock of Birds montado para captura de movimento (Ascension).

4.4. Sistema ptico Os sistemas pticos podem ser divididos em ativos e passivos, com ou sem marcadores. No sistema ativo os marcadores so fontes de luz, em geral LEDs colocados nas junes do corpo. O sistema passivo usa refletores como marcadores. Em ambos os casos os detectores so cmeras de vdeo, em geral com dispositivos cmos, que permitem uma maior preciso na localizao dos marcadores com relao aos dispositivos com ccd.
Figura 12: sistema de captura com os LEDs acessos em torno da lente de entrada da cmera, retroiluminada (Vicon).

Os movimentos do ator so monitorados utilizando-se marcadores ao longo do seu corpo. Eles so colocados em articulaes e pontos-chave do corpo para a movimentao. A performance do ator capturada por cmeras de cmos, nas quais as posies dos marcadores so bidimensionais. Utilizando um arranjo de cmeras podemos recuperar as coordenadas espaciais dos marcadores, por triangulao, ao mandar os sinais das cmeras para um computador e comparlos atravs de um software. Estas coordenadas so aplicadas em pontos pr-determinados do personagem virtual e, com isso, o movimento da pessoa real utilizado para animar o personagem virtual. Assim como se usa uma pessoa como modelo real para capturar o movimento, poderia se utilizar objetos ou animais, modificando-se a modelagem 3D e a localizao dos marcadores. Vantagens: - os dados pticos so muito precisos na maior parte dos casos;

Figura 11: sistema ptico Impulse (PhaseSpace Tech)

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

um nmero maior de marcadores pode ser usado. Lembrar do sistema utilizado no O Expresso Polar, que tem 600 marcadores; fcil mudar a configurao dos marcadores; possvel obter aproximaes com esqueletos internos utilizando grupos de marcadores; os atores no so limitados por cabos; permite uma rea de captura maior que em todos os outros sistemas; possuem uma maior freqncia de captura, permitindo assim uma taxa de amostragem maior.

Desvantagens: - requer uma ps-produo, isto , um posterior processamento dos dados mais intenso; - o sistema mais caro, variando entre 80.000 e 250.000 dlares; - no pode capturar movimentos quando os marcadores ficam oclusos por perodos longos de tempo; - a captura de movimento tem que ser feito em um ambiente controlado, sem muitos pontos de reflexo para evitar interferncia nos resultados.

5. Capturando o Movimento
5.1. Preparando a sesso de captura de movimentos Como a captura de movimento utilizada para animar um personagem virtual, devemos ento focar a ateno nele, em como ele criado e em como ela lhe d vida. A construo e conceituao do personagem, enfim, sua personalidade, fundamental para definir como a captura ser utilizada. Por personalidade se entende a sua aparncia fsica, os seus movimentos bsicos, suas aes e reaes a acontecimentos e a outros personagens. Os seguintes princpios so difceis de serem trabalhados com a captura de movimento: comprimir e esticar, antecipao, continuidade e exagerao alm dos limites fsicos. Existem mtodos manuais e procedimentos para adicionar alguns desses princpios captura de movimento, depois que os dados so colhidos. Deve-se analisar a relao custo/benefcio caso se devam utilizar esses mtodos, pois muitas vezes mais eficaz utilizar a animao por keyframes. Existem diversos exemplos de produes que desistiram de usar a mocap por causa dessas limitaes, algumas mostradas anteriormente. Na pr-produo de uma animao que se queira utilizar a captura de movimento deve-se primeiro estudar as caractersticas do personagem virtual. A animao por mocap bastante realista, e o ideal fazer alguns testes prvios de como vai se portar o personagem com os movimentos captados. Se for ento decidido por esse processo de animao, deve-se fazer um planejamento minucioso de cada etapa da produo, isto , das sesses de captura, para

que os dados coletados cheguem com menos modificaes para se fazer na fase de animao, ou seja, para a ps-produo. O planejamento das sesses leva em conta como os personagens virtuais estaro em cena e em que tipo de formato. Pode ser um jogo eletrnico, um filme, um desenho animado, uma telenovela ou uma interao com um cliente pela internet. Deve-se saber se o personagem cumprir um roteiro preciso ou se ser construda uma biblioteca de movimentos que sero escolhidos de acordo com a demanda do jogo ou da interao com o cliente. Em qualquer dos casos, leva-se em conta o cenrio em que o personagem desenvolver a ao e quais tipos de interao com o ambiente e com outros personagens. No caso de se desejar construir uma biblioteca de movimentos para um jogo eletrnico, tem que se fazer uma listagem dos movimentos, com o tipo de enquadramento. Se houver continuidade entre os movimentos, isto , o incio de um comear na seqncia do final de outro, isso deve entrar no detalhamento da lista. Com a lista concluda, organizam-se as sesses de captura, agendando-as de acordo com o tipo de movimento e de enquadramento para que seja o mais eficiente possvel. O ideal que se tenha um roteiro detalhado em tomadas e seqncias, com as falas e situaes em que o personagem se envolve. A partir disso, organizam-se as sesses de captura levando em conta os tipos de cenrios, personagens e enquadramento, para que sejam capturados os movimentos utilizando critrios que agilizem o fluxo de trabalho. Tudo isso deve ser discriminado no plano de gravao. Na decupagem das cenas, caso haja interao do personagem com outros personagens ou com objetos, elas devem ser divididas por partes, de acordo com a interao e movimento. Isso facilita muito o trabalho de ps-produo, na etapa de elaborao dos dados. Em todas as situaes, deve-se adotar um critrio minucioso para nomear os arquivos, pois em geral eles so em grande nmero. E isso ajuda na psproduo e depois para arquiv-los para posterior uso. Tendo em mos o roteiro e o plano de gravao, podem-se iniciar as sesses de captura. Nesse momento deve-se estar atento s limitaes do equipamento, baseado nos princpios fsicos utilizados, e do software de captura. No caso de sensores magnticos, interferncias devido a metais prximos, e para os marcadores pticos, ocluso, so as limitaes principais. A melhor situao quando se tem j o modelo do personagem virtual a ser animado, ou mesmo uma figura de palitos, para que se possam aplicar os movimentos onde haja dvidas quanto ao resultado. Dessa maneira, pode-se corrigir a tempo imperfeies introduzidas pelo equipamento, evitando problemas futuros na ps-produo. importante estar atento ao nmero de personagens que esto contracenando e posio dos marcadores. Antes do incio das sesses deve-se definir onde ficaro os marcadores e no se deve mud-los de lugar. Se isso ocorrer, a nova configurao tem que ser mapeada detalhadamente. medida que as tomadas

10

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

vo sendo feitas, os arquivos devem seguir a nomeao de acordo com os critrios estabelecidos pela equipe de captura, para que possam ser acessados com facilidade. O nmero de arquivos pode chegar a algumas centenas e at milhares. Esses cuidados precisam ser tomados com certo rigor para que no se inviabilize o trabalho por questes corriqueiras, mas que podem significar uma grande dor de cabea na ps-produo. Com isso, o trabalho fica mais gil e pode-se prever com mais facilidade o tempo para finalizar a animao dos personagens. Os dados devem chegar etapa de finalizao sem muitas alteraes por fazer. A performance do ator tem que ser a mais prxima do que se pretende da personalidade do personagem. Alterar manualmente a intensidade dos movimentos muito trabalhoso na psproduo, e muitas vezes impossvel. Para que no haja aumento no tempo de trabalho e custo alm do previsto que o planejamento tem que ser o mais minucioso possvel. Muitos dados devero ser trabalhados na fase de finalizao, devido ocluso dos marcadores ou rudos introduzidos na captura, mas devem estar dentro de nveis aceitveis, isto , que no afetem o cronograma significativamente, como ocorre quando a produo no bem organizada. Seguindo essas regras bsicas e utilizando-se a tcnica em um contexto em que ela no comprometer o enredo da histria, pode-se esperar um resultado bem sucedido, podendo ao final reduzir o tempo e o custo com relao animao tradicional ou computao grfica por keyframe [Liverman 2004]. 5.2. Marcadores Os pontos monitorados no corpo do ator recebem duas denominaes diferentes. Eles so chamados de sensores quando o sistema magntico e de marcadores quando ptico, ou de marcadores em ambos os casos. Ser adotada essa ltima conveno, de denomin-los sempre como marcadores. Para o sistema magntico, a roupa vem com os sensores no sistema comercializado, e tem-se pouca liberdade de modificar essas posies. Para os marcadores pticos tm-se mais possibilidades de modificar suas localizaes ao longo do corpo assim como o tamanho dos mesmos. Para seguir o movimento do corpo nas situaes em que o ator estar fazendo a performance, os marcadores devem estar fixos e presos aos pontos escolhidos no corpo. Para se conseguir isso podem usar roupas de lycra justas ao corpo, com os marcadores presos a ela. Uma outra alternativa prend-los diretamente no corpo, com o ator usando calo e deixando os braos descobertos. Nesse caso, os marcadores so posicionados usando faixas de lycra com velcro, adesivo de dupla face ou cola especial no corpo. O que importante em todas as situaes que os marcadores no se soltem ou se movimentem. Para o sistema ptico, os marcadores para o corpo podem ser pequenos leds, bolas ou discos refletores. conveniente usar a radiao de iluminao ou dos leds

no infravermelho, com filtros, para deixar passar somente essa freqncia, posicionados na frente das cmeras. O dimetro desses marcadores pode chegar a 5 mm, dependendo da resoluo das imagens. As posies dos marcadores devem permanecer as mesmas durante as sesses de captura, pois elas tm uma equivalncia com as articulaes do personagem virtual. Caso se mudem essas localizaes, devem ser bem especificadas e mapeadas para que as mesmas sejam alteradas na ps-produo. O nmero de marcadores depende da capacidade de processamento do computador que est sendo usado na sesso de captura, e do tempo que se tem disponvel para fazer o processamento dos dados. Com o aumento dessa capacidade, tem-se chegado a nmeros que permitem um nvel de detalhamento e realismo cada vez maiores e em tempo real. No caso do sistema utilizado no O Expresso Polar, utilizaram-se 600 marcadores nos corpos dos atores, levando quase duas horas para posicion-los antes de cada sesso de captura.

Figura 13: posies para 41 marcadores [Menache 2000]. A colocao dos marcadores deve levar em conta trs questes bsicas: 1. definir a posio ou orientao de uma juno; 2. para se fazer distino entre direita e esquerda e entre os diferentes performticos; 3. para ajudar a reconstruir os dados de outros marcadores, que se perderam ou estiverem faltando. Ento h marcadores para ajudar a definir o esqueleto e seus movimentos, outros para distinguir a esquerda da direita e para identificar os performticos, e outros para achar-se marcadores que ficarem ocultos. Baseado nesses trs tipos tem-se a proposta de posicionamento de 41 marcadores na figura 13. Para os movimentos faciais pode-se fazer uma sesso separada para esse objetivo, ou no, dependendo do software de captura, da capacidade de processamento e da resoluo das cmeras. Os marcadores faciais so menores, entre 3 e 4 mm, e so colocados diretamente na pele, com fita de dupla face

11

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

ou cola especial. O nmero deles vai de 12 a 150, como no sistema da Sony Pictures Imageworks. Na captura do movimento das mos usam-se os marcadores de 3 e 4 mm tambm. Eles so empregados para dar a orientao do antebrao e para movimentos gerais da mo. Os movimentos mais detalhados dos dedos so capturados ainda separadamente, e utiliza-se um sistema com 25 marcadores, em geral. A entrada do sistema de captura ptico ento uma seqncia de imagens registradas pela cmera. A sada so as coordenadas das posies dos marcadores para cada imagem. No computador a imagem segmentada para extrair as regies correspondentes aos marcadores na cena original. A segmentao baseada em ferramentas de processamento de imagem, principalmente transformaes morfolgicas, que so representadas por algumas operaes bsicas. Atravs desse processo, localizam-se os centros dos marcadores e seguem-se as suas posies atravs das imagens, isto , atravs do tempo. A quantidade de imagens por segundo a taxa de amostragem das mesmas. Essa taxa deve ser igual ou maior que a taxa de quadros do formato com o qual se est trabalhando, cinema ou vdeo.

bidimensionais dos pontos. Atravs de clculos de triangulao dos dados de cada cmera feitos a seguir, baseados na posio das mesmas, chega-se aos valores tridimensionais dos marcadores no corpo do ator. 5.3. Preparando o personagem Os personagens podem ser criados em diversos programas de modelagem 3D, como o Maya, o Softimage, o 3D Studio Max e o Blender3D. Todos esses programas possuem plug-ins que convertem os dados gerados no processo de captura de movimento, como descrito anteriormente, e os aplicam em pontos pr-determinados, equivalentes s posies dos marcadores no ator. No software de modelagem 3D, o personagem virtual construdo com estruturas articuladas. Elas so conjuntos de objetos rgidos, que seriam os ossos, por exemplo, conectados por articulaes. As articulaes formam o vnculo geomtrico entre os objetos rgidos, permitindo o movimento relativo entre eles. As estruturas articuladas so representadas por estruturas hierrquicas (rvores), onde a posio de cada articulao definida atravs da composio em seqncia das transformaes das articulaes anteriores. Com isto, apenas a primeira articulao da estrutura precisa ser posicionada no espao, enquanto o resto da estrutura posicionado apenas pelos ngulos entre as articulaes, chamados de ngulos relativos. So estas informaes, a posio da articulao e o ngulo relativo entre o restante das articulaes, os parmetros da animao.

Figura 14: dados sem grande quantidade de processamento, com os marcadores como se fosse uma nuvem, sem conexes e conectados por um boneco de palitos [Menache 2000].

Para seguir os marcadores atravs dos fotogramas, depois da segmentao e da localizao dos pontos, vem a predio de onde eles esto nos prximos quadros. Esse processo necessrio para reduzir a regio onde vo ser procurados os marcadores nas prximas imagens. Assim, tem-se a evoluo temporal dos pontos no corpo de quem faz a performance, que correspondero a pontos no personagem virtual. Terminado o processo de identificao das posies dos marcadores atravs do tempo, os dados disponveis so relativos a cada cmera, com os deslocamentos

Figura 15: um tipo de hierarquia para o esqueleto[Menache 2000].

12

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

Os dados gerados no processo de captura vm em formatos diversos, de acordo com as maneiras em que so organizadas as informaes. As extenses para estes diversos formatos so .amc, .bva, .bvh, .trc. O formato a ser adotado no OpenMocap o .bvh, desenvolvido pela empresa Biovision, especializada em anlise de esportes e a animao. Esse formato aceito por vrios aplicativos de modelagem 3D, como o 3DSMax. O arquivo dividido em duas sesses principais: hierarquia e movimento. A sesso de hierarquia inclui todas as definies necessrias para criar o esqueleto, e a sesso de movimento contem o fluxo de dados. Com esse nvel de tratamento tcnico concluise a abordagem das sesses de captura e de processamento de dados. O nvel de sofisticao tcnica o suficiente para que o artista e aquele que for utilizar-se do recurso disponvel possa compreender o comportamento da captura digital de movimento nas diversas etapas do processo. Para a construo do prottipo, j est sendo aprofundada a abordagem tcnica para escrever o aplicativo que far a aquisio dos dados coletados pelas cmeras, a identificao dos pontos no corpo do ator, a evoluo temporal de suas posies e a sada dos valores tridimensionais no formato apropriado para a utilizao no personagem virtual pelo programa de modelagem 3D.

de captura e quais so as semnticas possveis para os POIs.

Figura 15. Diagrama da Arquitetura do OpenMoCap [Flam 2009].

6. Arquitetura OpenMoCap

da

Aplicao

A interface grca principal ilustrada pela Figura 16, obtida do OpenMoCap em execuo. Ela responsvel por exibir dados de captura e receber solicitaes do usurio, acionando funes especcas dos controladores, necessrias gravao de movimento. Existem basicamente quatro componentes de interao com o usurio: o menu, a barra de status, as janelas de cmera e a janela de visualizao.

O OpenMoCap foi construdo visando alcanar todos os objetivos de um sistema de captura de movimento de cdigo aberto, empregando bons princpios de construo de software, descritos em McConnell [2004] e em Kernighan & Pike [1999]. Portanto, diversas decises de arquitetura e implementao foram tomadas e so apresentadas a seguir. A Figura 15 ilustra a arquitetura denida para a aplicao por meio de um diagrama de mdulos. O software e o cdigo foram desenvolvidos totalmente em ingls, almejando universalizar seu uso e o desenvolvimento de extenses. A separao dos mdulos por uxos de execuo (do ingls threads) foi feita para aproveitar a tendncia atual da indstria de processadores de produzir chips com cada vez mais ncleos. Tarefas empreendidas em tempo real, como a deteco de POI, o rastreamento, a triangulao e a visualizao, puderam ser paralelizadas. O uxo principal de execuo (Main Thread) composto pelo ncleo da aplicao (MoCap Core) e pela interface grca principal (Main User Interface). O ncleo responsvel por inicializar corretamente todos os outros uxos de execuo e seus mdulos e por disponibilizar tambm uma ligao entre eles por meio dos controladores de captura e de vdeo. Alm disso, um repositrio central de informaes, como qual a congurao das cmeras conectadas, quais so os algoritmos disponveis para realizao do uxo

Figura 16. Interface Grca Principal do OpenMoCap [Flam 2009].

O menu permite, por meio de botes, o comeo e o trmino de uma seo de captura e a estimao dos parmetros das cmeras. Ele informa tambm o tempo de captura total e os algoritmos utilizados. Por outro lado, a barra de status exibe apenas a resoluo das cmeras ligadas ao software e a taxa de quadros sendo processada por segundo. As janelas de cmera exibem as imagens obtidas por cada dispositivo exis- tente no sistema e permitem a seleo de semntica dos POIs detectados. A janela de visualizao exibe uma prvia em tempo real do movimento que est sendo gravado, por meio de um uxo separado composto pelo mdulo de visualizao (Model Visualization). O modelo de interface de mltiplos documentos (do ingls Multiple Document Interface) foi adotado por proporcionar um

13

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

espao comum e exvel para o uso das janelas existentes. Cada uma das janelas de cmera processada exclusivamente por um uxo de execuo, coordenado por um controlador de vdeo (Video Controller).Por sua vez, cada um desses controladores possui uma instncia de cmera, doalgoritmo de deteco de POI e do algoritmo de rastreamento, que so executados sequencialmente. Na Figura 15 isso representado pelos mdulos Abstract Camera, Abstract POI Detector e Abstract Tracker. Eles denem uma interface comum e a mais genrica possvel para as cmeras e os algoritmos de processamento bidimensionais, citados anteriormente. Esse conceito de mdulos abstratos que denem interfaces muito importante para garantira extensibilidade da aplicao, um dos objetivos propostos neste trabalho. Caso seja usado um novo modelo de cmera e esse equipamento no for compatvel com a implementao atual, basta desenvolver funcionalidades especcas, como a obteno de quadros e a mudana de resoluo seguindo o padro do mdulo abstrato de cmera para aproveitar todo o uxo j existente. Outro exemplo vantajoso a possibilidade de substituir o algoritmo de deteco de POI por um baseado em reconhecimento de partes do corpo ao invs de intensidades de regies, isto , fazer com que o sistema possa capturar movimento sem marcadores. Portanto, possvel realizar alteraes de otimizao e novas funcionalidades, pontualmente e incrementalmente. O ltimo uxo de execuo, presente na Figura 15, o composto pelo controlador de captura (Capture Controller). Ele o principal responsvel pelo funcionamento correto da aplicao e executa efetivamente uma seo de captura, gerenciando e processando as informaes produzidas pelos controladores de vdeo e atualizando o uxo do visualizador. Baseado no mesmo princpio de mdulos abstratos, o controlador de captura possui uma instncia de um algoritmo de estimao de parmetros de cmeras (Abstract Calibrator), uma de um algoritmo de reconstruo (Abstract Reconstructor) e uma de um algoritmo para gerar sada de dados (Abstract Output Writer). At o momento foram discutidas decises de mais alto nvel de arquitetura, relacionadas principalmente aos conceitos de abstrao, generalidade, separao de interesses e desenvolvimento incremental. Porm, decises de mais baixo nvel, ligadas implementao em si, tambm foram feitas para garantir o aproveitamento de bibliotecas de cdigo livre j existentes, o padro de codicao e a modularidade. Dada a natureza da aplicao construda, uma biblioteca eciente e madura de viso computacional foi especialmente til para seu desenvolvimento. A OpenCV, atualmente mantida pela Willow Garage [2009], foi a biblioteca selecionada desse tipo. Ela foi escrita inicialmente na linguagem de programao C e C++ para exibir a performance dos processadores da Intel Corporation, sua criadora.

Agradecimentos
Esse trabalho teve o apoio financeiro do CNPq e da FAPEMIG.

Bibliografia
ANISFELD, N. The Rise of a New Art Form The Birth of Mocap, Ascension Technology Corporation technical report, que pode ser encontrado no endereo www.ascensiontech.com/ applications/pdf/birth_of_mocap.pdf. BARBOSA JNIOR, Alberto Lacerda, Arte da animao, tcnica e esttica atravs da histria. Editora Senac, 2002. FLAM, D.L., QUEIROZ, D.P., GOMIDE, J.V.B. e ARAJO, A. de A. OpenMoCap: An Open Source Software for Optical Motion Capture, artigo completo do SBGAMES 2009. FLAM, D.L. OpenMoCap: uma aplicao de cdigo livre para a captura ptica de movimento. Dissertao de Mestrado, Departamento de Cincia da Computao, UFMG, 2009. FLEISCHER, Richard. Out Of The Inkwell: Max Fleischer And The Animation Revolution. University Press of Kentucky, 2005. GOMIDE, J.V.B. A captura de movimento para o cinema de animao. Dissertao de Mestrado, Escola de Belas Artes, UFMG, 2006. INITION. Motion Capture / Tracking from Inition. Documento disponvel em http://www.inition.co.uk/inition/products.php?CatID =11. KERNIGHAN, B. W., AND PIKE, R. 1999. The practice of programming. Addison-Wesley Longman Publishing Co., USA. KITAGAWA, M. e WINDSOR, B. MoCap for artists: workflow and techniques for motion capture. Focal Press, 2008. LIVERMAN, Matt. The animators motion capture guide: organizing, managing and editing. Charles River Media, 2004. MAREY, E. Animal Mechanism: A Treatise on Terrestrial and Aerial Locomotion, 1873, New York, Appleton, Republished as Vol. XI of the International Scientific Series. MCCONNELL, S. Code Complete, Second Edition. Microsoft Press, Redmond, WA, USA, 2004. MENACHE, Alberto. Understanding motion capture for computer animation and video games. Morgan Kaufmann, 2000. MOESLUND, T. B, HILTON, A. e KRUGER, V. A survey of advances in vision-based human motion capture and analysis, in Interaction in Virtual Inhabited 3D Worlds, cap. 11. Springer-Verlag, 2000.

14

VIII Brazilian Symposium on Games and Digital Entertainment

Rio de Janeiro, RJ Brazil, October, 8th-10th 2009

MOESLUND, T. B. Interacting with a virtual world through motion capture, in Interaction in Virtual Inhabited 3D Worlds, cap. 11. Springer-Verlag, 2000. MOLET, T. et al. An Animation Interface Designed for Motion Capture, Computer Animation 1997, 1997. MOTION ANALYSIS CORPORATION, 2009. The industry leader fo3d passive optical motion capture. Documento eletrnico disponvel em http://www.motionanalysis.com/. MUYBRIDGE, Eadweard. The Male and Female Figure in Motion : 60 Classic Photographic Sequences. New York, Dover Publications, 1984. STURMAN, David J. A Brief History of Motion Capture for Computer Character Animation. In Character Motion Systems, ACM SIGGRAPH 94 Proceedings, Florida. THOMAS, Frank e JOHNSTON, Ollie. Disney animation: the illusion of life. Abbeville Press, 1984. WILLOW GARAGE,. OpenCV - Wiki. eletrnico disponvel http://pr.willowgarage.com/wiki/OpenCV. Documento em

15