UNIVERSIDADE DE LISBOA

Faculdade de Cincias
Departamento de Informtica

EDIO E VISUALIZAO CRIATIVA DE VDEO

Joo David Pina Martinho

MESTRADO EM ENGENHARIA INFORMTICA

Arquitectura, Sistemas e Redes de Computadores

2009

UNIVERSIDADE DE LISBOA
Faculdade de Cincias
Departamento de Informtica

EDIO E VISUALIZAO CRIATIVA DE VDEO

Joo David Pina Martinho DISSERTAO

Trabalho orientado pela Prof. Doutora Maria Teresa Caeiro Chambel

MESTRADO EM ENGENHARIA INFORMTICA

Arquitectura, Sistemas e Redes de Computadores

2009

Agradecimentos
Agradeo Professora Teresa Chambel, por me ter orientado e acompanhado ao longo de todo este trabalho, por me continuar a dar ideias, quando as no tinha, e ajudar no desenvolvimento deste projecto. Agradeo a todos os amigos e colegas da Faculdade de Cincias da Universidade de Lisboa, pelos bons momentos passados ao longo do ano e pela constante troca de ideias, em especial, ao Antnio Neto pela sua colaborao na construo de uma interface gestual. Tambm agradeo Faculdade de Cincias e ao LaSIGE por todas as condies disponibilizadas ao longo do ano que me permitiram realizar este projecto. Agradeo ainda a todos os amigos do Fundo por discutirem trabalho comigo, pelas ideias que me vo dando e por me deixarem trabalhar quando precisava.

 minha Me pelo apoio, e ao meu Pai que nunca deixou de estar comigo.

Resumo
Este trabalho pretende contribuir para as reas da visualizao e edio criativa de vdeo, criando novas formas de visualizao de vdeos. Os vdeos so constitudos por imagens, texto e udio que variam ao longo do tempo, constituindo informao muito rica mas que ao mesmo tempo muito complexa. Esta complexidade oferece um desafio a explorar, e a visualizao surge como uma forma de explorao e ajuda para simplificar o acesso informao contida nos vdeos. Com essa informao podem ser criados espaos de vdeo que podem ser usados como plataforma de suporte expresso da criatividade e como suporte a tarefas de edio, atravs de funcionalidades como pesquisa e organizao de vdeos. Nesse sentido foi desenvolvido um ambiente interactivo para visualizar e explorar espaos de vdeo com nfase em aspectos da cor e movimento dos vdeos, por serem propriedades visuais importantes, tanto a um nvel individual como colectivo o ColorsInMotion. Este sistema constitudo por dois mdulos: o Video Analyzer e o Viewer. No Video Analyzer so postas em prtica tcnicas de processamento e anlise de vdeo e so criadas visualizaes em diferentes espaos de cor, permitindo ver diferentes perspectivas sobre os resultados. No Viewer d-se nfase visualizao interactiva, permitindo ao utilizador navegar num espao de vdeos e explor-lo, tanto a nvel colectivo como individual, de forma criativa. No Viewer possvel efectuar pesquisas por cor, servindo tambm como um sistema de organizao, permitindo explorar ligaes entre os diferentes vdeos, neste caso, num contexto cultural, com vdeos de dana e msica de vrios pases. Tambm foram exploradas vrias formas de interaco com o sistema, como a interaco por deteco de cor e a interaco gestual, que so indicadas para ambientes de instalao interactiva.

Palavras-chave: Espaos de vdeo, Anlise de Imagem e Vdeo, Visualizao, Cor e Movimento, Criatividade

ii

Abstract
This work intends to make a contribution in the field of creative video editing and visualization, developing new ways to visualize videos. Videos are made of images, text and audio all combined and changing with time, making for information, that is, at the same time, very rich and very complex. This complexity offers a challenge to explore, and visualization is one way to help explore and simplify the access to this information, that is contained within the videos. With this information we can create video spaces that can be used as a platform to support the expression of creatitvity and as a help to video editing tasks, through features such as video search and organization. With this purpose in mind, an interactive environment was developed to visualize and explore video spaces with focus on important visual video properties like color and movement ColorsInMotion. This system has two modules: the Video Analyzer and the Viewer. In the Video Analyzer we use the techniques of video processing and analysis, and we create different visualizations on different color spaces, allowing different perspectives over the results. In the Viewer we focus on interactive visualization and creativity, giving the user the possibility to browse and explore video spaces, in a creative way, on a collective level, but also on an individual level. In the Viewer we can search by color, serving as a system to organize videos and also serving as a platform to explore connections between different vdeos, in this case, in a cultural context, with videos of dances and music from various countries. We also explored interaction methods to use with the system, like the color detection interaction and the gesture based interaction, that are good for artistic installation environments.

Keywords: Video Spaces, Image and Video Analysis, Visualization, Color and Movement, Creativity

iii

iv

Contedo

Captulo 1 Introduo............................................................................................. 1 1.1 Motivao..................................................................................................... 1 1.2 Objectivos..................................................................................................... 3 1.3 Contexto e Contribuies do Trabalho......................................................... 4 1.4 Plano de Desenvolvimento e Metodologia................................................... 5 1.5 Organizao do Documento ......................................................................... 6 Captulo 2 Estado da Arte ...................................................................................... 7 2.1 Contexto ....................................................................................................... 7 2.1.1 Panorama Histrico ............................................................................... 7 2.1.2 Visualizao .......................................................................................... 9 2.1.3 Edio.................................................................................................. 10 2.1.4 Processamento e Anlise de Vdeo ..................................................... 10 2.1.5 Criatividade e Evoluo ...................................................................... 11 2.1.6 reas de Aplicao.............................................................................. 12 2.2 Trabalhos Relacionados ............................................................................. 16 2.2.1 Visualizao ........................................................................................ 16 2.2.2 Edio.................................................................................................. 23 2.2.3 Anlise e Pesquisa de Imagens e Vdeos ............................................ 27 2.2.4 Criatividade ......................................................................................... 31 2.2.5 Sumrio ............................................................................................... 32 2.3 Ferramentas e Tecnologias Relacionadas .................................................. 33 2.3.1 Edio de Vdeo .................................................................................. 33 2.3.2 Video Jockeying e Programao Visual.............................................. 34 2.3.3 Ambientes Integrados de Desenvolvimento........................................ 35 2.3.4 Ferramentas de Visualizao de Informao ...................................... 36 v

Captulo 3 Visualizao e Edio Interactiva e Criativa em Espaos de Vdeo .. 39 3.1 Arquitectura e Modelo Conceptual ............................................................ 39 3.2 Video Analyzer Processamento e Anlise de Vdeos ............................. 40 3.2.1 Espaos de Cor .................................................................................... 40 3.2.2 Anlise de Cores.................................................................................. 43 3.2.3 Anlise e Visualizao de Movimento................................................ 47 3.2.4 Extraco de Loops de Vdeo para Visualizao e Resumo ............... 49 3.2.5 Parmetros para Configurao do Processamento e Anlise .............. 50 3.2.6 Estruturas Utilizadas para Guardar os Dados de Suporte ao Vdeo .... 51 3.3 ColorsInMotion Viewer Visualizao Interactiva do Espao de Vdeos 51 3.3.1 O Espao de Vdeos Representao e Vistas ................................... 52 3.3.2 Vdeos ao Nvel Individual ................................................................. 56 3.3.3 Pesquisas no ColorsInMotion.............................................................. 58 3.3.4 Criatividade Interactiva com Cor em Movimento............................... 59 3.3.5 Interaco com Cor e Movimento ....................................................... 61 3.4 Interaco Experincias........................................................................... 62 3.5 Visualizao de Informao Experincias .............................................. 64 3.6 Ambiente de Desenvolvimento .................................................................. 65 Captulo 4 Concluses e Perspectivas Futuras..................................................... 69 4.1 Concluses ................................................................................................. 69 4.2 Perspectivas Futuras................................................................................... 71 Anexo A Estruturas Para Guardar os Dados de Suporte ao Vdeo ...................... 73 Anexo B - Lista de Comandos do ColorsInMotion................................................. 75 Referncias Bibliogrficas ...................................................................................... 77 Referncias Web ..................................................................................................... 83

vi

Lista de Figuras
Figura 1.1 Mapa de Gantt do planeamento acordado .................................................... 5 Figura 2.1 Rhytmus 21 (1921) ....................................................................................... 8 Figura 2.2 TV Bra For Living Sculpture (1969).......................................................... 12 Figura 2.4 TV Cello (1964) ......................................................................................... 13 Figura 2.4 Exemplos de instalaes e actuaes dos britnicos D-Fuse ..................... 15 Figura 2.5 Vdeo Cubismo........................................................................................... 16 Figura 2.6 Volume Visualization for Videos............................................................... 17 Figura 2.7 Interactive Comic Book Presentation......................................................... 17 Figura 2.8 Video Streamer........................................................................................... 18 Figura 2.9 Exemplo de uma imagem em mosaico....................................................... 19 Figura 2.10 Mosaicos de vdeo com vrias tcnicas.................................................... 20 Figura 2.11 Videosphere.............................................................................................. 21 Figura 2.12 VideoSpace: Navegao no Macrospace ................................................. 22 Figura 2.13 VideoSpace: Interaco com um vdeo no Microspace ........................... 22 Figura 2.14 Visualizao do espao de vdeos no YouTube Warp ............................. 23 Figura 2.15 Espao de vdeos no Hitchcock................................................................ 25 Figura 2.16 Exemplo de visualizao de vrios vdeos em janelas e com diferentes elementos visuais no Soft Cinema .......................................................... 27 Figura 2.17 Anlise de um jogo de futebol no VisGenie............................................. 28 Figura 2.18 Quantizao do espao de cor HSV ......................................................... 30 Figura 2.19 Exemplo de pesquisa no Multicolr Search Lab........................................ 31 Figura 2.20 Exemplo de um Video Mixer no Pure Data .............................................. 34 Figura 2.21 Exemplo de visualizao de dados com o Prefuse ................................... 36 Figura 2.22 Exemplo de visualizao com o Skyrails ................................................. 37 Figura 3.1 Arquitectura do sistema.............................................................................. 39 Figura 3.2 Espao de cor RGB .................................................................................... 40 Figura 3.3 Espao de cor HSB..................................................................................... 41 vii

Figura 3.4 Exemplo de anlise de um vdeo no Video Analyzer ................................ 43 Figura 3.5 Detalhes do vdeo (no topo da janela na Figura 3.4).................................. 44 Figura 3.6 Cor mdia nos detalhes do vdeo (no topo da janela na Figura 3.4) .......... 44 Figura 3.7 Grficos de barras com os resultados dos histogramas de cor ................... 47 Figura 3.8 Exemplo de imagem em slit scan ............................................................... 48 Figura 3.9 Exemplo de figuras criadas a partir da mdias das cores dos pxeis acumulada em cada posio .................................................................... 48 Figura 3.10 Parmetros no Video Analyzer................................................................. 50 Figura 3.11 Vista dos loops tradicionais de vdeo ....................................................... 52 Figura 3.12 Vista dos loops de cenas no espao de vdeos.......................................... 53 Figura 3.13 Vista dos rectngulos preenchidos com as cores dominantes .................. 54 Figura 3.14 Vista dos crculos preenchidos com as cores mdias ............................... 54 Figura 3.15 Vista de slit-scans no espao de vdeos.................................................... 55 Figura 3.16 Vista das linhas horizontais com a cor dominante ao longo do vdeo ..... 56 Figura 3.17 Vista individual de um vdeo.................................................................... 57 Figura 3.18 Exemplo da interface de pesquisa enquanto usada uma cmera ........... 58 Figura 3.19 Exemplo de criao com os rastos dos crculos de cor mdia.................. 60 Figura 3.20 VideoSpace com interaco gestual ......................................................... 63 Figura 3.21 Aspecto da aplicao de navegao no YouTube usando o Prefuse ........ 65 Figura A.1 Diagrama de classes das estruturas de dados criadas no ColorsInMotion 73

Lista de Tabelas
Tabela 1 Sumrio dos tipos de visualizao dos principais trabalhos relacionados .... 33

viii

ix

Captulo 1 Introduo
Neste captulo apresentada a motivao deste trabalho depois de uma breve introduo sobre o vdeo e algumas das suas aplicaes, como a edio e a visualizao. Em seguida apresentam-se os seus objectivos, contexto e contributos, planeamento e metodologia de desenvolvimento bem como a estrutura desta dissertao.

1.1 Motivao
O vdeo um meio amplamente usado hoje em dia. praticamente impensvel como seria a sociedade moderna sem o uso, por exemplo, da televiso, certamente o aparelho mais comum no acesso a vdeo no dia a dia. Com o advento das ligaes de banda larga, ficou mais fcil aceder a vdeo atravs da Internet, e websites de partilha de vdeos como o YouTube so hoje responsveis por 10% do trfego total na Internet (url-YouTubeP2P; url-WebVideo), ficando apenas atrs dos motores de busca mais utilizados como o Google, Yahoo e MSN Live/Bing. Este tipo de sistemas de partilha de vdeos online constitui um incentivo para os utilizadores publicarem e at fazerem os seus prprios vdeos, aumentando a escala em que o meio utilizado e divulgado. A maioria dos canais de TV e dos meios de comunicao tradicionais (jornais, revistas, etc.) tm representao na Internet, e por norma oferecem contedos em vdeo, como reportagens especiais ou episdios de programas televisivos. Todo este contedo pode ser visto como um mundo de possibilidades para transmitir e aceder a informao rica e para expressar criatividade. No entanto, inerente a esta riqueza, existe uma complexidade significativa. As tcnicas de visualizao podem auxiliar a lidar com esta complexidade e a expressar e explorar a riqueza destes espaos de informao, ao nvel do espao de vdeos e dos vdeos individuais. Para alm destes meios mais convencionais de apresentao e consumo do vdeo, existem ainda outras formas de o vdeo nos ser apresentado, como por exemplo a Video 1

Art, um movimento artstico que usa o vdeo como principal elemento; circuitos fechados de vdeo (CCTV) tipicamente usados para vdeo vigilncia; ou Video Jockeying (VJing), que na maioria das vezes consiste em acompanhar espectculos musicais com projeco de vdeo. Estes so apenas alguns exemplos de reas de aplicao do vdeo. Um dos desafios extraco de informao de vdeo este no ser estruturado e ter um volume elevado de informao tornando-o um meio mais complexo. Para isso tm sido desenvolvidas tcnicas de anlise e processamento que ajudam a extrair essa informao. Tambm no que diz respeito organizao da informao extrada tem-se assistido tendncia de anotar os vdeos, e conjuntos de normas de descrio como o MPEG-7 (Nack & Lindsay, 1999a; Nack & Lindsay, 1999b) so agora usados em vrios projectos que lidam com este aspecto do vdeo. Tambm em repositrios online de vdeo como o YouTube, prtica corrente deixar-se que os utilizadores associem descritores semnticos aos vdeos que partilham. Desta forma, abrem-se novas portas para classificao de informao de vdeo que pode ser relevante para tornar mais fcil tarefas como a pesquisa e visualizao da informao contida no vdeo. No entanto, os dados de baixo nvel como a cor do vdeo e informao sobre cenas s podem ser retirados atravs de clculos e computaes que consomem bastantes recursos. Aps ser retirada esta informao, podemos ento lev-la em conta para ajudar tarefas de edio e visualizao, combinando-a at com a informao semntica. Atravs destas caractersticas, possvel desenvolver tcnicas de pesquisa mais refinadas, e espaos de representao mais perceptveis para o utilizador. As tcnicas de visualizao podem ajudar a expressar todo o contedo dos vdeos em espaos de informao, seja a um nvel do espao colectivo de vrios vdeo ou ao nvel individual. A visualizao de informao complexa de espaos de informao tem vindo a ser usada em estudos e aplicaes que permitem avaliar e perceber ligaes baseadas em informao semntica, como o temas, localizaes ou categorias, ou de mais baixo nvel, atravs de propriedades do vdeo como a cor e a durao, muitas delas pouco visveis ou de difcil acesso. Exemplos deste tipo de visualizao de informao vo desde simples mapas de metropolitano, at grandes redes que representam ligaes entre sites resultantes de uma pesquisa num motor de busca (url-VisualComplexity). No caso particular do vdeo, a visualizao pode ser uma forma eficaz e natural de mostrar informao importante que contm. No entanto, ainda no existem muitas tcnicas eficazes para mostrar informao relevante e complexa de forma intuitiva atravs do processamento automtico dos vdeos. Uma abordagem alternativa consiste em disponibilizar um panorama geral, fazendo um processamento prvio para extrair a informao importante ou de particular interesse, e de seguida apresentar essa 2

informao de uma maneira perceptvel e relevante. A sumarizao, por exemplo, permite visualizar vdeo de uma forma concisa baseada em propriedades como o movimento, ritmo, mudanas de cena e cor. Avanos na rea da visualizao de dados tm surgido de investigaes baseadas principalmente nas reas da percepo visual e da cognio. A tendncia vai no sentido da evoluo para cenrios onde as ferramentas se tornam invisveis enquanto os utilizadores se tornam imersos na explorao da informao (Few, 2007), tornando assim importante a explorao destas tcnicas. O vdeo tambm um meio que permite bastante criatividade, pois bastante rico, combinando som e imagem em movimento. Esta criatividade tem sido explorada em trabalhos de gerao de contedos automticos, com ajuda por exemplo de algoritmos genticos. Estes algoritmos usam modelos baseados na gentica e teoria da evoluo para automatizar processos de criao de contedos, permitindo frequentemente a interaco do utilizador, de forma a influenci-la e participar no processo criativo. Outros modelos podem ser aplicados representao de espaos de vdeo ou do vdeo em si, como modelos fsicos ou matemticos onde algum grau de imprevisibilidade permite resultados diferentes, e assim a promoo e suporte da criatividade, que no fundo como um jogo onde de um lado est o que pode ser controlado e do outro a incerteza. De forma a influenciar a experincia do utilizador quando lida com o vdeo, tambm existem diferentes tipos de interaco. As modalidades alternativas de interaco, como interaco gestual ou por toque, providenciam flexibilidade para acomodar diferentes tipos de utilizador e cenrios de utilizao, no sentido de experincias mais naturais e potencialmente mais imersivas, contribuindo para a expresso da criatividade. nesse sentido que este trabalho foi desenvolvido, explorando o meio do vdeo nas suas aplicaes e tcnicas de anlise, edio, visualizao e partilha. Tambm se explorou a dimenso criativa atravs de formas de promover e suportar a expresso da criatividade, edio e visualizao de vdeo.

1.2 Objectivos
Este trabalho tem como objectivos estudar, conceber e realizar novas formas de visualizar vdeos e espaos de vdeo. Consequentemente, estudar formas de interaco com vdeo, mtodos e tcnicas de processamento e anlise, e reas de aplicao do vdeo. Tambm um objectivo desenvolver aplicaes exploratrias destes conceitos e paradigmas, bem como extenses para trabalhos j existentes. Outro aspecto importante deste trabalho a criatividade, expresso da qual se tentou dar suporte nas tarefas de edio e visualizao de vdeo. 3

1.3 Contexto e Contribuies do Trabalho

Este trabalho foi realizado no contexto do Projecto em Engenharia Informtica, para o Mestrado em Engenharia Informtica, na Faculdade de Cincias da Universidade de Lisboa, num dos grupos de investigao do Departamento de Informtica, HCIM Human Computer Interface and Multimedia Group (url-HCIM) que faz parte do LaSIGE Laboratrio de Sistemas Informticos de Grande Escala (url-LaSIGE). O trabalho foi proposto e orientado pela Professora Teresa Chambel do Departamento de Informtica desta Faculdade e membro do grupo de investigao HCIM. Foi concebido e desenvolvido o sistema ColorsInMotion, constitudo pelas aplicaes VideoAnalyzer e Viewer, que concretiza o estudo nas reas de processamento, anlise, edio e visualizao criativa de vdeo. Foram escritos e submetidos artigos longos para as seguintes conferncias: ACM MindTrek 2009 - International Academic Conference, com o tema Everyday Life in the Ubiqutious Era, a decorrer entre 30 de Setembro e 2 de Outubro de 2009, em Tampere, Finlndia, com o ttulo Colors In Motion: Interactive Visualization and Exploration of Video Spaces; 17 Encontro Portugus de Computao Grfica, a decorrer nos dias 29 e 30 de Outubro de 2009 na Universidade da Beira Interior, Covilh, com o ttulo Visualizao e Explorao Interactiva de Espaos de Vdeo atravs de Cor e Movimento.

data da redaco desta dissertao, ainda no foram divulgados os resultados sobre a submisso do artigo para o 17 EPCG. O artigo longo submetido para o ACM Mindtrek 2009 foi aceite para publicao na conferncia. No mbito deste trabalho, com o desenvolvimento de uma interface por deteco de cores, participou-se na instalao interactiva VideoSpace: A 3D Video Experience apresentada na Artech 2008 4 Conferncia Internacional de Artes Digitais, que decorreu na Escola de Artes da Universidade Catlica do Porto a 7 e 8 de Novembro. A participao nesta conferncia teve como finalidade colaborar na demonstrao, assistir a apresentaes de trabalhos relacionados na rea, bem como contactar com membros da comunidade cientfica com trabalho desenvolvido em reas relacionadas com este trabalho. Usando este trabalho com uma interface gestual foi tambm realizada uma demonstrao para o Advisory Board do LaSIGE, em Junho de 2009.

1.4 Plano de Desenvolvimento e Metodologia

Apresenta-se o plano de desenvolvimento elaborado para a realizao deste trabalho ao longo de um ano lectivo. As principais tarefas foram identificadas e calendarizadas de acordo com a seguinte lista e mapa de Gantt: 1. Estudo do problema, do estado da arte e das tecnologias relacionadas (8 meses) 2. Levantamento de requisitos (1 ms) 3. Elaborao do relatrio preliminar (1 ms) 4. Proposta e desenvolvimento de mecanismos e ferramentas interactivas de edio e visualizao de vdeo (2 meses) 5. Desenvolvimento de contedos e testes para uma primeira fase de avaliao (1 ms) 6. Refinamento dos mecanismos e ferramentas realizados, bem como desenvolvimentos de novas funcionalidades (2 meses) 7. Avaliao e refinamentos finais (1 ms) 8. Escrita do relatrio final (3 meses) 9. Escrita de um artigo cientfico (1 ms)

Figura 1.1 Mapa de Gantt do planeamento acordado

Ao longo do tempo do projecto foram estudados trabalhos relacionados de forma a expandir o conhecimento na rea. Na fase inicial, este estudo foi estudado para o levantamento de requisitos de base, enquanto que mais tarde serviu para obter informao mais especfica e localizada nalguns aspectos em desenvolvimento e para abrir novos horizontes no contexto de novas ideias que foram surgindo. O trabalho foi no essencial desenvolvido seguindo um processo cclico assente em fases de anlise, concepo, desenvolvimento e avaliao semelhante a um modelo em espiral. No final de cada desenvolvimento, houve uma avaliao, da qual resultaram refinamentos e novos desenvolvimentos, para a iterao seguinte. Como se pode ver no mapa de Gantt (Figura 1.1), foi planeada uma avaliao intermdia de forma a poder comear um novo ciclo de desenvolvimento, mas na realidade existiram vrias ao longo deste tempo. Esta fase no mapa serve apenas de referncia, sugerindo um processo iterativo; que por razes de simplicidade representado no mapa de Gantt apenas com duas iteraes.

1.5 Organizao do Documento

No primeiro captulo introduziu-se o trabalho, a sua motivao, contributos, objectivos, plano de desenvolvimento e metodologia e tambm a organizao deste documento. No segundo captulo apresenta-se o contexto da rea onde o trabalho est inserido, bem como o trabalho relacionado estudado, dando maior nfase s reas de edio e visualizao de vdeo, anlise de vdeo e imagem e criatividade, sobre o qual este trabalho vai incidir directamente. No terceiro captulo, apresenta-se o trabalho desenvolvido, incluindo as aplicaes ColorsInMotion Viewer e ColorsInMotion Video Analyzer. No quarto captulo so tiradas concluses, discutidos resultados e apresentadas perspectivas para o futuro, incluindo melhorias ao trabalho e novas direces de desenvolvimento. Em apndice so apresentadas as estruturas de dados usadas para dar suporte ao vdeo, e uma listagem dos comandos das aplicaes desenvolvidas.

Captulo 2 Estado da Arte

Neste captulo apresenta-se o resultado do estudo efectuado sobre o estado da arte na rea da edio e visualizao criativa de vdeo. So apresentados os principais conceitos, sistemas e aplicaes existentes.

2.1 Contexto
Nesta seco apresenta-se uma breve perspectiva e evoluo histrica do vdeo, bem como a introduo dos principais conceitos e reas de aplicao relevantes no contexto deste projecto.

2.1.1 Panorama Histrico

A palavra vdeo vem do Latim e quer dizer Eu vejo (url-WVideo). A histria do vdeo confunde-se com a histria do cinema e com a histria do fascnio do Homem desde muito cedo pela imagem em movimento, sendo o exemplo mais antigo de imagem em movimento a representao teatral. No entanto, no existia tecnologia capaz de capturar a imagem para reproduo posterior. Isto s foi possvel no sculo XIX com avanos tecnolgicos como a inveno da lmpada elctrica por Thomas Edison. O objecto que hoje mais usado para capturar vdeo, a mquina de filmar, s foi inventado no final do sculo XIX. A partir da a captura de vdeo foi sempre constante e deu origem ao Cinema, a Stima Arte. Depois, alm de serem usadas para capturar acontecimentos banais do dia a dia no incio do cinema, evoluiu-se para um estado onde se contavam histrias baseadas em narrativa e personagens, a mais convencional das formas de cinema que conhecemos. Foi tambm bastante cedo na histria do cinema que foram desenvolvidas algumas das tcnicas de edio e montagem de vdeo mais usadas hoje em dia. Lev Kuleshov, na Unio Sovitica da dcada de 1920 dizia que a essncia do cinema estava na montagem, na organizao do material, e era isso que o tornava uma arte (url-Kuleshov). 7

Comparava a construo de um filme, sequncia a sequncia, construo de uma casa, tijolo por tijolo. Sergei Eisenstein, que trabalhou com Kuleshov aperfeioou a teoria da montagem ao us-la para dar significados escondidos de forma a influenciar a audincia. Isto era prtica corrente nos regimes ditatoriais do sculo XX, onde existiam invariavelmente realizadores aos quais eram oferecidos todos os meios de trabalho, de forma a produzirem filmes capazes de influenciar o povo e de certa forma servirem como propaganda do regime. Foi tambm nesta altura que na Europa Central apareceu o movimento cultural Dada (url-Dada). Este movimento nascido durante a I Guerra Mundial preconizava a poltica anti-guerra em todas as Artes, desde a Literatura s artes grficas, manifestando-se em produes chamadas anti-artsticas. Isto deu origem a muitas manifestaes experimentais e abstractas em todos os campos artsticos incluindo o vdeo. Podemos encontrar exemplos dos primeiros vdeos experimentais e abstractos em Hans Richter com Rhytmus 21 (1921) (url-Richter), Walter Ruttmann com Lichtspiel: Opus I (1921) (url-Ruttmann) e ainda Oskar Fischinger (url-Fischinger) com uma srie de trabalhos que no foram publicados na altura. Em Rhytmus 21 (Figura 2.1), Hans Richter apresenta formas geomtricas ao longo do filme como se de vrias pinturas abstractas de tratassem. Alguns destes filmes so vistos hoje como precursores da Video Art e do Video Jockeying (VJing).

Figura 2.1 Rhytmus 21 (1921)

A Video Art um contributo importante para a histria do vdeo, que a partir deste ponto se separa definitivamente do cinema, sob a sombra do qual vinha existindo at ento, uma vez que fez uso do meio para complementar arte de performance e 8

instalao e acabando por aproveitar e criar novas formas de visualizao, abrindo caminho explorao de tcnicas de visualizao do meio. Hoje em dia o vdeo est em todo o lado com a difuso da televiso, vdeochamadas nos telemveis, vdeo na Internet, vdeo-conferncia em reunies. So inmeras as aplicaes do vdeo, o que torna importante a explorao das capacidades que este meio ainda tem para oferecer.

2.1.2 Visualizao
A visualizao surge como conceito relacionado com o vdeo de uma maneira bvia, pois se o vdeo faz uso da imagem visual, naturalmente o objectivo ser visto por algum. No entanto, a visualizao abrange mais que o simples acto de ver. Aqui referimo-nos visualizao de contedos e de informao complexa, como seja o acto de representar de uma forma visual informao que no visual (Card et al, 1999) . Esta rea de visualizao de informao tem diversas aplicaes, desde um simples mapa ou diagrama para informao geogrfica at a conceitos mais recentes como as tag-clouds (url-TagClouds), que servem para representar visualmente informao presente num sistema, como por exemplo palavras usadas nas discusses de um frum, ou pesquisas feitas num motor de busca. As palavras mais usadas aparecem com maior tamanho em relao s outras, tornando assim muito intuitiva a apresentao do contedo dessa informao. Em relao ao vdeo, podemos tambm apontar que a visualizao importante para definir diferentes formas de ver o seu contedo, seja ele de um nvel mais baixo, como as suas propriedades mais fsicas, ou de um nvel mais alto, como a sua semntica. Estas propriedades so importantes para explorar ligaes entre vdeos que podem ser visualizadas num espao de vdeos, onde deixamos de lidar com o vdeo individual para passar a uma biblioteca ou coleco de vdeos. Estas coleces podem, assim, ser visualizadas salientando diferentes aspectos do contedo dos vdeos num espao de informao, onde se pode explorar informao relevante que no estava acessvel anteriormente, fazendo pesquisas e organizando os dados de acordo com estas propriedades. assim possvel organizar um espao de vdeos por caractersticas semnticas ou por propriedades de baixo nvel como cor, movimento ou durao. Tm sido efectuados alguns estudos neste tipo de visualizao de dados, que visam uma evoluo para cenrios onde as ferramentas para a interaco se tornam invisveis enquanto os utilizadores so imersos na explorao dos dados (Few, 2007).

Tambm ao nvel individual existem vrias formas de visualizar um vdeo, seja por uso de tcnicas de sumarizao, como a extraco de key-frames, seja atravs do uso de efeitos visuais com a finalidade de salientar propriedades de baixo nvel.

2.1.3 Edio
A edio uma tarefa comum na produo de vdeo e refere-se etapa em que so ordenados os vrios segmentos, por vezes com efeitos e transies de forma a obter o resultado pretendido. Tambm tida em conta a ps-produo que permite adicionar ao vdeo efeitos especiais e msica. Pode ter objectivos concretos como no caso do cinema, onde se tenta construir uma histria assente na narrativa e necessrio dar uma ordem aos vdeos, ou simplesmente objectivos tidos como exploratrios, onde se usa a edio como mecanismo para explorar a criatividade. Na edio inserem-se tambm tarefas importantes como a sumarizao e segmentao. A segmentao a diviso de um vdeo em segmentos menores com um significado semntico, ou de outra natureza que sirva como critrio. A sumarizao por outro lado pode partir de segmentos ou de um vdeo inteiro e tenta obter frames ou segmentos que sejam representativos ou semanticamente relevantes, de forma a servirem de apresentao ou pr-visualizao do vdeo no total. uma tarefa muito til quando se quer fazer procura em grandes arquivos de vdeo de uma forma visual. Hoje em dia, a tcnica de edio mais usada chamada edio no linear e consiste em poder fazer acessos aleatrios ao material fonte sem o destruir, coisa que no era possvel at chegada dos suportes digitais. At esta altura, era necessrio copiar cassetes de vdeo ou ento cortar a pelcula de filme nos locais correspondentes ao material que se queria utilizar, e portanto eram tarefas muito morosas e, no caso da pelcula, destrutivas. Alguns dos sistemas de edio online de vdeo que so hoje usados so orientados a fomentar a partilha. Assim, a edio, principalmente por parte dos utilizadores que no a praticam como trabalho profissional, normalmente motivada pela partilha com outros utilizadores.

2.1.4 Processamento e Anlise de Vdeo

O processamento e anlise de vdeo e de imagem, outra tarefa importante para este trabalho. No seria possvel criar as tcnicas de visualizao e edio sem recorrer a tcnicas de processamento e anlise. Estas tcnicas visam, por exemplo, retirar informao importante dos vdeos e imagens, de forma a poder efectuar pesquisas sobre essa informao. Um exemplo so os histogramas de cor. Esta estrutura de dados largamente usada nos processos de 10

anlise de vdeos e imagens tem como objectivo representar a distribuio estatstica das cores no vdeo ou imagem. Esta distribuio pode ser usada para perceber que cores aparecem, para fazer deteco de objectos em viso por computador, deteco de cenas em vdeos (Mas & Fernandez, 2003), equalizao de imagens (Bassiou & Kotropoulos, 2006), e at ser usada como assinatura de um vdeo ou imagem, servindo assim para o catalogar numa base de dados. Outros tipos de anlise que podem ser efectuadas sobre o vdeo so a anlise de movimento, texturas e contornos. Todos estes tipo de anlise so teis da mesma forma que a cor, para catalogar e obter informao pertinente dos vdeos que poder depois ser usada na visualizao, edio e pesquisa.

2.1.5 Criatividade e Evoluo

Estes campos aparecem relacionados, na medida em que a evoluo, por fora da combinao de regras bem definidas com alguma incerteza, um meio naturalmente estimulador da criatividade nas pessoas. Criatividade essa que tem sido usada juntamente com a teoria da evoluo para produzir, em diversas reas, resultados interessantes. Atravs da evoluo podem ser geradas diversas solues para um problema. Estas solues so avaliadas e tendem a evoluir para uma boa soluo. Existem trabalhos que apresentam a particularidade de relacionar directamente a evoluo com a criatividade e com a produo de contedos multimdia, entre os quais o vdeo. Neste campo particularmente relevante a noo de imprevisibilidade que usada para gerao de dados, tambm aplicada no campo da Generative Art (urlGenerativeArt) e ligada s artes digitais. Mas o importante a reter que quando h gerao aleatria de dados produzido muito rudo em relao ao sinal, sendo que o sinal a parte interessante e o rudo, na maioria, material para ser descartado (Pepperell, 2002). O mesmo autor argumenta ainda que a criatividade humana uma resposta do organismo incapacidade de prever o que o ambiente que o rodeia far, tantas so as variveis. Daqui, podemos ento retirar uma relao entre a criatividade e a evoluo, uma vez que a evoluo hoje tida como uma mesma resposta ao ambiente onde o organismo est inserido. A aplicao de sistemas evolucionrios como estmulo para a criatividade humana, ou simplesmente para automatizar processos de gerao de dados, tem sido usada nas mais variadas reas com bastante sucesso, desde a arquitectura (Buelow, 2002) msica (Moroni et al, 2002). Outros sistemas podem ser usados, como sistemas fsicos e matemticos ou que simulem outras propriedades de outras reas como a qumica, sociologia ou at o 11

desporto, uma vez que tambm contm algum grau de incerteza e gerao de dados que torna possvel criar sempre novos resultados, que aliados interaco permitem estimular e suportar a criatividade.

2.1.6 reas de Aplicao

O vdeo usado nas mais diversas reas. Nesta seco evidenciam-se aquelas onde a visualizao e edio criativa de vdeo tm um papel especialmente relevante. Video Art A Video Art um movimento artstico nascido nos anos 60 que tenciona fazer uso do vdeo como principal elemento em obras de arte, tentando usar sempre a melhor tecnologia da rea para fins artsticos. Ao explorar as fronteiras do cinema, um pouco como o cinema experimental, tentaram dar ao espectador algo em que pensar enquanto

Figura 2.2 TV Bra For Living Sculpture (1969)

assistia ao vdeo. A Video Art normalmente no faz uso de narrativa, e como tal no tem personagens nem outras estruturas usadas no cinema e televiso convencionais, explora 12

as caractersticas do meio tentando provocar reaces no espectador. Por exemplo, Nam June Paik (url-PaikStudios), um dos primeiros artistas de vdeo, integrou nos seus trabalhos escultura e vdeo, em TV Bra for Living Sculpture (Figura 2.2), onde a violoncelista Charlotte Moorman vestiu um soutien com pequenos ecrs de TV no peito; e msica com vdeo em TV Cello (Figura 2.3), onde a mesma violoncelista aparecia a tocar uma srie de televisores empilhados de forma a parecer um violoncelo. O surgimento da Sony Portapak em 1967, a primeira cmera de vdeo porttil e instrumento catalisador do movimento, levou a que muitos artistas se virassem para este meio, explorando a imagem em movimento de uma forma livre, sem necessidade de equipas de filmagem atrs, tornando o trabalho muito mais pessoal. A Video Art viu tambm aderir ao movimento muitas mulheres uma vez que era um meio completamente novo e livre de convenes, onde no tinham que se subjugar a regras impostas pelos homens, como em muitas outras formas de arte que, sendo mais antigas, sofriam j o domnio dos homens. No entanto, foi apenas na dcada de 1980 que se assistiu ao reconhecimento do vdeo como uma forma de arte, com exibies em museus e retrospectivas de Nam June Paik, considerado o pai do vdeo (Lovejoy, 2004).

Figura 2.3 TV Cello (1964)

Como se pode ver pelos trabalhos de Paik, muitos artistas da poca tentavam por vezes integrar o vdeo com outros meios atravs de instalaes artsticas. Mas outros artistas como Bill Viola (url-Viola) e Matthew Barney (url-Barney) apresentaram ao 13

longo dos anos trabalhos proeminentes em vdeo, sem recorrerem a instalaes. Na maioria das vezes estes artistas recorriam a trabalhos conceptuais para expressarem opinies, e de certa forma esta corrente ainda hoje vive muito do trabalho conceptual (url-Hall). Bill Viola disse, em 1989, que explorava no seu trabalho a noo de tempo, uma vez que achava que na vida moderna se tentava colocar cada vez mais informao em menos tempo, e portanto ele atravs do seu trabalho fazia o contrrio, colocando menos informao em mais tempo, neste caso atravs de longas cenas de vdeo com pouco movimento. Hoje, a Video Art continua muito associada a instalaes artsticas onde por vezes se deixa que o utilizador faa parte dela atravs de mecanismos de interaco (urlUnderScan). Estas instalaes artsticas so criadas para usar o espao de um local para oferecer ao espectador uma experincia particular. Tambm interessante notar que a Video Art foi durante muitos anos um nicho no mundo das artes, pois sempre fez uso da tecnologia mais recente, e como Patric Prince (1995) e Duane Palika (1990) escrevem, a tecnologia que usada no processo artstico levanta questes quanto sua utilizao como meio para produzir arte ou como arte em si. Quer isto dizer que a arte pode ser vista no como o produto final mas sim como o processo para produzir esse artefacto. Assim, a tecnologia influencia o modo como produzida a arte, e quando se usa uma aplicao de software para criar arte est-se refm das capacidades que essa aplicao oferece, cabendo ao artista o papel de inovar a forma como so usadas estas ferramentas, que foi o que aconteceu na Video Art. Isto tambm visvel no campo do VJing que discutiremos a seguir. Video Jockeying O VJing apareceu na dcada de 1980 associado ao canal de televiso americano MTV que passava vdeos de msica. Assim, da mesma forma que uma pessoa que passava msica numa discoteca era um Disc Jockey, passou a chamar-se s pessoas que escolhiam os vdeos de msica para passarem no ar Video Jockeys. Assim, o VJing e o DJing sempre andaram de mos dadas at aos dias de hoje, se bem que de uma forma totalmente diferente da inicialmente pensada. Hoje em dia, o VJing continua associado ao DJing no como simples passar de vdeos musicais, mas sim como forma de acompanhar a msica com imagem, feita normalmente em tempo real. Isto porque sentiu-se necessidade de um acompanhamento msica ainda nos anos 80, e falta de actuaes em palco surgiu a projeco de imagens e vdeos. O trabalho do grupo britnico D-Fuse (Figura 2.4) um exemplo desta prtica. Este grupo faz instalaes artsticas usando vdeo e outros elementos visuais, bem como espectculos mais direccionados a acompanhamentos musicais. 14

Este tipo de VJing est directamente relacionado com a Video Art e tambm com os primeiros filmes abstractos. No trabalho de Hans Richter podemos facilmente encontrar um paralelismo com algumas performances de VJs actuais que acompanham msica. Normalmente, os vdeos passados so criados a partir de outros vdeos com um misturador de vdeo criado em hardware, que foi comum durante a dcada de 1990 at aparecerem aparelhos dedicados, ou ento atravs de software dedicado que hoje j bastante comum. Ferramentas como o Max/MSP/Jitter (url-Max/MSP/Jitter), Pure Data (url-PureData) e Quartz Composer (url-QuartzComposer) so bastante usadas pela comunidade do VJing.

Figura 2.4 Exemplos de instalaes e actuaes dos britnicos D-Fuse

Tambm bastante usada no VJing a sintetizao de vdeo a partir dos sinais sonoros da msica que est a passar, o que leva criao de trabalhos mais abstractos, mas que com a ajuda da msica conseguem fazer com que o espectador fique imerso neles, por vezes, com maior facilidade. No entanto, estas aplicaes inibem por vezes a criatividade dos VJ's que no produzem o seu prprio material nem fazem uso de certas opes porque a aplicao que usam no tem essas capacidades. Assim, ficam refns da tecnologia, e por vezes essa a grande diferena relativamente ao Live Cinema que discutiremos de seguida. Live Cinema Este termo, que foi usado originalmente para referir cinema mudo com acompanhamento musical ao vivo, por exemplo por uma orquestra convidada, hoje usado de forma diferente. Hoje em dia o termo Live Cinema define a prtica de criar contedo audiovisual para espectculos em tempo real (Makela, 2006). Esta prtica completamente distinta do cinema, uma vez que no usa um fio de histria linear, nem tenta colocar actores em situaes distinguveis. Ao criar o contedo no momento, a liberdade muito maior do que no cinema onde tudo pr-processado para depois ser apresentado. 15

Tambm diferente do VJing, porque aqui o material produzido sempre original e no caso do VJing muito material simplesmente copiado e misturado. Alm disso, outra diferena em relao ao VJing prende-se com o objectivo da prtica em si. No Live Cinema, os objectivos dos criadores mostram-se mais pessoais e artsticos do que os dos VJ's, diz Mia Makela (2008) no seu trabalho, onde define os elementos e linguagem desta prtica. Live Cinema uma corrente que est mais ligada arte de performance, que pode ser definida mais pelo tempo que usa, o tempo da actuao/performance, do que pelo espao, em contraste com a arte de instalao.

2.2 Trabalhos Relacionados

De seguida apresentam-se alguns dos trabalhos relacionados que so mais relevantes para este projecto, enquadrados nas vrias categorias em que se considera que a sua contribuio maior: a visualizao, a edio, a anlise e a criatividade.

2.2.1 Visualizao
Nesta seco apresentam-se pequenos resumos dos trabalhos mais relevantes na rea da visualizao de vdeo, primeiro a nvel individual e de seguida a nvel colectivo. Vdeo Cubismo No vdeo cubismo (Fels & Mase, 1999; Fels et al, 2000) os autores apresentam uma maneira de visualizar vdeo tridimensionalmente. Neste caso particular um cubo, considerando o eixo Z como a dimenso temporal. Podemos, assim, observar a representao de um vdeo num cubo no espao tridimensional. Com o objectivo de oferecer ao utilizador a possibilidade de analisar as imagens e identificar movimentos e cenas num vdeo, tambm acaba por oferecer imagens esteticamente interessantes ao permitir desenhar planos de corte no cubo.

Figura 2.5 Vdeo Cubismo

16

V3 - Volume Visualization for Videos

Figura 2.6 Volume Visualization for Videos

Em (2003) Gareth Daniel e Min Chen apresentam tambm uma soluo para visualizar vdeo, mais orientada a sistemas que necessitem de pesquisas rpidas pelo olho humano, como um sistema de cmeras de segurana, no prottipo do sistema V3. Tem algumas semelhanas com o vdeo cubismo, na medida em que as formas apresentadas para representao de vdeos esto no espao tridimensional, no entanto, atravs da anotao e da pesquisa semntica no vdeo, os autores foram aqui mais longe para cumprirem com o objectivo de oferecer rapidez na pesquisa de grandes volumes de vdeo. Interactive Comic Book Presentation A metfora da banda desenhada foi aplicada ao vdeo em (Boreczky et al, 2000)

Figura 2.7 Interactive Comic Book Presentation

17

num sistema para fazer o sumrio de um filme. Em primeiro lugar decidem-se quais os frames que vo representar uma cena. A segmentao feita usando a tcnica de agrupamento hierrquico de frames. Para identificar as frames para o sumrio calcula-se a importncia de cada segmento com base na sua raridade e durao. Privilegiam-se segmentos longos e que no se repetem. O key-frame extrado para representar o segmento o mais prximo do centro. Apresenta-se ainda uma forma de dispor as frames anloga leitura de livros de banda desenhada, alinhando as frames no espao como se de uma prancha se tratasse, e fazendo redues ou aumentos de tamanho, de forma a preencher totalmente o espao. Os vdeos podem ser vistos individualmente e explorados em maior detalhe no que diz respeito informao anotada. um sistema til para sumarizar e navegar em grandes coleces de vdeo, tal como o sistema V3, mas com o foco na sequncia de contedos em vez de ser nos movimentos. Video Streamer Neste trabalho (Elliot & Davenport, 1994), os autores apresentam um sistema capaz de capturar vdeo, e criar volumes a partir das imagens em movimento. Tem como utilidade permitir escolher e ver determinados segmentos de vdeo ou permitir criar representaes que evidenciam os movimentos ou ritmos existentes no vdeo. A captura assemelha-se um pouco a uma imagem em slit scan, como forma de representar movimento num vdeo.

Figura 2.8 Video Streamer

18

Mosaicos de Imagens Com este trabalho (Finkelstein & Range, 1998), os autores desenvolveram um sistema capaz de criar imagens a partir de pequenas imagens alinhadas de forma a que quando vistas de longe se assemelham a uma fotografia ou pintura. So discutidas aqui as vrias formas de alinhamento dos mosaicos bem como as suas prprias formas (rectangulares, hexagonais, etc). Tambm so discutidas as vrias tcnicas para mapeamento das imagens e texturas, pesquisa de imagens e correco de cores.

Figura 2.9 Exemplo de uma imagem em mosaico

Representao de Sequncias de Vdeo baseada em Mosaicos Em (Irani et al, 1995), os autores decidiram aplicar a representao baseada em mosaicos aos vdeos, de forma a representar sequncias de vdeo. O conceito de mosaico neste trabalho ligeiramente diferente do anterior. Aqui, um vdeo previamente dividido em sequncias e cada sequncia tem as suas frames alinhadas para o mesmo sistema de coordenadas. Estas frames so depois integradas umas com as outras com filtros temporais de forma a ficarem numa s imagem, a imagem de mosaico, que representa o vdeo todo numa s imagem, sendo portanto teis numa perspectiva de sumarizao. A isto os autores chamaram mosaicos estticos e este tipo de mosaicos, no entanto, no capta o movimento em relao ao fundo. Para esse efeito, desenvolveram mosaicos dinmicos capazes de capturar o movimento em relao ao 19

fundo e apresent-lo numa s imagem. As aplicaes deste mtodo incluem compresso de vdeos para alojamento online, sumarizao e visualizao panormica de cenas. Vdeo Mosaicos Em vdeos criados com mosaicos de outros vdeos encontramos (Klein et al, 2002), onde os autores adaptam a tcnica das imagens em mosaico aos vdeos, usando vdeos para construir um vdeo, num efeito esteticamente agradvel e que tambm til como meio de organizao e pesquisa num espao de vdeos. Em (Martin et al, 2004), podemos encontrar um trabalho anlogo que tambm faz uso de vrias tcnicas de anlise da cor, como histogramas de cor, e anlise de formas. Na Figura 2.10, podemos ver o vdeo original no canto superior esquerdo, o vdeo recriado com uso de uma combinao de todas as tcnicas no canto superior direito, no canto inferior esquerdo usando apenas a cor mdia e por ltimo, no canto inferior direito usando apenas histogramas de cor.

Figura 2.10 Mosaicos de vdeo com vrias tcnicas

20

Videosphere Neste trabalho, os autores (url-Videosphere) tentaram criar o efeito visual de um mundo constitudo por vdeos retirados do website TED. Para alm do aspecto visual tambm h a considerar o aspecto semntico que os vdeos tm e quais as suas ligaes, que tambm so representadas. Este sistema permite ao utilizador navegar entre vdeos do mesmo tema num ambiente visualmente apelativo e que representa de uma forma simples as ligaes que representam os saltos que o utilizador pode dar na sua navegao. O espao de vdeos representado por um globo tridimensional e os vdeos individuais podem ser seleccionados para uma apresentao onde o vdeo aparece num tamanho maior e tocado.

Figura 2.11 Videosphere

VideoSpace: A 3D Video Experience O tema de um mundo esfrico populado por vdeos foi aprofundado neste trabalho (Rocha & Chambel, 2008), onde se inclui uma representao do utilizador no centro. A populao de vdeos, constituda por vdeos musicais de artistas portugueses, brasileiros e espanhis tem ligaes semnticas entre si representadas em vrias cores, nas categorias de pas, gnero musical e autor. Esta representao do espao de vdeos, chamada macrospace, pode ser tambm organizada em forma de matriz de acordo com as categorias. possvel navegar atravs de operaes como rotaes e deslocaes ao longo dos eixos tridimensionais e interagir com o mundo entrando dentro de um vdeo, altura em que passamos a outra interface, tambm tridimensional, a que os autores chamam microspace. Os pxeis so apresentados em 3D mudando de cor em tempo real de acordo com a apresentao do vdeo e mudando de altura conforme o seu brilho. Neste espao, podemos interagir com os pxeis do vdeo e criar efeitos esteticamente interessantes como exploso, imploso, aumento ou diminuio do nmero de pxeis, 21

Figura 2.12 VideoSpace: Navegao no Macrospace

deslocaes e rotaes que podem deixar rasto no ecr, podendo criar efeitos visuais abstractos. possvel ainda fazer pesquisas por uma cor de pixel e o resultado da pesquisa leva-nos para o espao de vdeos que fica organizado de forma a colocar mais perto do utilizador no centro, os vdeos com predominncia da cor pesquisada. Para acentuar o aspecto da interaco, possvel usar vdeo de uma webcam que esteja ligada ao sistema para visualizar no microspace, acessvel atravs da representao do utilizador no centro do espao de vdeos.

Figura 2.13 VideoSpace: Interaco com um vdeo no Microspace

Mayil Iragu Neste trabalho (Udaysankar, 2008) a autora remete-nos para a cultura indiana e para os direitos das mulheres que so ignorados em prol de tradies seculares indianas. Estes problemas so apresentados aos utilizadores atravs de uma instalao que oferece artigos tipicamente indianos para venda, como se de uma loja ambulante se tratasse. O utilizador atrado pelos artigos tem tendncia a mexer-lhes e quando mexe num artigo apresentado um vdeo num ecr na mesma instalao, onde uma mulher indiana fala sobre a temtica da mulher contempornea na ndia relacionada com o artigo em questo. Este trabalho um exemplo de como o vdeo aliado a formas menos convencionais de interaco pode ser usado para quebrar a barreira do tpico press play & watch inserindo-se em contextos sociais especficos. Podemos ter a tendncia de pensar que neste tipo de trabalho o vdeo deixado para segundo plano, no entanto ele que permite ao trabalho atingir ao seu objectivo, a sua finalidade, transmitindo a mensagem que se quer passar, e nesta ptica no deixa de ser uma parte fulcral. Visualizing Music Artists Network Neste trabalho (Costa et al, 2008), os autores apresentam um prottipo para um sistema capaz de representar de forma visual as ligaes existentes entre artistas de msica, com recurso a informao proveniente do website Last.fm. um trabalho que se insere na categoria de trabalhos que apresentam informao no visual de forma 22

visual. Oferece ao utilizador uma experincia de navegao mais completa ao poder ver informao dos artistas, bem como artistas relacionados e palavras-chave associadas por outros utilizadores aos artistas e msicas. YouTube Warp Player Este visualizador do espao de vdeos do YouTube permite explorar as ligaes entre os vdeos. Desenvolvido em Flash, este sistema apresenta um vdeo escolhido e a partir deste explorar os vdeos relacionados, que se apresentam como crculos no espao, com uma frame que caracteriza o vdeo no centro. Os crculos tm contornos de cores de forma a poder identificar atravs da cor as relaes entre os vdeos. Ao nvel do vdeo individual apenas permite seleccionar e ver o vdeo com o visualizador tradicional do YouTube.

Figura 2.14 Visualizao do espao de vdeos no YouTube Warp

2.2.2 Edio
Nesta seco so apresentados trabalhos relevantes com aplicao directa e que oferecem suporte para a rea da edio de vdeo e suas tarefas relacionadas.

23

Understanding Videowork Neste trabalho (Kirk et al, 2007) os autores apresentam o tipo de trabalho sobre vdeo que o utilizador amador faz. Analisando as aces de captura, edio, arquivo e partilha como um ciclo no trabalho sobre vdeo, chegaram a algumas concluses. De um lado, temos os utilizadores mais casuais, que capturam o vdeo em telemvel por exemplo, e no fazem qualquer tipo de edio sobre ele, sendo o objectivo a partilha imediata. Do outro lado, temos os utilizadores mais exigentes que investem mais recursos materiais e temporais, como planear previamente uma captura de vdeo, comprar uma cmera de vdeo melhor, tudo com o objectivo de posteriormente partilharem o contedo. Um factor importante que tem relevo neste estudo que so tipicamente os eventos na vida dos utilizadores que levam captura de vdeo e que sem eles no h necessidade dessa captura. Tambm importante notar que as operaes mais usadas na fase de edio de vdeo so o recortar, ordenar segmentos, adicionar ttulos e legendas, adicionar transies, e mais tarde passar o contedo para um DVD. Os mesmos autores (Kirk et al, 2006) desenvolveram previamente um estudo anlogo para o campo da fotografia que apresenta algumas semelhanas nas actividades de navegao e pesquisa em arquivos fotogrficos e em arquivos videogrficos. Os utilizadores normalmente arquivam o contedo em disco, com base em eventos que so datados, seguindo uma estrutura de directrio com o nome do evento e a data, portanto raramente perdem tempo a pesquisar uma fotografia ou um vdeo em particular. Assim, no existe tanto a necessidade de desenvolver mecanismos de pesquisa, sendo prefervel concentrar esforos em desenvolver mecanismos de navegao mais eficientes. Estes trabalhos contribuem para perceber quais so as funcionalidades interessantes a desenvolver para aplicaes relacionadas com edio, visualizao e navegao em vdeo e foto. Vox Populi Na srie de trabalhos sobre automatizao de edio de vdeo, encontra-se tambm o trabalho de Bocconi e Nack (2004), Vox Populi, onde os autores tiveram como objectivo gerar sequncias de vdeo de entrevistas a cidados americanos depois do incidente das torres gmeas do World Trade Center a 11 de Setembro de 2001. Usam para fazer um documentrio, que o objectivo, uma estrutura aproximada parte da retrica denominada por inveno, que consiste em tentar convencer atravs da persuaso. Assim, para o utilizador possvel oferecer uma navegao visual automaticamente guiada, e para o autor (do documentrio) oferecer uma plataforma para recolher contedo e torn-lo disponvel sem ter que explicitar como e por que ordem deve ser visto. A nvel semntico so usados tpicos para classificar e pesquisar os

24

contedos. Este trabalho oferece assim um certo grau de automatizao e ao mesmo tempo de liberdade criativa na realizao de documentrios. Hitchcock: Semi-automatic Home Video Editing Neste trabalho (Girgensohn et al, 2000) os autores desenvolvem um sistema de edio de vdeo que analisa os segmentos de vdeo com base no movimento e decide a viabilidade destes poderem vir a ser usados num filme. um trabalho orientado tambm edio caseira de vdeo e pretende que com esta automao o utilizador no tenha que seleccionar quais os segmentos a usar, podendo saltar esta fase. So seguidas regras bsicas de edio que usam propriedades do vdeo como a durao, luminosidade e movimento da cmera para decidir sobre a viabilidade. Tambm apresentam uma interface para navegao, apresentao e seleco dos vrios segmentos na coleco, que assenta em vrias pilhas de segmentos agrupados por similaridade dos histogramas de cor. Estas pilhas podem ser expandidas, mostrando numa nova janela sobreposta os respectivos segmentos. ainda usada uma interface para a linha temporal do vdeo usando tempos mnimos e mximos para cada segmento e seguindo algumas regras, como um modelo fsico de fora de molas aplicado durao dos segmentos, de forma a balancear as duraes destes entre si, para que o filme final tenha uma durao especificada.

Figura 2.15 Espao de vdeos no Hitchcock

25

Director in Your Pocket Um outro trabalho que oferece diferentes formas de interaco com o vdeo o de Adams e Venkatesh (2004) onde os autores apresentam uma plataforma para PDA que vai de encontro s necessidades que os utilizadores tm quando querem realizar um projecto em vdeo com melhor qualidade. Assim, o PDA torna-se num assistente que d dicas sobre como capturar vdeo em diferentes condies e para diferentes fins. Inclui um sistema de representao em 3D para auxlio visual, com recurso a templates de cenas previamente definidos. O PDA tambm grava as tentativas do utilizador de seguir as indicaes para, no software de desktop, poder anotar as cenas com meta dados derivados dos templates usados e mais tarde analisar os resultados. Soft Cinema Este sistema (url-SoftCinema) no s permite edio de vdeo, como tambm faz uso de algumas tcnicas de visualizao. Este sistema explora a edio algortmica de vdeos, usando para o efeito descritores semnticos e palavras-chave que podem ser introduzidas automaticamente, com recurso a aplicaes de processamento de imagem, ou manualmente. Estas palavras-chave para alm de descreverem semanticamente os vdeos, tambm descrevem algumas propriedades de baixo nvel, como a cor dominante, contraste, movimento da cmera, entre outras. Em primeiro lugar, usando regras para a edio automtica que fazem uso destes descritores, o Soft Cinema capaz de produzir sequncias de vdeos que podem ser tambm alteradas pelo utilizador, conforme o seu gosto em relao aos resultados produzidos. Outra noo explorada no Soft Cinema a narrativa a partir de uma base de dados. Esta tcnica faz uso de vrios vdeos a partir de uma base de dados que so usados para construir narrativas, podendo fazer verses diferentes da mesma estrutura narrativa, e permite visualizar a base de dados de uma forma grfica. O terceiro princpio explorado no Soft Cinema faz uso da analogia entre um sistema grfico de janelas, tpico nos computadores pessoais, com a apresentao de um filme. Assim, o macro-cinema, conseguido gerando vrias janelas para apresentao, nas quais so mostrados vrios vdeos de forma aleatria, em alturas aleatrias.

26

Finalmente, a quarta ideia explorada no Soft Cinema a ideia de multimedia cinema, onde no so s usados vdeos para criar um filme, mas tambm animaes, imagens bidimensionais e tridimensionais, e outros elementos visuais que possam ser usados como complemento apresentao normal do vdeo, dando nfase a aspectos presentes na narrativa do vdeo em questo, e abrindo novas portas maneira de apresentar os filmes.

Figura 2.16 Exemplo de visualizao de vrios vdeos em janelas e com diferentes elementos visuais no Soft Cinema

2.2.3 Anlise e Pesquisa de Imagens e Vdeos

Nesta seco so apresentados trabalhos relevantes para as tarefas de anlise e pesquisa de imagens e vdeos. Extracting Baseball Highlights Este um exemplo de aplicao prtica de extraco automtica de caractersticas para edio de vdeo (Chang et al, 2002) onde os autores segmentam os vdeos em cenas, identificando sete tipos de cena representativas das filmagens de um jogo de basebol. De seguida, classificam as jogadas como sendo conjuntos de vrios tipos de cenas, fazendo um mapeamento para automatizar a tarefa de descobrir as jogadas conforme as cenas presentes no vdeo. Atravs da construo de Cadeias de Markov 27

Escondidas (Hidden Markov Models), que so modelos estatsticos assentes em sistemas de evoluo aleatria sem memria, dependendo unicamente do estado actual, fazem o reconhecimento automtico das cenas e geram os resumos dos jogos de basebol com relativo sucesso. VisGenie Em (Wang & Xie, 2001), foi concebido e implementado um projecto para um sistema genrico de visualizao de streams multimdia, e dos meta dados associados. Aqui os meta dados referem-se a dados semnticos de alto nvel, e a propriedades de baixo nvel. Este sistema permite visualizar vdeos e comparar diferentes qualidades na compresso de cada vdeo, permite fazer deteco de mudanas de planos, e anlise de vdeos. Na anlise, fazem uso de histogramas de cor, contabilizando para cada cor o nmero de pxeis existentes ao longo do vdeo em cada frame, em HSV, com 64 contentores para cada componente e apresentam o histograma em tempo real medida que o vdeo visualizado.

Figura 2.17 Anlise de um jogo de futebol no VisGenie

Pesquisa de Vdeos atravs de Classificao Semntica Neste trabalho (Luo et al, 2006) os autores tentam resolver os problemas de extraco de conceitos semnticos de segmentos de vdeo, uma vez que difcil relacionar as caractersticas de nvel mais baixo com caractersticas de nvel mais alto, 28

mais significativas para as pessoas. Tambm tentam tornar fcil e intuitivo o acto de especificar os conceitos de pesquisa para um utilizador, uma vez que a pesquisa por palavras-chave pode ser difcil de interpretar e ligar a conceitos mais abstractos dos vdeos. Tambm simplifica a tarefa do utilizador que no sabe bem o que quer pesquisar, orientando a navegao e procura hierrquica. Finalmente lida com o problema de encontrar vdeos de interesse e portanto usa uma classificao de grau de interesse nos vdeos, feita custa de anlise estatstica. Histogramas de Cor de Grupos de Frames e Imagens Neste trabalho (Ferman et al, 2000) pretende-se fazer uso de tcnicas de anlise como os histogramas de cor para produzir anotaes quanto cor em relao a grupos de frames em vdeos ou em grupos de imagens. Os vrios histogramas a serem usados so: histograma mdio, que calculado acumulando os histogramas de todas as frames e depois normalizando-o pelo nmero de frames; histograma mediano que para calcular os valores em cada contentor ordena em ordem ascendente os valores de cada histograma da frame para a durao do vdeo e escolhe o valor mediano; e finalmente o histograma de interseco que contm o nmero de pxeis de cada cor que aparecerem em todas as frames. Algumas das aplicaes que fazem com estas anotaes incluem pesquisa de imagens e frames de vdeo e relacionamento entre segmentos de vdeo, atravs da semelhana dos seus histogramas de cor. Pesquisa de Imagens baseada em Aproximao de Cor Em (Huang et al, 2006), os autores apresentaram um algoritmo capaz de extrair informao da cor no espao de cor CIELAB, baseando-se em algoritmos dos movimentos em colnias de formigas. Neste caso em particular, o algoritmo usado foi o que modela a forma como as formigas empilham os cadveres das formigas mortas. O que acontece que as formigas formam pilhas de cadveres e so atradas para as pilhas j formadas, fazendo com que no final existam poucas pilhas com muitos corpos. Com este algoritmo conseguem criar modelos probabilsticos para extrair cores dominantes de imagens bem como analisar distncias entre cores para poder fazer uma correlao ptima. Noutro trabalho de pesquisa de imagens baseada em informao da cor (Kerminen & Gabbouj, 1999), os autores usam histogramas de cor em diferentes espaos de cor, nomeadamente o RGB, HSV e L*a*b. Experimentaram com vrias configuraes no nmero de contentores dos histogramas em cada espao de cores e compararam os resultados da criao dos histogramas para uma base de dados de duas mil imagens chegando a concluso que a construo do histograma em HSV com 166 cores o mais lento ao invs do RGB que seja com 64 ou 125, contentores mais rpido que os outros 29

espaos de cor. O L*a*b oferece uma melhor percepo por no ser dependente dos dispositivos de apresentao, mas a quantizao mais difcil. O HSV tem a quantizao mais fcil em termos de separao das componentes para organizao do espao, e o RGB mais difcil tambm porque as componentes esto correlacionadas em relao luminosidade, o que no sucede no HSV. Em (Saykol et al, 2004), para alm do uso da cor para pesquisar imagens, tambm so usadas as propriedades das formas e texturas. O que particularmente interessante a semelhana da organizao espacial da cor que os autores escolheram. Tal como no trabalho anterior, tambm escolhida uma representao da cor em HSV, pela sua uniformidade perceptual e semelhanas com os princpios da viso humana. A quantizao usada resulta num total de 166 cores e est representada graficamente na Figura 2.18, onde temos trs grficos, cada um representando um valor de luminosidade, sendo que no grfico da esquerda temos um tero de luminosidade, no do meio dois teros e no terceiro a luminosidade total. Em cada grfico pode notar-se as divises das cores medida que se anda volta da circunferncia e as divises da saturao, com menor saturao medida que se aproximam do centro.

Figura 2.18 Quantizao do espao de cor HSV

MultiColr Search Lab Na rea da pesquisa de informao, o MultiColr Search Lab deixa fazer pesquisas sobre imagens do Flickr atravs de semelhana de cores. Este sistema permite seleccionar at 10 cores de uma paleta de cores para compor a pesquisa. Usam um princpio interessante e simples na composio da pesquisa relacionado com a quantidade de cor que queremos obter nas imagens. Quanto mais vezes for seleccionada a mesma cor, maior ser o nfase dado a essa cor na pesquisa. Por exemplo, na Figura 2.19, podemos ver uma pesquisa feita escolhendo duas vezes a cor amarela, e depois um tom de roxo e um vermelho escuro.

30

Figura 2.19 Exemplo de pesquisa no Multicolr Search Lab

2.2.4 Criatividade
Nesta seco so apresentados trabalhos relevantes que visam dar suporte e estimular a criatividade. Artificial Evolution for Computer Graphics Este trabalho de Sims (1991) apresentou uma forma original de aplicar a teoria da evoluo gerao de grficos. Sims aplicou algoritmos genticos, atravs de operaes de seleco, mutao, reproduo e fitness. Aplicou as noes de gentipo, a entidade que contm a informao gentica, e fentipo que a manifestao de um dado gentipo, aos grficos produzidos no computador. Um indivduo definido por um conjunto de genes, cada um constitudo por pares de gentipos e fentipos. As funes de fitness para avaliar o sucesso dos indivduos baseiam-se em critrios que variam conforme o significado semntico da situao em causa. No caso concreto deste trabalho, o autor acabou por deixar que fosse o utilizador a oferecer o input para se determinar o sucesso de uma soluo, uma vez que era difcil avaliar objectivamente se um indivduo seria melhor que outro, j que se trataram de observaes fundamentalmente estticas. O autor exemplifica esta evoluo artificial atravs da gerao de texturas slidas, imagens e plantas tridimensionais. 31

MovieGene Neste trabalho (Chambel et al, 2007) os autores aplicaram o princpio dos algoritmos genticos edio de vdeo. Assim, temos indivduos que so os vdeos, e cada indivduo tem trs genes, que so os segmentos que o compem. Cada segmento por sua vez tem vrias propriedades como a durao, distncia focal, cor, anotaes de texto livre e anotaes de palavras-chave. Estas propriedades compem o gentipo de um gene cuja manifestao o segmento de vdeo, o fentipo. Atravs de uma funo de fitness que faz a avaliao dos indivduos, e de processos de seleco, mutao, crossover e elitismo, uma populao inicial de vdeos pode ser evoluda para um determinado objectivo que se prende com uma propriedade, ou gentipo, desejada. Assim, o MovieGene torna-se um editor de vdeo no linear que comporta funcionalidades de edio automtica usando algoritmos genticos, evoluindo populaes de vdeos que podem ser exploradas de forma a estimular a criatividade, uma vez que oferece um conjunto de resultados que no sendo completamente incertos, tambm no so totalmente previsveis, colocando em prtica a noo da incerteza como aliada da expresso criativa.

2.2.5 Sumrio
Para finalizar, apresentamos uma tabela com o sumrio das caractersticas mais marcantes dos trabalhos apresentados, na perspectiva de suporte visualizao. importante notar que os trabalhos so muitas vezes transversais s vrias reas do vdeo e portanto no se restringem apenas a uma em particular, o que quer dizer que muitos destes trabalhos tm contributos mais importantes na edio ou anlise de vdeo, mas que tambm criam visualizaes interessantes que so ento referidas na Tabela 1.

32

Trabalho Vdeo cubismo V3 Int. Comic Book Pres. Video Streamer Mosaicos de imagens e vdeos Videosphere VideoSpace Mayil Iragu Vis. Music Artists Network YouTube Warp Player Hitchcock Soft Cinema Pesquisa de vdeos por semntica MovieGene 3D, vdeo num cubo 3D em vrias formas

Visualizao

Prancha de BD com vdeos Imagem semelhante a slit scan Usam a tcnica da representao de imagens grandes por imagens mais pequenas o mosaico Esfera 3D com videos relacionados semnticamente entre eles Esfera 3D/matriz com vdeos com relaes semnticas. Espao de vdeo individual 3D Playback de vdeos em instalao a lembrar Video Art Rede de info. de artistas musicais retirada do Last.fm Espao de vdeos 2D representados por crculos e com cores nos contornos para mostrar as ligaes Timeline, Pilhas de vdeos organizadas por cor Apresenta vrias janelas com vdeo, complementadas com outros tipos de media Espao 2D de vdeos Timeline, Populaes de vdeos

Tabela 1 Sumrio dos tipos de visualizao dos principais trabalhos relacionados

2.3 Ferramentas e Tecnologias Relacionadas

Nesta seco apresentam-se algumas ferramentas e tecnologias relacionadas com as reas da edio de vdeo, VJing, desenvolvimento para tecnologias que faam uso do vdeo, visualizao de informao e pesquisa de vdeos.

2.3.1 Edio de Vdeo

No campo da edio de vdeo existem vrias ofertas comerciais, bem como algumas livres, incluindo algumas aplicaes que so oferecidas com alguns sistemas operativos, como so os casos do Windows Movie Maker (url-WinMovieMaker) no Windows e do iMovie (url-iMovie) no Mac OS X. Outras aplicaes largamente usadas so o Adobe Premiere (url-Premiere), Apple Final Cut (url-FinalCut) e Sony Vegas (urlVegas). J existem tambm hoje em dia algumas aplicaes de edio de vdeo online, com funcionalidades bsicas que servem para editar pequenos vdeos com o objectivo de fomentar a partilha e a criatividade pelos utilizadores. Estes sites incluem uma verso 33

mais bsica do Adobe Premiere (url-PremiereExpress), e outros sites como o Kaltura (url-Kaltura), JayCut (url-JayCut) e MovieMasher (url-MovieMasher). Todas estas aplicaes tm em comum o uso do paradigma da edio de vdeo no linear, que o mais usado hoje em dia.

2.3.2 Video Jockeying e Programao Visual

Na rea do VJing e da criao de imagem existem tambm diversas aplicaes que permitem misturar e manipular vdeo como o Modul8 (url-Modul8) e o Arkaos (urlArkaos), permitindo gerao de vdeo atravs do som e manipulao de webcams em tempo real, entre outras funcionalidades.

Figura 2.20 Exemplo de um Video Mixer no Pure Data

No entanto, as mais interessantes so aquelas que permitem construir atravs de programao visual as prprias aplicaes e neste campo destacam-se o Max/MSP/Jitter, a sua alternativa em open-source, Pure Data, e o software da Apple, Quartz Composer, disponvel no Mac OS X. Existe ainda outra aplicao open-source popular chamada VVVV (url-vvvv) com funcionalidades especficas para sntese de vdeo em tempo real. Esta famlia de software permite ao utilizador construir as suas prprias aplicaes interactivas com funcionalidades relacionadas com o som e o vdeo. A programao visual deste tipo de aplicaes tem uma curva de aprendizagem mais rpida que as linguagens de programao normais. Com este tipo de programao, o utilizador, para desenvolver as prprias aplicaes ou extenses para as aplicaes j existentes, usa blocos visuais que representam dados, objectos e estruturas tal como numa linguagem normal. Estes blocos visuais so depois ligados entre si para estabelecer interaces e criar uma aplicao. Na Figura 2.20 podemos ver um exemplo de um simples misturador de vdeo de duas fontes criado com o Pure Data. Esta 34

aplicao permite ler dois ficheiros de vdeo e atravs de uma barra de deslizamento horizontal misturar a imagem proveniente de cada um deles, sendo que nas extremidades esto os vdeos com opacidade total e medida que se caminha para o meio da barra a sobreposio das imagens feita. Tambm possvel controlar a altura e largura da imagem de vdeo que est a ser apresentada, contribuindo para criar efeitos em tempo real sobre o vdeo.

2.3.3 Ambientes Integrados de Desenvolvimento

Para desenvolver aplicaes capazes de processar imagens e vdeos, existem tambm alguns Ambientes de Desenvolvimento Integrados (Integrated Development Environments - IDEs) baseados em linguagens de programao bastante difundidas, mas que tm a particularidade de terem sido desenvolvidos para facilitar o trabalho de quem desenvolve aplicaes multimdia. o caso do Processing (url-Processing), um software open-source que baseado na tecnologia Java e permite a artistas e pessoas que no estejam muito familiarizadas com programao uma aproximao mais fcil linguagem Java. Isto conseguido com o nfase colocado nas funcionalidades grficas e de integrao do Java com uma das normas para grficos 3D que o OpenGL. Existe j um grande nmero de bibliotecas desenvolvidas para Processing destinadas a processamento de vdeo, imagem, som, e tambm para uma srie de interfaces externos e sensores que fazem do Processing a ferramenta de trabalho de eleio de muitos artistas grficos que desenvolvem aplicaes multimdia. Outra vantagem do Processing ser multi-plataforma, uma vez que usa o Java como suporte e como linguagem. Para todos os efeitos, o cdigo produzido em Processing Java, simplificado quando se est a usar o IDE, mas a qualquer momento possvel usar as bibliotecas da API do Java. O Processing exporta as aplicaes criadas para Java Applets que podem correr em vrios sistemas operativos ou, conforme o tipo de aplicao desejado, serem facilmente publicadas online. Um outro IDE semelhante o openFrameworks (url-openFrameworks), este baseado em C++ e tambm assente no mesmo princpio para incitar a criatividade atravs da programao e destinado a criaes visuais e interactivas. Existe tambm uma srie de bibliotecas destinadas a processamento de vdeo e que tm uso por exemplo para interaco em tempo real. Estas bibliotecas incluem o OpenCV (urlOpenCV), JMyron (url-JMyron) e variantes, e Free Frame (url-FreeFrame), entre outras. Com estas bibliotecas possvel colocar efeitos em tempo real sobre vdeo e fazer deteco de formas, cores e movimento atravs de uma simples webcam, que pode ser til para diversos fins, como a interaco e anlise de dados.

35

2.3.4 Ferramentas de Visualizao de Informao

Tambm na rea da visualizao de informao podemos encontrar vrias bibliotecas e frameworks que podem ser usadas das mais diversas formas, e com diferentes tipos de dados. A framework de visualizao Prefuse (url-Prefuse), por exemplo, uma excelente forma de representar grandes volumes de informao.

Figura 2.21 Exemplo de visualizao de dados com o Prefuse

Esta framework descrita em (Heer et al, 2005) apresenta um suporte a um desenvolvimento mais rpido e configurvel, para visualizar informao. A informao pode ser estruturada ou no estruturada, e o Prefuse ao ser configurvel pode adaptar-se s necessidades de vrios sistemas. A visualizao em si pode ter vrias formas de representao, incluindo rvores, grafos de ns e grficos mais simples, conforme os requisitos da aplicao. Contempla uma camada de dados onde a informao colocada, uma camada de abstraco onde esta informao filtrada e passada para objectos visuais e finalmente uma camada de visualizao onde feita a apresentao grfica da informao e dos controlos necessrios para a interface com o utilizador. Esta framework est disponvel como uma biblioteca para Java e pode ser usada para produzir vrias visualizaes diferentes, sendo bastante configurvel. Pode ser visto na Figura 2.21 um exemplo de visualizao de um grupo de utilizadores de uma rede social.

36

Figura 2.22 Exemplo de visualizao com o Skyrails

Na mesma linha de visualizao de informao possvel encontrar o Skyrails (urlSkyrails). O Skyrails uma ferramenta de visualizao para redes sociais e grficos, com a sua prpria linguagem de programao, mas que pode ser estendida atravs de scripts. possvel criar menus e diferentes visualizaes com o Skyrails conforme os dados que queremos visualizar. Em relao ao Prefuse, o Skyrails tem mais impacto visual em determinados contextos, uma vez que o ambiente criado para a visualizao tridimensional (Figura 2.22), em contraste com o 2D do Prefuse.

37

38

Captulo 3 Visualizao e Edio Interactiva e Criativa em Espaos de Vdeo

Neste captulo apresenta-se o trabalho desenvolvido no mbito deste projecto, incluindo a arquitectura do sistema ColorsInMotion, os seus mdulos de anlise Video Analyzer e visualizao Viewer e ainda outro trabalho desenvolvido durante o projecto nas reas de interaco mais natural com espaos de vdeo.

3.1 Arquitectura e Modelo Conceptual

De acordo com a motivao e os objectivos propostos no primeiro captulo, delineou-se um modelo conceptual. Os conceitos mais importantes do sistema ColorsInMotion assentam na visualizao de vdeo, sendo que aspectos relativos interaco, anlise e processamento so tambm importantes, pois ser toda a conjuno destas vertentes que permitir que o sistema oferea uma experincia satisfatria, tanto do ponto de vista do utilizador, com base na recolha e anlise da informao relevante.

Figura 3.1 Arquitectura do sistema

39

A arquitectura do sistema contempla dois mdulos separados concretizados em duas aplicaes distintas com aspectos em comum. Como se pode ver pela Figura 3.1 os vdeos podem vir de cmeras ou de ficheiros e sero introduzidos no sistema atravs do Video Analyzer. Esta aplicao responsvel pela anlise e processamento dos vdeos e produz dados que sero usados pelo Viewer. Esta aplicao, produz visualizaes a partir da informao extrada, permitindo navegar e pesquisar o espao de vdeos constitudo introduzidos no sistema. Em comum estas duas aplicaes tm as estruturas que suportam a informao que passa pelo sistema, tanto os objectos como os ficheiros que contm os dados dos vdeos e dos loops.

3.2 Video Analyzer Processamento e Anlise de Vdeos

De forma a ter dados capazes de suportar a visualizao necessrio extra-los, em primeiro lugar, dos vdeos. Assim preciso passar por uma fase de anlise e processamento de vdeo que faa esta tarefa. Para este fim, foi desenvolvida a aplicao Video Analyzer que ser descrita de seguida, juntamente com alguns conceitos importantes para o contexto da aplicao.

3.2.1 Espaos de Cor

Decidiu-se contemplar dois espaos de cor diferentes, no desenvolvimento deste trabalho, de forma a poder comparar resultados e tirar concluses tambm sobre que espao de cor mais til para fins de visualizao e representao de vdeo. Os espaos de cor que escolhemos suportar foram o RGB e o HSB.

Figura 3.2 Espao de cor RGB

O espao de cor RGB tem trs componentes aditivas: R (Red) para vermelho, G (Green) para verde e B (Blue) para azul, as cores primitivas da luz, s quais o ser humano sensvel. Uma cor neste espao obtida pela soma dos valores destas trs 40

componentes (Figura 3.2). Quando se adiciona o mximo de cada componente obtm-se branco e quando h ausncia das componentes tem-se preto. Sempre que as trs componentes so iguais obtm-se um valor da escala de cinzentos. No RGB, as dimenses relacionam-se com a forma como feita a apresentao atravs de pxeis que emitem luz nestas trs componentes, sendo um sistema de representao da cor mais pensado nas mquinas que nos humanos, em termos de organizao.

Figura 3.3 Espao de cor HSB

O espao de cor HSB, ou HSV, descreve as cores de uma forma mais perceptvel e habitual para os humanos, usando tambm trs componentes: H (Hue) para a tonalidade da cor, S (Saturation) para a saturao da cor e B/V (Brightness/Value) para o brilho ou luminosidade da cor. Este sistema corresponde a uma transformao no sistema de coordenadas em relao ao RGB e pode ser representado graficamente por um cilindro onde a luminosidade varia com a altura, cores escuras na base sem luminosidade (preto na base do eixo central) e cores claras no topo com muita luminosidade (branco no topo do eixo central); a saturao varia com o afastamento do centro do cilindro, a cor muito saturada na extremidade e pouco saturada (escala de cinzentos) no centro; e o tom da cor dado pelo ngulo em volta do eixo central. Assim, medida que se andar volta do cilindro, a cor muda passando pelo espectro todo. Note-se tambm que devido fraca percepo das cores escuras pelos humanos esta representao pode tambm ser um cone invertido, descartando assim as cores em volta do eixo central medida que se desce em luminosidade ao longo desse eixo (Figura 3.3). Com base nestes dois espaos de cor foram feitas diferentes quantizaes e organizaes que sero explicadas na seco seguinte. 41

Quantizao dos Espaos de Cor Para alterar entre RGB e HSB no Video Analyzer, o utilizador deve pressionar a tecla de espao, no Video Analyzer, ou a tecla L, no Viewer. Conforme o espao de cor que est seleccionado, os resultados da anlise e processamento sero diferentes, uma vez que a quantizao do espao para a criao dos histogramas diferente. No espao de cor RGB optou-se por uma quantizao uniforme. Quer isto dizer que existe o mesmo nmero de contentores, representativos de intervalos, para cada componente. O espao de cor assim dividido no nmero especificado de intervalos, e quando feita a anlise de cores no vdeo, a cor analisada, enquadrada num dos intervalos. Consideremos um exemplo prtico. Num espao de cor RGB com 24 bits teremos 256 valores diferentes de cor para cada componente, totalizando cerca de 65 milhes de cores diferentes. Se s tivermos 8 contentores para cada componente, vamos reduzir drasticamente o nmero de cores para 512 e teremos um intervalo a cada 32 valores de cada componente da cor. Assim uma cor que tenha os valores RGB (240, 12, 45) ser enquadrada no intervalo (7, 0, 1) atravs da diviso por 32. Este tipo de organizao embora eficaz do ponto de vista tcnico, no eficaz quando se tenta agrupar cores por semelhana, por exemplo de luminosidade, uma vez que aqui as componentes esto co-relacionadas em relao esta propriedade da cor. Este tipo de organizao por luminosidade importante, por exemplo, para poder agrupar cores muito escuras que dificilmente so distinguidas pelas pessoas. De forma a contornar algumas destas dificuldades de organizao implementou-se tambm o sistema de cor HSB. Neste sistema, a quantizao usada deixa de ser uniforme. Aqui usaram-se 18 contentores para a componente H, e 4 para as componentes S e B, tendo em conta o trabalho relacionado estudado. No entanto, o utilizador tambm poder definir o nmero de contentores a utilizar para cada componente. Assim, usando a configurao por defeito, determina-se logo partida que o valor da cor tem um maior peso na percepo da semelhana de cores. Por outro lado, sabido que o olho humano mais sensvel ao brilho que prpria cor, portanto estabeleceram-se algumas regras de organizao do espao que fizeram com que este diminusse, descartando algumas cores. Estas cores descartadas so as cores pouco saturadas e as cores muito escuras. Assim, sempre que o valor de saturao de uma cor est abaixo de um limiar, usa-se apenas o valor da luminosidade para determinar a cor, aproximando-a escala de cinzentos. De forma anloga sempre que a luminosidade de uma cor est abaixo de um limiar tambm aproximada a preto, espelhando a pobre capacidade de distino de cores escuras do olho humano. Na escala de cinzentos so consideradas 4 cores: preto, cinzento escuro, cinzento claro e branco. A estas juntam-se mais 162 cores na gama de maior luminosidade e saturao totalizando 166 cores. 42

Ao oferecer os dois espaos de cor no Video Analyzer, o utilizador pode comparar os resultados e decidir qual quer utilizar em diferentes situaes. Nas experincias conduzidas, o HSB ofereceu uma melhor percepo na pesquisa de cores dominantes, uma melhor organizao do espao tornando os histogramas de cor mais representativos em funo das cores dominantes e obtendo melhores resultados ao agrupar as cores semelhantes quando se criam histogramas de cor.

3.2.2 Anlise de Cores

O Video Analyzer, acima de tudo, um analisador de vdeos. Como propriedade principal a ser analisada foi escolhida a cor. Esta escolha prende-se com o facto da cor ser uma propriedade visual relevante e ao mesmo tempo bastante perceptvel, uma vez que um vdeo no mais que uma matriz organizada no espao de cores a variar no tempo. Complementada com a informao relativa ao movimento no vdeo oferece uma boa representao do contedo deste.

Figura 3.4 Exemplo de anlise de um vdeo no Video Analyzer

Para se efectuar a anlise, em primeiro lugar h que carregar o vdeo. A interface de carregamento do vdeo na aplicao simples, bastando arrastar o ficheiro do vdeo que se deseja analisar para dentro da janela da aplicao. Note-se que devido escolha do ambiente Processing para desenvolvimento da aplicao, a biblioteca de processamento de vdeo includa suporta apenas o formato Apple QuickTime. Uma vez estando o vdeo carregado, podemos visualiz-lo no canto superior esquerdo. A informao sobre o seu ficheiro, a sua resoluo e durao so apresentadas no topo da janela, direita do vdeo.

43

Para iniciar a anlise do vdeo, basta seleccionar o boto Play na aplicao e o vdeo imediatamente comear a ser apresentado e ao mesmo tempo analisado. Com os botes Pause e Stop podemos, naturalmente, pausar e parar o vdeo e, consequentemente, a anlise. Note-se que com o boto Stop feita uma reinicializao anlise e quando se seleccionar Play ela comear do incio, enquanto que com o boto Pause a anlise suspensa e continuar assim que seja seleccionado o boto Play.

Figura 3.5 Detalhes do vdeo (no topo da janela na Figura 3.4)

Anlise de Cor Mdia O primeiro tipo de anlise de cor que efectuado a anlise da cor mdia do vdeo. A cor mdia em muitos casos um bom representante da cor do vdeo, nomeadamente quando no existe grande varincia de cor. No entanto, em casos em que temos uma frame totalmente vermelha e de seguida uma totalmente verde, a cor mdia resultante da anlise destas frames iria ser uma cor acastanhada que no aparece no vdeo e portanto no iria ser perceptvel para um utilizador. A maneira como calculada a cor mdia do vdeo fazendo para cada frame a mdia de todas as componentes do espao de cor (RGB ou HSB) e dividindo-as pelo nmero de pxeis. Depois, esses valores so acumulados, e no final da anlise faz-se a diviso pelo nmero de frames, obtendo-se assim a mdia final de cada componente no vdeo. A cor mdia de cada frame pode ser vista numa visualizao ao estilo de uma linha temporal, que construda em tempo real e que oferece uma vista do vdeo ao longo do tempo em relao sua cor mdia (primeira barra horizontal na Figura 3.4). No final, apresentado tambm um quadrado, junto rea dos detalhes, preenchido com a cor mdia resultante (Figura 3.6).

Figura 3.6 Cor mdia nos detalhes do vdeo (no topo da janela na Figura 3.4)

Anlise de Cores Dominantes Outro tipo de anlise de cor que feito a anlise das cores dominantes do vdeo. A cor dominante um indicador bastante perceptvel, que muitas vezes mais facilmente relacionado com a representao do vdeo do que a cor mdia, uma vez que

44

estas cores aparecem durante o vdeo. De forma a conseguir efectuar este tipo de anlise usaram-se histogramas de cor. Os histogramas de cor so uma tcnica bastante usada para anlise e processamento de imagem e vdeo, como podemos constatar pelo trabalho relacionado apresentado na seco 2.2.3. No fundo, estes histogramas representam a distribuio de cores numa imagem, contando a cor de cada pixel e isso que feito tambm aqui, na anlise de vdeo. No caso do espao de cores RGB, o histograma inicializado com o nmero de contentores que o utilizador quiser. Estes contentores determinam a quantizao do espao de cor, definindo o nmero de cores individuais que iremos ter nos resultados. No entanto, com muitos contentores, o que resulta em muitas cores individuais, a aplicao poder ter menor desempenho em tempo real. No caso do espao de cores HSB, a quantizao por defeito tem em conta o estudo efectuado na rea de processamento e anlise de vdeo, mas tambm pode ser configurada pelo utilizador, como j foi descrito na seco Quantizao dos Espaos de Cor. So criados trs histogramas diferentes com finalidades diferentes, que se descrevem em seguida. O histograma das cores dominantes por contagem de pxeis o mais tradicional e criado custa da contagem de todos os pxeis de todas as frames do vdeo, marcando no histograma na cor correspondente, cada ocorrncia dessa cor num pixel. Este tipo de histograma d ao utilizador um panorama preciso das cores dominantes reais no vdeo em toda a sua durao, mesmo que algumas no sejam dominantes ao nvel das frames e possam passar despercebidas. O segundo histograma a ser criado o histograma de cores dominantes por contagem de frames. Este tipo de histograma menos usual, e d uma perspectiva diferente do primeiro, mais perceptvel para o utilizador, principalmente para vdeos com poucas cores. Este histograma calculado criando um histograma temporrio para cada frame onde se contam as cores dos pxeis. A partir deste histograma temporrio obtemos ento a cor mais dominante, descartando todas as outras cores. Assim sendo, no final, este histograma tem apenas as ocorrncias das cores que dominam mais a nvel das frames individuais, que podero ser cores bastante evidenciadas durante o vdeo. Finalmente o terceiro histograma que criado o histograma de percentagens de predominncia das cores dominantes. Este histograma obtm-se com as cores que j sabemos que so as dominantes, onde para cada uma destas cores se guardam as percentagens relativas de predominncia, quando so dominantes na frame. No final, feita uma normalizao pelo nmero de frames, para obter uma percentagem para todo o vdeo. Assim, a informao deste histograma complementa bem a informao do histograma das cores dominantes por frame, uma vez que podemos ver a percentagem 45

de tempo do vdeo que uma cor domina, e tambm a percentagem de espao no ecr que ela domina. Importa salientar que existem duas noes distintas de predominncia das cores, uma espacial, qual o espao ocupado pela cor quando aparece, e uma temporal, durante quanto tempo do vdeo esta cor aparece como dominante. Em baixo, podemos ver uma implementao genrica de um histograma de cor. int hist[256][256][256]; //image is an appropriate struct //with byte fields red, green, blue for i=0..(MAX_Y 1) for j=0..(MAX_X 1) { R = image[i][j].red; G = image[i][j].green; B = image[i][j].blue; hist[i][j]++; } Como esta anlise por histogramas tambm ocorre em tempo real, medida que o vdeo apresentado, semelhana da visualizao da evoluo da cor mdia, tambm mostrada uma linha temporal onde se pode ver a cor dominante em cada frame, oferecendo mais uma visualizao do vdeo ao longo do tempo (segunda barra horizontal na Figura 3.4). No final da anlise, os trs histogramas so transformados em grficos de barras para apresentao, tendo cada barra a cor a que corresponde e uma altura que reflecte o nvel de predominncia (Figura 3.7). O nmero de cores que apresentado no histograma controlado por um parmetro que deixa escolher a que profundidade se devem procurar as cores dominantes para apresentao. Tambm possvel fazer anlise de vdeo a partir de uma cmera, em tudo idntico anlise de ficheiros de vdeo. Todos estes dados so guardados para ficheiros de texto em disco, para uso posterior quando o utilizador selecciona o boto Save. Estas diferentes mtricas tambm podem ser comparadas, para ajudar a encontrar a melhor representao de cor para o vdeo. Em vdeos onde algumas cores assumem 46

relevncia ao nvel das frames, a contagem das cores dominantes por frame aparece, naturalmente, como uma boa mtrica, uma vez que estas cores so naturalmente associadas percepo das cores dominantes, enquanto se v o vdeo. Em vdeos heterogneos, com muitas cores, a predominncia das cores nas frames perde importncia uma cor pode aparecer muita vez mas nunca ser dominante numa frame. Neste caso, ao contar todos os pxeis em cada frame do vdeo temos maior preciso para obter as cores dominantes, com algumas reservas. Estas incluem, tipicamente, ter demasiadas cores dominantes, muito perto umas das outras em termos percentuais, para que alguma possa realmente sobressair em relao s outras.

Figura 3.7 Grficos de barras com os resultados dos histogramas de cor

Para percebermos se um vdeo tem muitas cores dominantes usada a mtrica da percentagem de predominncia das cores mais dominantes. Se houver uma percentagem muito alta um indicador que essa cor muito dominante ao nvel do espao e portanto o vdeo no ter muitas cores dominantes, quando essa cor domina. Aliando esta informo contagem de cores por frames, que nos indica ao longo do tempo quais as mais dominantes, conseguimos obter um panorama de predominncia de cor do vdeo que pode ser usado numa perspectiva de sumarizao.

3.2.3 Anlise e Visualizao de Movimento

Outra propriedade significativa, para a visualizao dos vdeos, o seu movimento. Uma tcnica que j tem sido usada (Tang et al, 2009) e produz resultados interessantes o slit scanning. Esta tcnica consegue representar numa imagem um resumo do vdeo, tirando a coluna do meio de cada frame e concatenando por ordem de ocorrncia, ficando portanto no final uma imagem com a largura correspondente ao nmero de 47

frames do vdeo. No Video Analyzer so construdos slit scans de cada vdeo analisado, em tempo real. O slit scan pode ser visto a evoluir por baixo das linhas temporais da cor mdia e da cor dominante (Figura 3.4). O slit scan consegue representar movimento no vdeo e podemos observar tambm mudanas de cena e assim apercebermo-nos e identificarmos o contedo do vdeo, atravs deste resumo (Figura 3.8).

Figura 3.8 Exemplo de imagem em slit scan

Para alm do slit scan, tambm produzida durante a anlise uma outra imagem que captura movimento, esta por construo acumulativa das mdias de cores dos pxeis em cada posio. No final, o resultado assemelha-se ao que poderia ser chamado uma impresso digital do vdeo. Esta imagem tem a particularidade de escurecer quando existe muito movimento em cenrios contrastantes, e os melhores resultados so obtidos em vdeos com pouco movimento, assemelhando-se a imagem a uma pintura impressionista (Figura 3.9). Ao longo da anlise e enquanto se fazem os clculos para produzir esta imagem, so feitos outros clculos, estes de comparao com a imagem anterior. Assim, quando existe uma grande diferena de cores entre frames sucessivas (controlada por um parmetro que define um limiar para esta diferena), assinala-se uma mudana de cena e sucede-se a imagem corrente com uma nova imagem para as mdias da nova cena. Esta uma forma simples de deteco de cenas. Alguns dos resultados conseguem mostrar de facto quando existe movimento ou mudana de cena, sendo dada ao utilizador a possibilidade de ajustar parmetros para melhor deteco de cenas em diferentes partes do vdeo de acordo com a natureza das imagens. Estas imagens sero usadas para construir loops de vdeo, permitindo visualizar um resumo do vdeo que captura o movimento e contedo das suas cenas ao longo do tempo.

Figura 3.9 Exemplo de figuras criadas a partir da mdias das cores dos pxeis acumulada em cada posio

48

Mais uma vez, todas as imagens e dados so guardados em ficheiros no disco sempre que se selecciona o boto Save.

3.2.4 Extraco de Loops de Vdeo para Visualizao e Resumo

Uma das funcionalidades do Video Analyzer a extraco de loops dos vdeos para efeitos de visualizao e resumo. Estes loops podem ser de vrios tipos e so criados em alturas diferentes da utilizao da aplicao. O primeiro tipo o loop tradicional de vdeo, que retirado tendo em conta apenas um intervalo temporal. Este tipo de loop o mais usual em aplicaes que usem loops para resumo de vdeos. criado durante a anlise do vdeo, sem qualquer interferncia do utilizador, excepto para indicar o nmero mximo de imagens atravs da configurao de um parmetro. A maneira como so extradas as imagens para criar este loop simples, bastando saber quantas imagens se quer tirar, e depois fazer a extraco das frames de forma sequencial em intervalos de tempo uniformes. Este loop oferece uma vista peridica do contedo do filme ao longo do tempo. Outro tipo de loop que criado na fase de anlise o loop de cenas. Este loop usa as imagens de cor mdia retiradas de cada vez que se detectam mudanas abruptas de cor, em frames consecutivas, como explicado na seco anterior. Este loop d ao utilizador uma vista que representa o movimento das cenas ao longo do vdeo. Existem ainda mais dois tipos de loops que so criados numa fase ps-anlise. Uma vez terminada a anlise do vdeo, so apresentados ao utilizador os vrios resultados da anlise de cores e movimento, como discutido nas seces anteriores. Nesta fase, possvel extrair loops por cor mdia e por cor dominante, uma vez que j foram criados os dados necessrios para poder extrair este tipo de loops. A extraco faz-se analisando de novo o vdeo frame a frame, e seleccionando as frames cuja cor mdia, ou dominante, se aproximam mais (de acordo com um limiar especificado). Estes loops permitem ter um resumo do vdeos baseado em imagens que so representativas do seu contedo e das suas cores mais significativas. Para o utilizador criar estes loops, escolhe no menu de tipos de loop qual o loop que quer tirar e depois selecciona o boto Screenshots, podendo naturalmente configurar previamente os parmetros para o nmero de imagens e percentagem mnima de predominncias, no caso do loop por cor dominante. Existe ainda mais um tipo de loop no menu que pode ser escolhido, que o loop por cor escolhida. Este tipo de loop extrado de forma idntica aos loops por cor dominante, mas aqui o utilizador acede a uma paleta de cores para escolher uma cor, e ao seleccionar o boto Screenshots, o sistema vai tentar criar um loop com imagens extradas pela cor seleccionada. Em alternativa paleta, o utilizador pode seleccionar 49

qualquer cor apresentada nos grficos de barras, visualizaes de linha temporal das cores, imagem em slit scan ou da imagem da cor mdia dos pxeis ao longo do tempo, simplesmente clicando sobre esse local. Estes loops baseados na cor oferecem vistas alternativas sobre os vdeos com base nas suas cores que servem com resumos e pr-visualizaes. Todos os loops so gravados e relacionados com os vdeos e imagens ao seleccionar o boto Save.

3.2.5 Parmetros para Configurao do Processamento e Anlise

Antes de iniciar uma anlise, podemos configurar alguns parmetros que passamos a descrever:

Figura 3.10 Parmetros no Video Analyzer

SPEED Este parmetro controla a velocidade a que o vdeo tocado e tambm analisado, uma vez que no Video Analyzer, a anlise toda feita em tempo real. Se for colocada uma velocidade muito alta, corre-se o risco de perder dados, uma vez que o tempo entre frames no ser suficiente para efectuar toda a anlise necessria. HISTOGRAM_BINS Controla o nmero de contentores usados para criar o histograma de cores. PICTURES Controla o nmero mximo de imagens desejadas nos loops de imagens que so criados a partir do vdeo. THRESHOLD Quanto mais alto for este limiar mais tolerante ser a seleco das frames por comparao de cor. Quanto menor, mais precisa ser a seleco e consequentemente, os loops, mas mais difcil ser extrair um nmero significtivo de imagens para o constituir. Este valor tambm usado na deteco de cenas, nos loops de mdias de cenas. DOMINATION_PCT Este parmetro indica, em percentagem, o valor mnimo que uma cor tem que ser dominante numa frame para que essa 50

imagem seja considerada para extraco e incluso num loop por cor dominante. NUMBER_COLORS Parmetro que controla o nmero de cores que se quer ver representadas nos grficos.

Com estes parmetros (Figura 3.10), podemos controlar o processo de anlise e influenciar os dados extrados e por sua vez influenciar as visualizaes criadas.

3.2.6 Estruturas Utilizadas para Guardar os Dados de Suporte ao Vdeo

Naturalmente que toda a informao que extrada desta anlise e processamento tem que ser armazenada, tanto em memria como em disco. De forma a guardar em memria todos os dados relacionados com os vdeos, foi criada uma estrutura chamada VideoObject. Para guardar os dados relacionados com a criao dos loops existe uma estrutura chamada Loop. Estas duas estruturas de dados so relacionadas entre si usando elementos de identificao, como o nome do ficheiro do vdeo, e os tipos de loops que existem, combinados de forma a criar identificadores nicos. Finalmente existem ainda dois ficheiros criados para guardar todos estes dados em disco para uso posterior. Estes ficheiros so criados gravando a informao para texto e concatenando-a. So usados separadores para a criao e posterior leitura destes ficheiros. Optou-se por esta forma de anotao dos dados por uma questo de simplificao. No futuro sero consideradas abordagens baseadas em normas de classificao de informao multimdia, como os formatos MPEG-7 e XML, bem como o uso de bases de dados. Tambm poder ser considerada uma eventual adopo de servios Web para acesso a informao como no caso do YouTube. As estruturas de dados de suporte ao vdeo so descritas em maior pormenor no Anexo A.

3.3 ColorsInMotion Viewer Visualizao Interactiva do Espao de Vdeos

Uma vez recolhida a informao sobre os vdeos, esta poder ser usada para criar diferentes vistas interactivas no espao de vdeos. Neste contexto surge o ColorsInMotion Viewer, uma aplicao interactiva para visualizar e explorar vdeos baseando-se principalmente nas propriedades de cor e movimento, conforme a anlise feita anteriormente. Permite ao utilizador pesquisar, navegar, comparar e interagir com os vdeos do espao de vdeos seja a nvel colectivo ou individual, atravs de diferentes perspectivas.

51

3.3.1 O Espao de Vdeos Representao e Vistas

A representao do espao de vdeos um dos aspectos mais importantes deste trabalho. As vrias formas de visualizao estudadas, serviram de influncia para criar uma representao, e ao mesmo tempo organizao, de coleces de vdeos. Desta forma, explorando os dados extrados pelo Video Analyzer, foram criadas diferentes vistas para o espao de vdeos, com nfase nas propriedades da cor e movimento dos vdeos.

Figura 3.11 Vista dos loops tradicionais de vdeo

Como formas de representao dos vdeos foram escolhidos os loops criados no Video Analyzer. Assim a qualquer momento, o espao de vdeos poder ser representado pelos quatro tipos diferentes de loops: os loops de vdeo tradicionais, assentes em intervalos temporais; os loops por cor mdia; os loops por cor dominante e os loops de cenas. Estes loops so apresentados no ecr no seu tamanho original e a sua localizao e interaco uns com os outros depende da semelhana de cor que ser descrita na seco seguinte. Os loops por cores, dominantes ou mdia, oferecem uma perspectiva sumarizada mais representativa das cores do vdeo, enquanto que os loops por espaamento temporal e de cenas oferecem um resumo do vdeo, colocando mais nfase no movimento. 52

Figura 3.12 Vista dos loops de cenas no espao de vdeos

Na vista por loops, so apresentadas as imagens extradas do vdeo no Video Analyzer em ciclo como se pode ver na Figura 3.11 e na Figura 3.12. Esta vista fornece ao utilizador informao sobre o contedo, sobre as cores que pode encontrar no vdeo e tambm sobre o movimento existente no vdeo, conforme o tipo de loop em questo. Para alm da representao do espao de vdeo em loops possvel ainda ver diferentes vistas. A segunda vista apresenta rectngulos preenchidos com as cores dominantes do vdeo, por contagem de frames. Estas cores esto organizadas no preenchimento por ordem descendente de predominncia, da esquerda para a direita, formando fitas com a largura proporcional sua percentagem de predominncia nas frames individuais ao longo do vdeo, como se pode ver pela Figura 3.13. Esta vista oferece uma representao das cores dominantes do vdeo, organizada em termos de proporo.

53

Figura 3.13 Vista dos rectngulos preenchidos com as cores dominantes

Figura 3.14 Vista dos crculos preenchidos com as cores mdias

A terceira vista uma visualizao em forma de crculos. Esta visualizao est 54

dependente da mtrica escolhida para a representao, pois os crculos so preenchidos com a cor resultante, que pode ser a cor mdia ou dominante. Portanto, para a cor mdia, vamos ter um conjunto de crculos preenchidos com a cor mdia do vdeo e para a cor dominante os crculos so preenchidos com a cor dominante do vdeo respectivo (Figura 3.14). Com esta vista temos maior nfase nas cores presentes nos vdeos.

Figura 3.15 Vista de slit-scans no espao de vdeos

A quarta vista em slit scan. Nesta vista so apresentados slit scans condensados para um tamanho padro e que podem ser expandidos para visualizao completa (Figura 3.15). Como discutido anteriormente, os slit scans oferecem numa imagem um resumo do contedo, evidenciando movimento do vdeo atravs da captura da seco central de cada frame, e as cenas do vdeo, atravs das mudanas abruptas que ocorrem horizontalmente na imagem.

55

 semelhana desta vista em slit-scan, temos as ltimas duas vistas, que apresentam o panorama ao longo do vdeo da cor mdia e da cor dominante em cada frame (Figura 3.16). Estas imagens so apresentadas de forma condensada e podem ser expandidas de forma idntica ao que acontece na vista por slit-scan. Nesta vista tambm podem ser observadas mudanas de cor que podem indicar movimento e mudanas de cena no vdeo e oferecendo um panorama geral das cores do vdeo ao longo da sua durao

Figura 3.16 Vista das linhas horizontais com a cor dominante ao longo do vdeo

3.3.2 Vdeos ao Nvel Individual

Foi criada uma vista onde pode ser visualizado o vdeo juntamente com as suas vistas diferentes, oferecendo vrias perspectivas do vdeo ao mesmo tempo. Quando o utilizador se encontra no espao de vdeos pode seleccionar a representao do vdeo pretendido (um loop, crculo, rectngulo ou slit scan) para ser levado para a vista de detalhes do vdeo. Nesta vista (Figura 3.17) o vdeo o elemento central da composio do ecr, sendo mostrado em ciclo. A acompanhar o vdeo, temos as vrias vistas que podem ser encontradas na aplicao. Em cima temos as vistas criadas a partir da informao da cor. Do lado esquerdo temos o loop criado por cor mdia e um crculo preenchido com a 56

cor mdia do video, neste caso prpura. Ao centro temos o rectngulo com a composio das cores dominantes do vdeo, seguido de um crculo preenchido com a cor dominante do vdeo e o loop extrado pela cor dominante, um vermelho acastanhado. Em baixo na mesma linha do vdeo, temos, do lado esquerdo, o loop tradicional do vdeo criado a partir de intervalos temporais regulares. Do lado direito apresentado o loop de cenas, com as imagens que acumulam as cores mdias dos pxeis em cada posio. Finalmente, em baixo temos as vistas das evolues das cores mdia e dominantes, ao longo vdeo, bem como a vista em slit scan com uma barra de deslizamento horizontal de forma a que, se as imagens no couberem no tamanho do ecr, possam ser vistas na totalidade.

Figura 3.17 Vista individual de um vdeo

Nesta vista, os utilizadores obtm perspectivas complementares do vdeo. Se seleccionarmos qualquer uma destas vistas, somos levados para o mundo do espao de vdeos global, constitudo pela vista que acabou de ser escolhida, fazendo a ponte para uma integrao entre o espao colectivo e individual de vdeo, podendo tambm comparar vdeos segundo a perspectiva seleccionada, por exemplo, em relao ao movimento atravs dos slit scans. 57

3.3.3 Pesquisas no ColorsInMotion

O ColorsInMotion Viewer permite ao utilizador fazer pesquisas no espao de vdeos usando a informao recolhida sobre a cor. Assim, podem ser feitas pesquisas por cor mdia ou por cor dominante. Basta seleccionar no menu de pesquisa qual a pesquisa que se quer efectuar. Para seleccionar a cor para a pesquisa, o utilizador dispe de uma interface, a partir da qual pode escolher a cor desejada de uma paleta, ou em alternativa do mundo real atravs de uma cmera. Basta para isso seleccionar o boto que liga a cmera e depois escolher uma cor seleccionando a rea respectiva, onde apresentada a imagem vinda da cmera (Figura 3.18). No caso de se desejar fazer uma pesquisa mais aprofundada, existe outro tipo de pesquisa: a pesquisa por percentagens. Este tipo de pesquisa deixa seleccionar at trs cores e adicion-las composio da pesquisa. Cada cor dispe de uma escala onde se dever ajustar o valor mnimo da predominncia da cor que o vdeo deve conter, em percentagem. Este tipo de pesquisa permite obter resultados mais precisos fazendo uso dos mecanismos de pesquisa de cores dominantes. Em todos os casos possvel ajustar um limiar de proximidade para refinar a pesquisa. A vista onde os resultados so apresentados a mesma vista em que a pesquisa foi feita, ou seja por cor mdia ou dominante, conforme seja pesquisa por cor mdia ou dominante.

Figura 3.18 Exemplo da interface de pesquisa enquanto usada uma cmera

A organizao com que os vdeos so apresentados pode ser vista como mais um nvel de pesquisa, pois agrupa os vdeos por cores. Esta organizao depende das foras criadas entre as partculas que representam os vdeos e deslizam no ecr, e que tm em conta a semelhana de cores. Assim, observando a evoluo do sistema medida que as partculas semelhantes se juntam, ou interagindo reposicionando partculas e alterandolhes a velocidade, possvel pesquisar atravs da organizao do espao de uma forma visual. Existe ainda um outro tipo visualizao apenas acessvel atravs de uma pesquisa: o mosaico de vdeos. Este tipo de vista, resultante da pesquisa de cores, explora a tcnica de formao de imagens maiores a partir de elementos menores mas reconhecveis individualmente num interessante efeito visual. Para fazer uso desta 58

funcionalidade, o utilizador dever arrastar uma imagem para a janela do ColorsInMotion Viewer, e automaticamente ser efectuada uma pesquisa pelos loops de vdeo que mais se adequam cor de regies da imagem. A pesquisa feita por cor dominante ou cor mdia. Este tipo de visualizao pode conter mltiplas camadas de imagens perceptveis e tem particular interessante em usos comerciais, culturais e artsticos. Para substituir a imagem original pelos mosaicos encontrados basta pressionar a tecla M. Se for pressionada novamente a tecla M o mosaico escondido e mostrada a imagem original.

3.3.4 Criatividade Interactiva com Cor em Movimento

No seguimento da pesquisa efectuada sobre criatividade, criou-se um sistema de forma a suportar a expresso desta, atravs de uma mistura de incerteza e controlo na interaco com o utilizador. Cada loop, crculo, rectngulo ou slit scan que apresentado no espao de vdeos corresponde a uma vista de um vdeo. Para alm disso, cada uma destas unidades uma partcula de um sistema fsico que usado para criar interaco no espao de vdeos. Este sistema fsico de partculas foi desenhado de forma a que houvesse uma interaco no s com o utilizador mas tambm entre os vdeos, numa mistura de imprevisibilidade e controlo do utilizador que visa estimular e suportar a criatividade e que serve ao mesmo tempo como uma forma de pesquisa por organizao. Assim, cada partcula tem propriedades como massa, velocidade e foras. A massa das partculas pode ser usada para que, numa pesquisa, os resultados que so mais aproximados cor desejada sejam representados por partculas mais pesadas. Quando se navega no espao de vdeos completo, sem efectuar pesquisas, as massas so todas iguais. Cada partcula no incio do sistema comea com velocidade aleatria e numa posio aleatria. Este incio do sistema pode ser forado, reiniciando-o, e criado sempre que se faz uma nova pesquisa. Definida a massa, velocidade e posio de cada partcula, necessrio criar as foras que so o que realmente ir tornar o sistema dinmico e fazer com que seja possvel interagir com ele. As foras so definidas tendo em conta a informao da cor extrada da anlise dos vdeos. Assim, numa representao de loops por cor mdia, as partculas/loops sero atradas ou repelidas entre si conforme a semelhana de cores mdias. Se as cores forem bastante semelhantes, por exemplo, diferentes saturaes ou tons de azul, as partculas iro atrair-se e tero tendncia para formar um grupo de azuis. Caso sejam cores diferentes iro repelir-se, movendo-se para zonas distantes. Para loops por cor dominante, a informao de cor usada , naturalmente a cor dominante. Para os

59

loops tradicionais e para os loops por cenas usada tambm esta informao de cor dominante. De forma a que as partculas se mantenham no ecr, foram criadas colises com as fronteiras do ecr. Sempre que uma partcula colide com a fronteira do ecr volta para trs com 90% da velocidade com que chegou. Tambm foi introduzida uma pequena fora de atrito no sistema para no tornar o movimento das partculas perptuo. Para que as partculas se possam movimentar livremente em qualquer direco no foi introduzida gravidade no sistema. Desta maneira, no incio da evoluo do sistema iro existir muitas interaces e colises, mas com a passagem do tempo, o sistema ir tender a estabilizar, organizando-se em grupos de cores semelhantes.

Figura 3.19 Exemplo de criao com os rastos dos crculos de cor mdia

A qualquer momento, o utilizador pode interagir com o sistema seleccionando uma partcula e arrastando-a, dando-lhe velocidade e observando a interaco produzida com as outras partculas. A tendncia que ao longo do tempo se formem grupos de cores no ecr, como j foi referido, dando uma forma de pesquisa visual e organizao do espao de vdeos ao utilizador. possvel ligar ou desligar o efeito de arrasto. Os utilizadores podem assim, interagir com o sistema arrastando as partculas e criando visualizaes que se assemelham a pinturas abstractas como pode ser visto na Figura 3.19, fazendo uso de algum grau de imprevisibilidade do sistema, de forma a suportar a expresso da 60

criatividade visual. Este efeito de arrasto pode ser usado em qualquer visualizao, e o utilizador pode experimentar criar efeitos visuais com as diversas formas que existem para representar os vdeos. Para complementar a visualizao possvel controlar o grau de zoom do sistema, atravs das operaes de zoom in e zoom out. O utilizador tambm pode influenciar a criao das visualizaes que capturam a cor e o movimento apresentadas no ColorsInMotion Viewer, atravs dos parmetros de configurao do processo de anlise de vdeo, no ColorsInMotion VideoAnalyzer, como o limiar de proximidade de cores. Uma das criaes resultante desse processo so as imagens com a cor mdia dos pxeis acumulada, que permite fazer deteco de cenas. Estas imagens tm uma esttica impressionista e capturam a cor e o movimento do vdeo e podem ser vistas na Figura 3.9. No contexto cultural do ColorsInMotion, so particularmente interessantes para observar os movimentos das danas e dos msicos em palco. O utilizador pode alterar as vistas de forma cclica, sem que isso afecte a evoluo do sistema. Tambm existe a opo de optar por outro tipo de loops para a representao do espao de vdeos. A listagem dos comandos para interagir no ColorsInMotion pode ser encontrada no Anexo B - Lista de Comandos.

3.3.5 Interaco com Cor e Movimento

O ambiente de apresentao do ColorsInMotion pode ser um computador normal, equipado com os perifricos necessrios interaco, como o teclado, o rato e uma webcam, mas para ser apresentado em ambiente de instalao possvel correr a aplicao em modo de ecr inteiro. Tambm possvel correr o ColorsInMotion a partir de uma pgina Web, atravs de uma Java Applet, abrindo as portas utilizao de recursos online, como os servios Web de sistemas de partilha de vdeo como o YouTube, ou outros repositrios de vdeo online. O tipo de interaco no ColorsInMotion Viewer prev a utilizao do rato e do teclado para efectuar todas as tarefas. A interaco com rato e teclado mais adequada para realizar operaes rapidamente, ou para utilizadores experientes que necessitem de preciso nos comandos, como em cenrios de VJing. No entanto, esto em estudo e desenvolvimento outras modalidades, como a interaco por deteco de cor, que poderia ser usada num contexto de criatividade ao desenhar pinturas com os vdeos. Usando a deteco por cor, seria possvel reorganizar o espao de vdeos com base numa cor pr-definida, apresentada pelo utilizador na forma de um objecto para uma webcam. Os vdeos iriam interagir entre eles tendo em conta a nova cor e a posio dela em relao webcam, criando assim outra modalidade de interaco e organizao do espao de vdeos. 61

Outra modalidade de interaco que est em desenvolvimento a interaco gestual, que tambm ser til para uma interaco mais natural em contextos de instalao, onde se tenta oferecer ao utilizador uma experincia mais imersiva. Esta interaco j foi desenvolvida e testada para o VideoSpace onde foi feito um mapeamento de gestos em aces. Esta forma de interaco pode tambm ser usada no ColorsInMotion. Estas modalidades baseadas na cor e movimento que se apresentam com mais destaque na seco seguinta, podem oferecer uma experincia mais natural num ambiente de instalao, fazendo tambm a ponte entre a maneira como se interage e a informao que se est a ver, ambos baseados em cor e movimento.

3.4 Interaco Experincias

A interaco com o rato e teclado pode ser adequada para a maioria das situaes, por exemplo para utilizadores experientes ou em cenrios de Vjing, onde necessrio que exista rapidez e preciso na seleco das aces. No entanto de forma a oferecer uma experincia mais imersiva e direccionada para ambientes de instalao foram desenvolvidas outras formas de interaco. Para desenvolver novas formas de interaco sem recurso a dispositivos de entrada, como teclado e rato, e na tentativa de providenciar uma experincia mais imersiva ao utilizador, a rea de viso por computador e processamento de imagem em tempo real so teis. Como primeira experincia, foi desenvolvida uma nova funcionalidade para o trabalho VideoSpace (Rocha & Chambel, 2008). Esta funcionalidade pretende oferecer uma nova forma de interaco com o utilizador, baseada na deteco de cor. O utilizador pode usar umas luvas, ou qualquer outro objecto, com uma cor prdeterminada e semelhante calibrada, de forma a interagir com a aplicao realizando algumas aces ao nvel da navegao no mundo tridimensional. Este tipo de interaco adequado a instalaes artsticas, e o VideoSpace um bom candidato para uma situao destas, uma vez que j oferece um ambiente de visualizao tridimensional e portanto torna mais fcil a transio do real para o virtual, tornando a experincia do utilizador/espectador mais imersiva. Foram feitas experincias usando vrias bibliotecas de viso por computador como o OpenCV (urlOpenCV). Foram realizados alguns testes com deteco de faces e olhos, mas achou-se que no seriam muito indicados para a interaco desejada. Decidiu-se ento por uma interaco mais em linha com o tema do trabalho em si, aproximando o contedo do trabalho tambm forma como se interage com ele, atravs de cores, fazendo deteco de uma cor escolhida e calibrada em regies do ecr, atravs de uma cmera.

62

Para o efeito foi utilizada a biblioteca JMyron (url-JMyron) disponvel para Processing/Java. Esta biblioteca permitiu fazer, a partir de uma webcam, deteco de pontos de cor, que combinados podem formar regies. Assim, analisada cada imagem recebida da cmera e detectadas as regies com maior presena de pontos da cor pretendida, sendo que a cada regio se associou uma aco. regio direita da captura pela cmera associou-se a navegao para a direita, seja em deslocao ou rotao, conforme a organizao do mundo, e regio esquerda a navegao em rotao ou deslocamento nessa direco. Da mesma forma ,a regio superior ficou associada a uma rotao ou deslocamento para cima, e a regio inferior da cmera associada rotao ou deslocamento para baixo.

Figura 3.20 VideoSpace com interaco gestual

Para conseguir um desempenho aceitvel na deteco de cores necessrio uma captura de cerca de 320 por 240 pxeis, sendo que abaixo deste valor as regies so demasiado pequenas para conseguir um desempenho capaz de produzir uma interaco fluida. Outra considerao importante refere-se cor a ser detectada. A cor escolhida foi o verde saturado, depois de alguns testes com outras cores bastante saturadas, como vermelhos, azuis e amarelos, por ter obtido os melhores resultados de deteco. importante que exista um limiar pelo qual possa ser feita a deteco, de forma a que no seja detectada apenas uma tonalidade de verde, o que acabaria por impedir a interaco. 63

Da mesma forma, necessrio que a iluminao do local onde a interaco ir decorrer seja controlada e no sofra grandes alteraes no decurso da interaco. Os melhores resultados ocorreram quando a sala se encontrava bem iluminada uma vez que assim a deteco mais fivel. Tambm importante referir que ao usar o espao de cores HSB torna-se mais fcil detectar a cor, uma vez que neste espao a tonalidade independente da luz. Desta forma, possvel controlar melhor o limiar de tonalidades desejadas para deteco, bem como os valores de luminosidade, oferecendo melhor resposta em ambientes com iluminao fraca, ou diferente da iluminao usada na calibrao. Outro tipo de interaco que mais tarde foi desenvolvido para a mesma aplicao foi uma interaco gestual. Esta interaco teve como propsito mapear gestos em superfcies sensveis ao toque com aces da aplicao, de forma a poder apresentar a aplicao num grande ecr tctil como o SMART Board (url-Smartboard) e interagir de forma mais natural, sem recorrer a outro dispositivo de interaco (Figura 3.20). Usando uma aplicao de mapeamento de gestos disponvel para download em sistemas Windows, o StrokeIt (url-StrokeIt), fez-se um mapeamento das aces mais comuns do VideoSpace. Estas aces incluem deslocamento e rotao nas quatro direces, aproximao e afastamento tridimensional (zoom), mudana entre modos, mudana entre representaes e ainda alguns efeitos sobre o vdeo como imploso e exploso quando no microspace da aplicao. Esta experincia tambm foi til para estudar um possvel mapeamento gestual para as funcionalidades do ColorsInMotion, tendo em vista uma integrao com o VideoSpace para um espao de vdeos mais rico, onde se exploram relaes semnticas e propriedades baseadas em cor e movimento.

3.5 Visualizao de Informao Experincias

Numa tentativa de explorar a visualizao de informao para representar espaos de vdeo, foi testado numa primeira fase o toolkit de visualizao do Prefuse. Com este toolkit desenvolveu-se uma aplicao em Java capaz de executar pesquisas no YouTube. Estas pesquisas podem ser para os vdeos mais recentes, mais vistos, mais votados, com mais ligaes, mais discutidos, entre outras. A visualizao apresentada em grafo de ns, mostrando, por exemplo, os vdeos mais vistos, e os vdeos relacionados com cada um deles e assim sucessivamente (Figura 3.21). A partir desta aplicao possvel navegar pelo YouTube e a qualquer momento pode ser seleccionado um vdeo para o ver no website do YouTube atravs do browser preferido, que automaticamente lanado. As ligaes entre os vdeos so 64

apresentadas atravs de linhas que ligam os ns do grafo, e apresentam uma elasticidade que deixa que o utilizador arraste os ns no espao bidimensional, reorganizando-se os ns de acordo com as suas ligaes em seguida. A nvel do vdeo individual, apresenta a visualizao tradicional j disponvel no YouTube, o maior valor acrescentado est na explorao das ligaes entre os vdeos e na visualizao do espao de vdeos. Analogamente a esta aplicao, o prprio YouTube desenvolveu uma visualizao alternativa do espao de vdeos que pode ser acedida em (url-YouTubeWarp). Com esta visualizao pode-se navegar no espao de vdeos do YouTube em Flash, com os vdeos a serem representados pela imagem esttica que j usam na visualizao normal, mas aqui desenhados em forma de crculo que pode ser expandido para revelar os vdeos. O desenvolvimento deste sistema para um espao de vdeos serviu como aprendizagem e inspirao para espaos de visualizao e poder servir para no futuro ser possvel integrar uma visualizao com o Prefuse no ColorsInMotion.

Figura 3.21 Aspecto da aplicao de navegao no YouTube usando o Prefuse

3.6 Ambiente de Desenvolvimento

Foram escolhidas ferramentas de trabalho de forma a suportar o trabalho de acordo com os objectivos que foram propostos. Estas ferramentas tinham que incluir obrigatoriamente capacidade de ler vdeos, estruturas capazes de os representar para anlise e processamento, facilidade de extenso, capacidade de expressar interfaces 65

grficas e, naturalmente, de preferncia com uma curva de aprendizagem capaz de caber no tempo do projecto, ou que o autor j tivesse experincia prvia. Assim, foi escolhido o Processing para desenvolver o sistema apresentado neste relatrio, cujas capacidades foram mencionadas na seco 2.3.3 , e que deram resposta a estes requisitos. O Processing tem uma biblioteca para lidar com vdeo de raiz, que faz uso da biblioteca de QuickTime para Java. Apesar de existir uma limitao no tipo de vdeos sobre os quais pode ser efectuado o trabalho, esta no pareceu ser significativa tendo em conta as vantagens que o Processing tem, e que eventualmente, com recurso a aplicaes de converso de formato de vdeos pode ser contornada. Uma das vantagens do Processing usar a tecnologia Java e portanto poder ser estendido com as bibliotecas normais das APIs de Java, o que oferece uma maior flexibilidade de trabalho. De qualquer forma, j existe um nmero considervel de bibliotecas open-source, desenvolvidas por terceiros, que tambm podem estender as funcionalidades do Processing. Tirando partido de algumas destas bibliotecas, construiu-se um interface grfico (GUI), fazendo uso da biblioteca controlP5 (urlcontrolP5). Outras funcionalidades que foram desenvolvidas incluem a deteco de cores com uma cmera, com a JMyron (url-JMyron); a funcionalidade de drag and drop de ficheiros para a janela da aplicao com a sDrop (url-sDrop) e tambm a simulao de um sistema fsico de partculas com a traer.physics (url-physics). O Processing um sistema que ainda estava em Beta, no incio deste trabalho, e desde ento tm sido lanadas novas verses mais estveis com alteraes a funes primitivas e com novas funes. Por ser um ambiente em constante evoluo, e ainda no estar totalmente estvel, encontram-se algumas discrepncias de comportamento entre sistemas operativos. Em relao biblioteca de vdeo, por exemplo, podemos encontrar diferenas, e dificuldades, com algumas funcionalidades entre os sistemas Windows e Mac OS X. O sistema operativo Linux no foi sequer contemplado aqui, uma vez que no existe suporte para QuickTime Java em Linux e portanto seria difcil concretizar as funes desejadas. Assim, optou-se por desenvolver e testar usando sempre o sistema operativo Windows XP. Todo o sistema foi desenvolvido e testado usando o Processing 1.0.1 (tambm foi testado com a verso 1.0.5, a mais recente data de redaco desta dissertao) com as seguintes bibliotecas: controlP5 0.3.14, JMyron 0025, sDrop 0.1.4, traer.physics 2.0 (existe j uma verso 3.0, com algumas diferenas em relao que foi usada que implicam alteraes a aplicaes que usam a verso anterior). Tambm foram usadas as aplicaes QuickTime 7 e WinVDIG 1.0.4 para suporte biblioteca de vdeo. A maioria dos vdeos usados no sistema so vdeos que j tinham sido usados num trabalho prvio, VideoSpace (Rocha & Chambel, 2008). Estes vdeos so de danas e 66

msica de Portugal, Espanha e Brasil, so de curta durao (5-60 segundos), tm uma resoluo de 160 por 120 pxeis e encontram-se em formato QuickTime sem compresso. Outra forma de obter vdeos para usar no sistema passa por usar uma webcam, por exemplo, a partir da qual se pode efectuar tambm as tarefas de anlise, ou fazendo uma converso prvia de vdeos obtidos a partir de repositrios online.

67

68

Captulo 4 Concluses e Perspectivas Futuras

Nesta seco apresenta-se um resumo do trabalho realizado, tecem-se algumas concluses e discutem-se perspectivas futuras de evoluo do trabalho.

4.1 Concluses
No cruzamento das reas de acesso a informao, arte digital e visualizao de informao, tendo o vdeo como base de trabalho, foi desenvolvido um sistema de visualizao e explorao interactiva e criativa do vdeo e das suas propriedades, com nfase na cor e movimento: o ColorsInMotion. Este sistema faz uso de dois mdulos, o ColorsInMotion Video Analyzer e o ColorsInMotion Viewer. A cor e o movimento, sendo propriedades visuais bastante perceptveis nos vdeos, constituem bons descritores e representantes do contedo de um vdeo, e podem ser usados para efectuar pesquisas. Os utilizadores podem utilizar a aplicao Video Analyzer para efectuar processamento e anlise de vdeo do qual resultam a extraco de dados sobre a cor e o movimento, bem como a criao de vrios loops de vdeo, assentes em diferentes critrios, controlados pelo utilizador atravs de parmetros. Estes parmetros podem influenciar o espao de cores que usado, a definio do nmero de cores que se deseja ver nos grficos dos resultados da anlise do histograma de cores, o nmero de intervalos a serem usados na criao dos histogramas e ainda um limiar de proximidade para comparao de cores, oferecendo assim diversas configuraes para serem exploradas na anlise. Ao serem suportados dois espaos de cor, o RGB e o HSB, com quantizaes diferentes, do-se perspectivas diferentes para anlise dos vdeos. Os vdeos podem vir de vrias fontes do mundo virtual ou real, como repositrios online ou uma webcam. No ColorsInMotion Viewer, os utilizadores podem visualizar o espao de vdeos atravs de diferentes vistas, para pesquisar, comparar e interagir com uma seleco de 69

vdeos, no exemplo apresentado, num contexto cultural, com vdeos de msicas e danas de Portugal, Espanha e Brasil. Foram criadas vistas complementares baseadas no contedo dos vdeos, nas suas cores dominantes, no seu movimento, como as formas coloridas e os slit scans, permitindo visualizar e realar algumas propriedades dos vdeos de uma forma perceptiva, simplificando a complexa informao que contm. Estas visualizaes, ligadas ao contexto cultural em causa, podem ajudar o utilizador a perceber diferenas, ou semelhanas, por exemplo, entre danas como o Fandango e as Sevilhanas, atravs dos movimentos e das cores existentes nos vdeos. Usando as visualizaes e formas de organizao do ColorsInMotion, possvel facilitar as tarefas de pesquisa e organizao de grandes coleces de vdeos, que podem ser usadas para outras finalidades, como suporte a tarefas de edio. As pesquisas por cor so tambm importantes, embora ainda no sejam muito utilizadas hoje em dia, e no ColorsInMotion Viewer possvel efectuar pesquisas por cor. A maioria das pesquisas feitas nos repositrios de partilha de vdeo, como o YouTube, continua a assentar na classificao semntica e no em propriedades visuais. Assim, deixa de ser possvel pesquisar apenas por termos semnticos colocados como classificao pelos utilizadores ou criadores do contedo, complementando este tipo de pesquisas com informao de baixo nvel. Torna-se possvel procurar vdeos em cenrios prticos, como a organizao de um filme que necessita de cenas com predominncia de certas cores, ou vdeos de um concerto de determinado artista musical com uma cor especfica, para criar um videoclip, ou at mesmo a utilizao em cenrios de execuo em tempo real, como o VJing. O ColorsInMotion foi desenvolvido aps algumas experincias com outro tipo de visualizaes e tcnicas de interaco, nomeadamente a interface de deteco de cores para o VideoSpace e o sistema de pesquisas no YouTube. Estas experincias fizeram com que no desenvolvimento do ColorsInMotion fossem tidas em conta diferentes formas de interaco, visualizao e integrao com outros sistemas que possam ser desenvolvidos ou que j existam, como o VideoSpace. J depois de o sistema ter sido criado, usou-se um mapeamento gestual para superfcies sensveis ao toque, de forma a abrir novas possibilidades de interaco com o espao de vdeos. A interaco com o teclado e o rato so bons instrumentos de interaco para utilizadores experientes, que queiram efectuar as tarefas com maior rapidez, ou por exemplo, para ambientes de VJ, onde necessria maior preciso e rapidez de desempenho. A interaco por gestos e por deteco de cores, por outro lado, contribui para uma experincia mais natural e imersiva para os utilizadores, indicada, por exemplo, em cenrios de instalao interactiva.

70

4.2 Perspectivas Futuras

Como perspectivas futuras podem ser refinados alguns aspectos do processamento e visualizao de vdeos, tendo por base avaliaes mais exaustivas com utilizadores. Um dos aspectos deste trabalho que poderia ser melhorado tem a ver com o aproveitamento das potencialidades da pesquisa semntica. Uma vez que foi desenvolvido um sistema de organizao e pesquisa de vdeos assente nas propriedades da cor, poderia ser desenvolvido tambm um mdulo de pesquisa assente em classificaes semnticas. Estas classificao podia ser feita atravs do uso de normas como o MPEG-7. As pesquisas semnticas so bastante comuns neste tipo de sistemas, tendo por base a classificao feita pelos utilizadores com palavras-chave, temas ou categorias. Assim, uma proposta de desenvolvimento futuro passaria por integrar a pesquisa de cor com a pesquisa por palavras-chave, temas e categorias, que seriam anotadas previamente nos vdeos, como o VideoSpace explorou, ou obtidas a partir de repositrios online como o YouTube. Com este tipo de pesquisa, seria possvel fazer experincias relativas cor dos vdeos, inseridos em contextos bem definidos, e da retirar concluses. No caso da construo de mosaicos em vdeo, por exemplo, poderamos fazer uma pesquisa tendo em conta o contexto da imagem introduzida para a pesquisa. Assim, uma imagem da Torre Eiffel, poderia ser recriada usando apenas vdeos que j contivessem a prpria Torre Eiffel, de Paris ou de Frana, dependendo do mbito da pesquisa. No contexto actual do ColorsInMotion, poderiam, por exemplo, ser usados vdeos de msicas ou danas de Frana. Outro tipo pesquisa que poderia ser introduzido a pesquisa por movimentos. Este tipo de pesquisa poderia tirar partido dos loops de cenas e tambm das imagens em slit scan, de forma a procurar determinados movimentos sugeridos pelo utilizador, complementado a interaco baseada em movimento. A nvel de processamento e anlise, poderiam ser introduzidas novas funcionalidades, bem como melhorias ao nvel dos algoritmos usados para analisar e processar os vdeos. Poderiam ser refinados os mtodos de anlise de cores nos vdeos, nomeadamente ao nvel da combinao de mtricas. Poderiam ser combinadas as mtricas de cor mdia e cor dominante de forma a obter um resultado mais fivel sobre as cores mais representativas do vdeo. Tendo em vista a edio de vdeo poderia ser desenvolvido um novo mdulo que faria uso das pesquisas por cor, para, por exemplo, seleccionar vdeos para um sistema de edio semi-automtico baseado em pesquisas das propriedades de cor e movimento. Um utilizador poderia assinalar numa linha temporal que cores e/ou movimentos quer em que alturas, e o sistema encarregava-se de construir um vdeo a partir dos vdeos

71

devolvidos pela pesquisa. Este tipo de automatismo faria com que as tarefas de edio fossem realizadas de forma mais rpida e agradvel por parte dos utilizadores. possvel refinar a interface e o aspecto grfico das aplicaes, tendo em conta tambm a utilizao num ambiente de instalao interactiva. Embora muitos dos comandos da aplicao j sejam possveis fazer usando uma interaco gestual, poderiam ser refinados os mapeamentos para acomodar novas funcionalidades. Tambm para ter em conta um ambiente de instalao interactiva poderia ser desenvolvida uma nova forma de interaco, usando mesas multi-toque, com mdulos de interaco desenvolvidos para o efeito, usando bibliotecas como a PyMT (urlPyMT), que permitiriam uma interaco com vrias pessoas no espao de vdeos do ColorsInMotion, por exemplo criando pinturas colaborativas e interagindo com vrios vdeos ao mesmo tempo no espao de vdeos. Em relao interaco entre vdeos, poderia ser criado um parmetro para controlar a intensidade das foras que actuam no sistema de partculas, tornando-o sensvel s condies do ambiente ou s preferncias do utilizador. Este tipo de parmetro controlaria a forma de organizao do sistema, contribuindo para uma interaco e comportamento das partculas mais configurvel. Tambm poderia ser usado o udio dos vdeos para criar novas visualizaes baseadas em ritmos, por exemplo de vdeos musicais, de forma a dar ao utilizador mais uma dimenso para explorar nos vdeos. Est a trabalhar-se no sentido de integrao do ColorsInMotion com o VideoSpace, numa perspectiva de utilizar os princpios que os dois sistemas tm em comum, complementando funcionalidades e aproveitando a capacidade de interaco com os vdeos a um nvel individual que o VideoSpace tem, estendendo as dimenses de cor e movimento. Finalmente poderiam ser estudadas novas formas de suportar a expresso da criatividade, nomeadamente atravs de diferentes tipos de visualizao, estendendo o trabalho j feito.

72

Anexo A Estruturas Para Guardar os Dados de Suporte ao Vdeo

Foram criadas duas estruturas de dados para guardar os dados referentes aos vdeos (VideoObject) e aos loops (Loop). Na Figura A.1 pode ver-se um diagrama de classes com a especificao simplificada para cada uma destas estruturas de dados.

Figura A.1 Diagrama de classes das estruturas de dados criadas no ColorsInMotion

No objecto VideoObject, so guardadas as informaes relativas aos trs histogramas criados, cor mdia, e dominantes e relativas percentagens de predominncia; detalhes do vdeo como largura, altura, durao, nome do ficheiro e sua 73

localizao; o nmero de contentores usados para criar os histogramas; as imagens de slit scan e de cor mdia, bem como uma lista de todas as imagens extradas do vdeo e uma lista de loops gerados a partir do vdeo. No objecto Loop, guardam-se as informaes relativas ao tipo de loop, a cor que fica associada ao loop e sua percentagem de predominncia caso se aplique, bem como o espao de cor em que foi criado o loop. Tambm guardada uma referncia para o VideoObject do vdeo de onde o loop foi tirado e uma lista com todas as imagens que o constituem. Finalmente, criado um identificador a partir do nome do ficheiro de vdeo, do tipo de loop e do espao de cor em que foi tirado. Para alm destas estruturas de dados so criados ainda ficheiros de texto para guardar os dados em disco. Neles, a informao concatenada usando separadores e seguindo regras definidas no ColorsInMotion. Em baixo apresenta-se o exemplo da informao guardada para um loop por cor dominante para o vdeo caet01.mov. Podemos ver o identificador de loop no incio, o nome do ficheiro, o tipo de ficheiro, o espao de cor, os valores das trs componentes do espao de cor, a percentagem de predominncia usada na extraco e a lista de imagens que constituem o loop.

caet01.mov_domColRGB;caet01.mov;1;0;16.0,16.0,16.0;25.0;,ca et01.mov_domColRGB_0.png,caet01.mov_domColRGB_1.png,caet01. mov_domColRGB_2.png,caet01.mov_domColRGB_3.png,caet01.mov_d omColRGB_4.png,caet01.mov_domColRGB_5.png,caet01.mov_domCol RGB_6.png,caet01.mov_domColRGB_7.png,caet01.mov_domColRGB_8 .png,caet01.mov_domColRGB_9.png,caet01.mov_domColRGB_10.png ,caet01.mov_domColRGB_11.png,caet01.mov_domColRGB_12.png,ca et01.mov_domColRGB_13.png,caet01.mov_domColRGB_14.png,caet0 1.mov_domColRGB_15.png,caet01.mov_domColRGB_16.png,caet01.m ov_domColRGB_17.png,caet01.mov_domColRGB_18.png,caet01.mov_ domColRGB_19.png

74

Anexo B - Lista de Comandos do ColorsInMotion

L Alterna entre espaos de cor, RGB ou HSB no ColorsInMotion Viewer R Faz reset aplicao ColorsInMotion Viewer ou inicia a gravao da webcam para anlise no ColorsInMotion Video Analyzer M Mostra ou esconde o mosaico de vdeos Q Limpa o ecr no ColorsInMotion Viewer D Liga ou desliga o efeito de arrasto no sistema de partculas N Permite mostrar ou esconder o sistema de partculas C Alterna entre tipos de loops com a sequncia: loops tradicionais, loops de cor mdia, loops de cor dominante, loops de cenas. V Alterna a vista do sistema de partculas com a sequncia: loops, crculos, rectngulos, slit scans. A Aproxima no sistema de partculas (aumenta zoom) Z Afasta no sistema de partculas (diminui zoom) Barra de Espaos Liga ou desliga o menu de pesquisa no ColorsInMotion Viewer. No ColorsInMotion Video Analyzer esta tecla usada para alternar entre espaos de cor. Para seleccionar um vdeo no sistema de partculas do ColorsInMotion Viewer usa-se o boto direito do rato. Para arrastar uma partcula no sistema do ColorsInMotion Viewer usa-se o boto esquerdo do rato.

75

76

Referncias Bibliogrficas
Adams, B. and Venkatesh, S., (2004) Director in your pocket: holistic help for the hapless home videographer In Proceedings of the 12th Annual ACM international Conference on Multimedia (New York, NY, USA, October 10 - 16). MULTIMEDIA '04. ACM, New York, NY, 460-463. Bassiou, N. and Kotropoulos, C., (2006) Color histogram equalization using probability smoothing In Proceedings of European Signal Processing Conference (EUSIPCO 2006), Florence, Italy, 4-8 September. Bocconi, S. and Nack, F., (2004) Automatic generation of biased video sequences In Proceedings of the 1st ACM Workshop on Story Representation, Mechanism and Context (New York, NY, USA, October 15 - 15). SRMC '04. ACM, New York, NY, 916. Boreczky, J., Girgensohn, A., Golovchinsky, G., and Uchihashi, S., (2000) An interactive comic book presentation for exploring video In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (The Hague, The Netherlands, April 01 - 06). CHI '00. ACM, New York, NY, 185-192. Buelow, P. (2002) Using evolutionary algorithms to aid designers of architectural structures in Bentley, P. and Corne, D., Creative Evolutionary Systems. Morgan Kauffman Publishers, San Francisco, California. Card, S., MacKinlay, J. And Shneiderman, B., (1999) Reading in Information Visualization: Using Vision to Think. Morgan Kaufmann Publishers, San Francisco, California. Chambel, T., Correia, L., Manzolli, J., Miguel, G. D., Henriques, N. A., and Correia, N., (2007) Technology and Digital Art: Creating video art with evolutionary algorithms In Computer Graphics 31, 6 (Dec. 2007), 837-847.

77

Chang, P., Han, M. and Gong, Y., (2002) Extract Highlights From Baseball Game Video With Hidden Markov Models In Proceedings of the 2002 International Conference on Image Processing, vol. 1, pp. 609-612. Costa, B., Gouyon, F., Sarmento, L., (2008) A Prototype for Visualizing Music Artist Networks In Artech 2008 Proceedings of the 4th International Conference on Digital Arts (Porto, Portugal, November 7 8). Universidade Catlica Portuguesa/Porto Escola das Artes, 245-248. Daniel, G. and Chen, M., (2003) Video Visualization In Proceedings of the 14th IEEE Visualization 2003 (Vis'03) (October 22 - 24). IEEE Visualization. IEEE Computer Society, Washington, DC, 54. Elliott, E. and Davenport, G., (1994) Video Streamer In Conference Companion on Human Factors in Computing Systems (Boston, Massachusetts, United States, April 24 - 28). C. Plaisant, Ed. CHI '94. ACM, New York, NY, 65-68. Fels, S. and Mase, K., (1999) Interactive video cubism In Proceedings of the 1999 Workshop on New Paradigms in information Visualization and Manipulation in Conjunction with the Eighth ACM internation Conference on information and Knowledge Management (Kansas City, Missouri, United States, November 02 - 06). NPIVM '99. ACM, New York, NY, 78-82. Fels, S., Lee, E., and Mase, K., (2000) Techniques for interactive video cubism (poster session) In Proceedings of the Eighth ACM international Conference on Multimedia (Marina del Rey, California, United States). MULTIMEDIA '00. ACM, New York, NY, 368-370. Ferman, M., Krishnamachari, S., Tekalp, M., Abdel-Mottaleb, M., Mehrotra, R., (2000) Group-of-frames/pictures color histogram descriptors for multimedia applications in Proceedings of the International Conference on Image Processing (ICIP 2000), Vancouver, BC, Canada, September 10-13, 2000. IEEE Computer Society. Few, S., (2007) Data Visualization: Past, Present and Future. IBM Cognos Innovation Center. Finkelstein, A. and Range, M., (1998) Image Mosaics In Proceedings of the 7th international Conference on Electronic Publishing, Held Jointly with the 4th international Conference on Raster Imaging and Digital Typography: Electronic Publishing, Artistic Imaging, and Digital Typography (March 30 - April 03). R. D.

78

Hersch, J. Andr, and H. Brown, Eds. Lecture Notes In Computer Science, vol. 1375. Springer-Verlag, London, 11-22. Girgensohn, A., Boreczky, J., Chiu, P., Doherty, J., Foote, J., Golovchinsky, G., Uchihashi, S., and Wilcox, L., (2000) A semi-automatic approach to home video editing In Proceedings of the 13th Annual ACM Symposium on User interface Software and Technology (San Diego, California, United States, November 06 - 08). UIST '00. ACM, New York, NY, 81-89. Heer, J., Card, S. K., and Landay, J. A., (2005) prefuse: a toolkit for interactive information visualization In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Portland, Oregon, USA, April 02 - 07). CHI '05. ACM, New York, NY, 421-430. Huang, X., Zhang, S., Wang, G. and Wang, H., (2006) A new image retrieval method based on optimal color matching in Proceedings of the International Conference on Image Processing, Computer Vision & Pattern Recognition (IPCV '06), vol. 1, pp. 276 281, Las Vegas, Nev, USA, June 2006. Irani, M., Anandan, P., and Hsu, S., (1995) Mosaic based representations of video sequences and their applications In Proceedings of the Fifth international Conference on Computer Vision (June 20 - 23). ICCV. IEEE Computer Society, Washington, DC, 605. Kerminen, P. and Gabbouj, M., (1999) Image Retrieval Based on Color Matching, Proceedings of FINSIG'99, Oulun yliopistopaino, Finland, 89-93. Kirk, D., Sellen, A., Rother, C., and Wood, K., (2006) Understanding photowork In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Montral, Qubec, Canada, April 22 - 27). R. Grinter, T. Rodden, P. Aoki, E. Cutrell, R. Jeffries, and G. Olson, Eds. CHI '06. ACM, New York, NY, 761-770. Kirk, D., Sellen, A., Harper, R., and Wood, K., (2007) Understanding videowork In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (San Jose, California, USA, April 28 - May 03). CHI '07. ACM, New York, NY, 61-70. Klein, A. W., Grant, T., Finkelstein, A., and Cohen, M. F., (2002) Video Mosaics In Proceedings of the 2nd international Symposium on Non-Photorealistic Animation and Rendering (Annecy, France, June 03 - 05). NPAR '02. ACM, New York, NY, 21-ff. Lovejoy, M., (2004) Digital Currents: Art in the Electronic Age. Routledge New York, 132-133. 79

Luo, H. and Fan, J., (2006) Large-scale video retrieval via semantic classification In Proceedings of the 14th Annual ACM international Conference on Multimedia (Santa Barbara, CA, USA, October 23 - 27). MULTIMEDIA '06. ACM, New York, NY, 884886. Makela, M., (2006) Live Cinema: Language and Elements. MA in New Media, Submitted to the New Media Program, Media Lab, Helsinki University of Art and Design (April). Makela, M., (2008) The Practice of Live Cinema In Artech 2008 Proceedings of the 4th International Conference on Digital Arts (Porto, Portugal, November 7 8). Universidade Catlica Portuguesa/Porto Escola das Artes, 83-91. Martin, S., (2004) Video Mosaics, Berkeley, Final Project for CS283 Graduate Graphics with Prof James O'Brien, http://stevezero.com/eecs/mosaic/index.htm Mas, J. and Fernandez, G., (2003), Video shot boundary detection using color histogram In Notebook Papers TRECVID2003, Gaithersburg, Maryland, NIST, October. Moroni, A., Manzolli, J., von Zuben, F. and Gudwin, R., (2002) Vox Populi: evolutionary computarion for music evolution in Bentley, P. and Corne, D., Creative Evolutionary Systems. Morgan Kauffman Publishers, San Francisco, California. Nack, F. and Lindsay, A., (1999a) Everything You Wanted to Know About MPEG-7: Part 1 In IEEE MultiMedia, vol. 6, no. 3, pp. 65-77, Jul-Sept. Nack, F. and Lindsay, A., (1999b) Everything You Wanted to Know About MPEG-7: Part 2 In IEEE MultiMedia, vol. 6, no. 4, pp. 64-73, Oct-Dec. Palika, D., (1990) C-itcoms: Visual Metaphors Written in the 'C' Programming Language In Leonardo, Vol. 23 No. 2/3, New Foundations: Classroom Lessons in Art/Science/Technology for the 1990s, 301-306. Pepperell, R., (2002) Computer aided creativity: practical experience and theoretical concerns In Proceedings of the 4th Conference on Creativity & Cognition (Loughborough, UK, October 13 - 16). C&C '02. ACM, New York, NY, 50-56. Prince, P. D., (1995) Digital art: the new literacy, a personal view of the evolution of art issues In SIGGRAPH Comput. Graph. 29, 4 (Nov.), 30-31.

80

Rocha T. and Chambel T., (2008) VideoSpace: A 3D Video Experience In Artech 2008 Proceedings of the 4th International Conference on Digital Arts (Porto, Portugal, November 7 8). Universidade Catlica Portuguesa/Porto Escola das Artes, 305-310. Saykol E., Gdkbay U., Ulusoy O., (2004) Integrated Querying of Images by Color, Shape, and Texture Content of Salient Objects In Lecture Notes in Computer Science (LNCS), Vol. 3261, Advances in Information Sciences (ADVIS'2004), Edited by Tatyana Yakhno, pp. 363-371, Springer-Verlag, Izmir, Turkey. Sims, K., (1991) Artificial evolution for computer graphics In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, 319-328. Tang, A., Greenberg, S., and Fels, S., (2009) Exploring video streams using slit-tear visualizations. In Proceedings of the 27th international Conference Extended Abstracts on Human Factors in Computing Systems (Boston, MA, USA, April 04 - 09). CHI EA '09. ACM, New York, NY, 3509-3510. Udayasankar S., (2008) Mayil Iragu In Artech 2008 Proceedings of the 4th International Conference on Digital Arts (Porto, Portugal, November 7 8). Universidade Catlica Portuguesa/Porto Escola das Artes, 229-232. Wang, Y. and Xie L., (2001) VisGenie: A Generic Video Visualization System. EE6850 Project, Department of Electrical Engineering, Columbia University.

81

82

Referncias Web
(url-Arkaos) ArKaos Interactive Vdeo Technologies http://www.arkaos.net/ (url-Barney) The Cremaster Cycle by Matthew Barney http://www.cremaster.net/ (url-controlP5) controlP5 Controller Library for Processing http://www.sojamo.de/libraries/controlP5/ (url-Dada) The International Dada Archive The University of Iowa http://sdrc.lib.uiowa.edu/dada/index.html (url-FinalCut) Apple Final Cut Studio 2 Final Cut Pro 6 http://www.apple.com/finalcutstudio/finalcutpro/ (url-Fischinger) Fischinger Archive http://www.oskarfischinger.org/ (url-FreeFrame) FreeFrame Open Realtime Vdeo Effects http://freeframe.sourceforge.net/ (url-GenerativeArt) Generative.net Definitions http://www.generative.net/read/definitions (url-Hall) Early Video Art by David Hall http://davidsonsfiles.org/early%20video%20art.html (url-HCIM) Human Computer Interaction and Multimdia http://hcim.lasige.di.fc.ul.pt/wiki/Main_Page (url-iMovie) Apple iMovie http://www.apple.com/ilife/imovie/ (url-JayCut) JayCut http://jaycut.com/ (url-JMyron) JMyron http://webcamxtra.sourceforge.net/index.shtml (url-Kaltura) Kaltura http://corp.kaltura.com/

83

(url-Kuleshov) The Principles of Montage Lev Kuleshov http://www.cs.vu.nl/~eliens/demo/local/edgecodes/montage.htm (url-LaSIGE) Large-Scale Informatics Systems Laboratory http://lasige.di.fc.ul.pt/Main_Page (url-Max/MSP/Jitter) Cycling74 Max 5 http://www.cycling74.com/products/max5 (url-Modul8) Modul8 VJ software http://www.garagecube.com/modul8/ (url-MovieMasher) MovieMasher: Open Source Online Vdeo Editor http://www.moviemasher.com/ (url-OpenCV) Open Computer Vision Library http://sourceforge.net/projects/opencvlibrary/ (url-openFrameworks) openFrameworks http://www.openframeworks.cc/ (url-PaikStudios) Paik Studios http://www.paikstudios.com/ (url-physics) Phyisics library for Processing http://www.cs.princeton.edu/~traer/physics/ (url-Prefuse) Prefuse Interactive Information Visualization Toolkit http://prefuse.org/ (url-Premiere) Adobe Premiere Pro CS4 http://www.adobe.com/products/premiere/ (url-PremiereExpress) Adobe Premiere Express http://www.adobe.com/products/premiereexpress/ (url-Processing) Processing http://processing.org/ (url-PureData) Pure Data PD Community Site http://puredata.info/ (url-PyMT) Python Multitouch http://pymt.txzone.net/ (url-QuartzComposer) Working with Quartz Composer http://developer.apple.com/graphicsimaging/quartz/quartzcomposer.html (url-Richter) Hans Richter: Rhytmus 21 (1921) You Tube http://www.youtube.com/watch?v=uhv2KpQGMqY (url-Ruttmann) Walter Ruttmann: Lichtspiel, Opus 1 (1921) YouTube http://www.youtube.com/watch?v=9V8DjVBqHBA

84

(url-sDrop) sDrop Drag and Drop library for Processing http://www.sojamo.de/libraries/drop/ (url-Skyrails) Skyrails Blog http://cgi.cse.unsw.edu.au/~wyos/skyrails/ (url-SoftCinema) Lev Manovich Soft Cinema http://www.softcinema.net/ (url-TagClouds) Tag Clouds Wikipedia http://en.wikipedia.org/wiki/Tag_cloud (url-UnderScan) Under Scan http://www.threecitiescreate.org.uk/_EMDA_Cultural_Quarters/Future_Plans/Under_Sc an_in_Trafalgar_Square,_London/Under_Scan_Press_Release_October_2008/?PHPSE SSID=hhvbcrd5jm8ha93kvk61jsq237 (url-Vegas) Sony The Vegas Product Family http://www.sonycreativesoftware.com/products/vegasfamily.asp (url-Videosphere) Videsphere: An Audiovisual Knowledge Network http://www.bestiario.org/research/videosphere/ (url-Viola) Official Bill Viola Website http://www.billviola.com/ (url-VisualComplexity) VisualComplexity http://www.visualcomplexity.com/vc/ (url-vvvv) vvvv: a multipurpose toolkit http://vvvv.org/ (url-YouTubeP2P) The YouTube effect: HTTP traffic now eclipses P2P http://arstechnica.com/news.ars/post/20070619-the-youtube-effect-http-traffic-noweclipses-p2p.html (url-YouTubeWarp) Warp Player for YouTube http://www.youtube.com/warp_speed (url-WebVideo) Need-to-Know Web Video Stats: Traffic, Rentals, Revenues, UGC http://newteevee.com/2008/01/17/need-to-know-web-video-stats-traffic-rentalsrevenues-ugc/ (url-WVideo) Video in Wikipedia http://en.wikipedia.org/wiki/Video (url-WinMovieMaker) Windows Movie Maker http://www.microsoft.com/windowsxp/downloads/updates/moviemaker2.mspx

85