Escolar Documentos
Profissional Documentos
Cultura Documentos
Neste vídeo, vamos falar sobre o que envolve fazer XR. Na verdade, ainda não estamos
fazendo XR. Então este não é o vídeo que passa por todas as atividades de design e
desenvolvimento que existem. Agora, neste, Eu realmente quero fornecer uma visão geral
e fazer uma analogia com o cinema. Porque, de várias maneiras, acho que criar uma
experiência XR é semelhante a fazer um filme. Por que eu digo isso? Bem, pense nisso,
então criando um filme é realmente uma tarefa criativa e complexa. Geralmente envolve
muitos pessoas em funções diferentes. Então, do diretor e a pessoa que está escrevendo
o roteiro, para o diretor de fotografia ou o cinegrafista, então você precisa de atores
trazendo os personagens ganham vida. Você precisa de alguém que cuide da luz de som
e, obviamente, de efeitos especiais, certo? Frequentemente vamos ao cinema e Eu
também falo sobre duas coisas. Ótima história ou ótimos efeitos especiais, Nem os
melhores filmes acertam as duas coisas. E com o XR, é realmente o mesmo. Sim, então
temos uma história de que de alguma forma, tenho que transmitir em VR ou em AR. E eu
penso na história de várias maneiras e eu vou explicar isso um pouco mais para você. A
outra razão pela qual eu escolho fazer filmes, como essa analogia, é porque todo mundo
pode Eu faço filmes nos dias de hoje. Podemos apenas usar nossos smartphones para
grave coisas e depois cadeira, e você realmente não tem ter treinamento formal. E com o
XR, é o mesmo, existem muitas ferramentas disponíveis, então veremos cada vez mais
amador criando experiências de XR. Agora, isso é legal, mas também perigoso, porque
seria melhor. se realmente entendêssemos o design XR. Se fôssemos eticamente
responsáveis e realmente prestaria atenção em fazer com que nossos usuários se
sentissem confortáveis e seguro nessas experiências. E há muitos exemplos por aí onde
isso nem sempre é o caso. Então, vamos dar um passo atrás e defina alguns termos-
chave e você já ouviu falar sobre esses termos antes. Então eu vou desenhar o
continuum da virtualidade da realidade.
Então, interações explícitas são aquelas onde o usuário está realmente ciente deles.
Por exemplo, gestos ou eles sabem que o sistema reconhecerá ou falará os comandos
que o usuário é ciente do sistema entenderá.
Interações implícitas são aquelas que não são solicitados diretamente ao usuário.
Então, por exemplo, em AR e VR, temos um muitas interações implícitas baseadas em
câmeras, olhar, olhar para a cabeça ou interações baseadas no olhar. E esses são
exemplos de interações implícitas.
Então, agora eu quero pensar um pouco mais sobre onde a experiência ocorre, contexto.
E qual é realmente a história do experiência de voltar a essa analogia do cinema. Então,
quando se trata de contexto, nós realmente precisamos distinguir AR e VR. Então, o
contexto, o ambiente físico ao redor do usuário realmente impacta a experiência de
realidade virtual. Agora, mesmo que você realmente não veja, você projeta esse ambiente
de VR. E isso realmente precisa para se encaixar no mundo real.
Deixe-me ilustrar isso rapidamente, então você está projetando a bolha interna aqui, o
mundo VR e então isso é na verdade, de alguma forma, encerrado na realidade. Agora, a
realidade virtual, o mundo virtual pode ser muito maior fisicamente falando do que o real
sala física em que você está. E isso realmente introduz desafios interessantes. Vou
apresentar a você a locomoção e ideias de caminhada redirecionada e, em seguida,
futuras metáforas para viagens em realidade virtual, por exemplo, teletransporte. Então,
aprendemos sobre todas essas coisas, mas é importante realmente pensar sobre o fato
de que o ambiente virtual normalmente não combina perfeitamente com o físico ambiente
em que o usuário está. Porque além de tentar colocar eles em um mundo diferente, essa
é frequentemente a ideia por trás da realidade virtual.
E isso introduz questões interessantes e, portanto, o contexto é muito importante. Então,
agora pensamos em AR, há uma relação mais direta entre contexto e realidade
aumentada. Então, o mundo físico em que você realmente impulsionam a experiência de
AR, você projeta esse ambiente de AR e na verdade, tem que se misturar com a
realidade. Então, ele tem que se fundir, não tem que se encaixar em, mas na verdade tem
que elogiar, adicionar ou remova algo desse mundo físico. Para fazer isso de forma
significativa, você realmente tem que entender isso. Então, no lado da realidade virtual,
nós realmente conversamos muito sobre design ambiental. E no lado da AR, nós
realmente conversamos muito sobre a compreensão ambiental. E aqui está a principal
coisa que Eu realmente quero que você considere. Então, se você está projetando para
AR, não se trata apenas de projetar essa bolha interna. Na verdade, você está projetando
a experiência isso inclui também o mundo real ao seu redor. Portanto, não é só uma
questão de colocar um modelo 3D na frente do usuário e , em seguida, sem nenhum
relacionamento para o mundo real ao redor. Uma boa experiência de AR realmente cuida
desta combinação, fundiu a experiência.
E é por isso que eu realmente destaque os dois aspectos. Agora, continuando com isso,
vamos falar sobre a história.
Então, em VR, a maneira como eu penso sobre isso é você está realmente contando a
história na interseção do real e o virtual. Então, o que eu destaquei aqui em vermelho,
esse limite é realmente com o que você está trabalhando. Pense nisso desta forma, a
melhor realidade virtual experiências que tive de alguma forma obtiveram esse
mapeamento entre o físico e o mundo virtual realmente está certo. Então, por exemplo, eu
estive em alguns tipo de jogo, o fone de ouvido e era colaborativo. E então eu tive que
resolver um quebra-cabeça e isso O quebra-cabeça envolve apertar botões virtuais.
Agora, enquanto eu apertava esses botões na maioria das experiências de realidade
virtual, você realmente não tem o físico, o tátil feedback, o feedback tátil tangível. Mas,
neste caso, o físico o ambiente realmente combina com a experiência de realidade virtual,
onde, na verdade, botões físicos que eu consegui apertar. Então, esse foi realmente um
bom começo. E um exemplo negativo seria se você tinha obstáculos no caminho que não
são comunicados ao usuário. Então, eles são como se algo fosse como uma cadeira no
caminho, ou algo parecido, e você não vê isso porque está totalmente imerso nessa
experiência de realidade virtual, que será muito, muito disruptiva. Então você está
realmente dizendo a história neste cruzamento.
Agora, em AR isso é diferente porque você está realmente contando a história na união
da realidade e o conteúdo virtual. Então você está realmente dizendo isso história que
destaquei aqui, não apenas seu conteúdo virtual e sem nenhuma relação com o mundo
real.
Infelizmente, existem muitos AR experiências que parecem achar que basta trazer algum
tipo de elementos virtuais no mundo físico e isso é AR. Mas não é realmente AR, certo?
Existe realidade aumentada. Então eu pensei que seria uma boa maneira pensar em
contar histórias dessa forma. Então, agora que estabelecemos isso, vamos dar uma
olhada em um exemplo.
Alguns dos seguintes que eu gostaria de compartilhar nosso exemplo do remake do Rei
Leão de 2019.
Estávamos estudando, basicamente trabalhando. em um projeto de pesquisa em meu
laboratório na mesma época em que o Rei Leão era prestes a sair o remake de 2019. E
foi muito interessante para nós. Quer dizer, acabei de ser premiado, um prêmio do corpo
docente da Disney e eu prometi que vou fazer alguma coisa com esse financiamento de
pesquisa. E eu estava trabalhando nisso. projeto em que a ideia era realmente permitir
vários designers para colaborar, seja em AR ou VR e crie colaborativamente, na verdade,
usando experiências XR de autoria imersivas. E então analisamos alguns exemplos e um
dos exemplos mais complexos que vimos foi o Rei Leão. E por isso foi muito interessante
para nós para ver o teaser. O teaser tinha acabado de sair. E então analisamos o teaser.
E estávamos basicamente usando isso. Exemplo do Rei Leão como estudo de caso para
realmente aprender mais sobre como apoiar e o que está envolvido em fazer XR.
E por que escolhemos o Rei Leão? Bem, o Rei Leão, nenhum de vocês sabia disso, mas
esse remake foi realmente dirigido e filmado em realidade virtual.
Então, este é o estudo de caso do Rei Leão e é do nosso artigo, que eu convido você
deve ler sobre o diretor de saída. E eu quero que você pague atenção a algumas coisas.
Na verdade, vou começar pelo final, não é o começo deste projeto. E eu vou te mostrar
um exemplo de uma cena que filmamos. Ainda estávamos experimentando com Rafiki
escalando a rocha do orgulho. E era realmente um grande açougueiro ambiente que
estávamos tentando prototipar, obviamente com meios limitados não tínhamos um
orçamento de 250 milhões de dólares. E nós tínhamos dois atores e aqui, então vamos
fazer essa cena onde Rafiki sobe pela rocha. E o ator ou atriz, neste caso. serão Jane e o
fone de ouvido VR. E então Katie será diretora da fotografia operando a câmera. E este é
um telefone compatível com AR. E eu vou ser o diretor. E eu vou te mostrar um das
muitas tomadas que fizemos para que você tenha uma ideia como trabalhamos nesse
pequeno projeto. E, novamente, quero dizer, não somos Disney, e tínhamos um
orçamento muito menor, mas acho que ainda serve o propósito desta palestra. >> Ação.
Reproduza o vídeo começando em :3:25 e siga a transcrição3:25 Corte, ação. Reproduza
o vídeo começando em :3:40 e siga a transcrição3:40 Cut, ok, Jane, volte, Katie, Quero
mais movimento de você. >> Então, por que eu compartilhei isso com você? Bem, este é
o meu exemplo de criando uma experiência de XR e usando técnicas mais ou menos do
cinema. Então, se você pensar sobre fazer filmes mais uma vez, então temos todos esses
vários papéis sobre o qual falei anteriormente. E então, como eles realmente fazem?
traduza para designers e desenvolvedores de XR, onde o diretor que geralmente é a
pessoa responsável. E se for um projeto de um homem só, então seria apenas o designer
extra ou o desenvolvedor extra no maior, mais experiência profissional em XR, você pode
ter um líder de projeto. Então isso pode não ser o mesmo tipo de designer ou
desenvolvedor. Mas muitas experiências de XR são, na verdade, apenas criado por quase
uma única pessoa. E essa pessoa então funcionaria em todos esses diferentes tipos de
funções de designer ou desenvolvedor, todas explicadas aqui. Agora, a parte mais
interessante quando se trata de diferenças entre cinema e XR, é o diretor de fotografia,
então a pessoa encarregada de a câmera é na verdade o usuário. E agora isso introduz
muitos desafios interessantes, desafios de design, isso desperta muito interesse nos
usuários e na autonomia, e isso é realmente o que queremos. É como um dos principais
possibilidades de VR e AR: essa ideia de ser capaz de explorar conteúdo virtual em seis
graus de liberdade, e realmente vá em frente e escolha sua própria perspectiva e tudo
mais. Mas do ponto de vista do design, você realmente precisa se certificar de chamar a
atenção do usuário adequadamente existem as dicas visuais e talvez de áudio corretas e,
em todos esses tipos de coisas, então Esse é um desafio interessante. E então, quando
se trata dos atores, bem no lado do XR, muitas vezes é apenas um designer que compõe
cenas de modelos 3D. E se eles não estiverem disponíveis gratuitamente Os modelos 3D
são os designers. Eu sinto que eles realmente precisam os modelos 3D personalizados
mais básicos e , geralmente, você pode fazer isso e aquilo muito sem modelagem 3D ,
mas normalmente você teria que trabalhar com um artista 3D que realmente pode criar
modelos 3D e montá-los e em seguida, anime-os. E, como eu disse, esse é realmente um
conjunto de habilidades que não necessariamente todo designer de XR precisa ter. Outra
forma de realmente trazer personagens A vida seria através da captura de movimento, e
isso é na verdade uma profissão. Então você poderia fazer isso, basicamente esses
atores em um traje corporal. É assim que a maior parte da Marvel filmes que existem por
aí, por exemplo, sendo feitos que não serão as animações mais econômicas, mas muito
realistas, que ele na verdade, sairia dessa maneira. E depois pensando no restante
papéis e suas responsabilidades, então os gaffers são responsáveis pela luz. Alguém
responsável por o áudio, a mixagem do som e, em seguida, o designer de efeitos
especiais. No lado do XR, isso seria principalmente provavelmente o designer de XR
escolheu iluminação e materiais apropriados. Então, realmente certificando-se de que o
3D os modelos têm os materiais, configurações e texturas corretos. E isso é algo que
vamos explorá-los. além disso e, em seguida, também incorporando som. E mais uma
vez, estamos trabalhando com sons espaciais aqui. Então, colocando fontes de som em
3D e certificando-se de que o áudio esteja de acordo com o físico e o ambiente virtual, a
geometria desses, que é muito tarefa interessante para fazer isso bem. Então, esse áudio
também seria ocluído em certo sentido, se houver um obstáculo no meio, isso realmente
aumenta uma experiência mais realista. E, finalmente, especialmente os efeitos, isso é
algo que não há muito que você possa fazer como designer, Quero dizer efeitos de
partículas e talvez sombreadores, se você entendo isso um pouco. Mas na maioria das
vezes, você provavelmente terá que fazer scripts. E então esse é mais o papel de uma
pessoa tecnicamente inclinada. Então eu digo desenvolvimento de XR aqui.
Então, agora eu vou te guiar através do etapas de basicamente ir ao início deste projeto e
apenas a este caso estudo focado no Rei Leão e em como realmente trabalhamos.
Então, primeiro, começamos o storyboard e armação de arame e isso é algo que eu acho
que é inerente a qualquer projeto de XR que eu faça. Eu geralmente começo no papel e
Eu planejo as coisas. Eu tenho uma ideia e eu a esboço. Então, fazendo um
brainstorming para Eu não acontece no ar. Isso realmente acontece no papel. Nesse
caso, obviamente estávamos escolhendo cenas do teaser. Esse teaser estava disponível
para nós. Então isso normalmente seria basta estar na sua cabeça e você tentaria
expressar isso no papel.
Portanto, a maneira como usamos o storyboard e o enquadramento de fios aqui ainda é
relativamente próximo ao sentido tradicional. Mas nós realmente descobrimos que, quais
são os movimentos da câmera, que tipos de personagens estão envolvidos e então, como
eles se movem e como se relacionam entre si e qual é a história. E então quais
sequências vamos escolher, então é assim que usamos o storyboard e wireframing aqui.
E eu vou te mostrar um pouco de o que meus alunos e eu inventamos.
Então, aqui está nosso exemplo, onde meus alunos e eu trabalhei nesse remake do Rei
Leão. Essencialmente, o remake do remake, se você quiser. E tínhamos um orçamento
de $25.
Então, basicamente compramos muitos materiais de prototipagem física, Platão, tínhamos
papel e transparência e muitas ferramentas, e reutilizamos papelão que se tornou então
nosso palco. E o que é muito legal e , dessa forma, é basicamente uma atividade física de
storyboard.
Então, vai além do papel. Na verdade, está muito perto à prototipagem física. Na verdade,
você pode ver isso como um físico protótipo em vez de um storyboard. Mas eu acho que
quando se trata de AR e A realidade virtual reforça essa ideia de prototipagem. E fazer o
storyboard fisicamente, como em 3D. o espaço físico é muito, muito importante. Então,
tivemos muitas iterações aqui e você pode ver como minhas alunas, Jane e Emmy,
estavam filmando e testando e Há outra pessoa filmando Neil. Ao filmá-los e então Katie
também estava em segundo plano. Então, um ótimo grupo de estudantes um pouco de
equipe de filmagem, eles tinham que se certificar de que o fundo está meio certo. Este foi
um dos mais difíceis cenas para filmar em que muitos pequenos movimentos de
personagens e muito legal. E então, sim, foi isso. Enquanto fazíamos o storyboard, você
já podia ver mais ou menos a atividade física de prototipagem. Mas eu te mostrei o que é
feito dos protótipos físicos. E agora eu queria compartilhar com vocês são os protótipos
físicos. Então, é assim que um usuário os experimentaria. E uma coisa que eu convidaria
você pode fazer se quiser, por motivos de direitos autorais, nós não posso jogar nada da
Disney aqui. Mas eu gostaria que você soubesse você pode acessar o YouTube e ter
acesso ao teaser que foi basicamente a inspiração para o nosso trabalho e então você vai
a parte em que James Earl Jones diz tudo, a luz toques é o nosso reino. E então, quando
você vai lá, depois que realmente começa com sua trilha sonora muito legal.
E é assim que eu tenho experimentei este protótipo e geralmente o jogo no meu
estudantes da minha classe. Então eu vou jogar o protótipo físico resultante. E isso está
agora em alguns sensação que você está experimentando, ela foi criada apenas com o
físico, então, somente a realidade. Ainda não há AR, VR, mas é a primeira vez noção de
como seria estar neste mundo virtual e que estamos prototipando aqui. Tudo bem, e aqui
está. Essa é a cena de abertura. E estamos vendo Pride Rock. E então Rafiki está
chegando. Isso era o que havíamos feito anteriormente com VR e vamos lá novamente.
Simba movendo a cabeça e. Reproduza o vídeo começando em :11:56 e siga a
transcrição11:56 Rafiki quebrando aquela coisa, foi uma das cenas mais difíceis que
tivemos Tive que filmar isso em câmera lenta. Você pode ver essa cintilação, que é
apenas a luz e , em seguida, colocá-la na cabeça de Simba e trabalhando até o topo.
Curtindo o bebê Simba. Reproduza o vídeo começando em :12:20 e siga a
transcrição12:20 E então temos essa cena muito legal atrás de onde você pode ver todos
os animais. Quero dizer, eles são um pouco abstratos aqui, mas todos os animais lá
embaixo. Tudo bem, então este é aquele exemplo e esses eram apenas os protótipos
físicos. E então também estávamos fazendo os protótipos distritais. Então, pegamos cada
uma das cenas e o protótipo e depois digitalmente com várias ferramentas, algumas das
quais eu também vou veja alguns dos cursos aqui. Então, envolvemos união. Usamos um
quadro e o WebEx, fizemos algumas modelagens e liquidificadores, mas principalmente
correções. Vários de nossos modelos, na verdade veio do Google Poli e terminamos com
outros blocos do Google ou Pincel inclinável. E então esses são todos os tipos de
ferramentas de modelagem imersiva e criação imersiva, modelagem 3D e ferramentas de
criação imersivas. E então, na verdade, há uma grande variedade das pequenas
tecnologias envolvidas.
Não parece tão polido alguém em nossas resenhas chamaram isso de arte grosseira de
programa, e provavelmente é isso é comparado com a Disney. Mas mesmo isso foi um
grande esforço. Então, vamos dar uma olhada. Então, sim, mostre nosso protótipo digital
com animações roteirizadas. Então, é baseado no teaser e em Rafiki, ele está subindo e
vemos Simba. Você vê algumas reflexões e pode ver algumas diferenças na qualidade
dos modelos. Isso foi novamente, uma das cenas mais difíceis de fazer com animação de
nove horas em cena feita por um dos meus alunos. E então vamos para a final, veja a
cena aqui. Um pouco estática, essa foto. E esse eu realmente gosto porque você Eu
posso ver alguns outros animais lá embaixo. Houve uma transição estranha agora, mas
essa é a transição digital protótipo que criamos. E você pode ver como a câmera gira um
pouco, isso é meio legal. Sim, primeiro é um protótipo, permite você para imaginar a
experiência final.