Manter os mesmos personagens em cada plano foi a parte fácil. Veja o que fez o episódio 1 de GuaPi funcionar.

A parte que o RefVid resolve: os mesmos rostos

Cada personagem ganhou uma folha de design com quatro ângulos e quatro expressões, e cada vista foi conferida a olho. Na primeira folha do ganso, faltava a protuberância preta do bico na vista de frente, então ela foi redesenhada antes de qualquer outra coisa.

Quatro recortes quadrados de cada folha viraram as imagens de referência daquele personagem no Estúdio. A partir daí, cada plano só precisa dizer quem aparece nele. O quintal também ganhou uma pintura própria, para o lugar continuar sempre o mesmo.

• 
  GuaPi · O ganso
• 
  Henry · O menino
• 
  Xiaobai · O cachorro
• 
  Alice · A irmã

Desenhe o instante antes da ação

Todo plano parte de um keyframe, e o keyframe vira o primeiro quadro do clipe. O modelo só consegue avançar a partir dele, então é o desenho que decide o que ainda pode acontecer no clipe.

Nossos primeiros keyframes mostravam o melhor momento de cada plano: os três já caídos no edredom, o ventilador já soltando fumaça, a poeira já no ar. Esses clipes não tinham mais nada para animar e quase não se mexiam. Redesenhados como o instante logo antes, os mesmos prompts nos deram a queda, a explosão e a briga.

Os 14 keyframes da versão final, desenhados na ordem dos planos para que cada um comece onde o anterior termina.

Um acontecimento por plano, e diga com que força ele acontece

Cada plano é uma geração própria de 3 segundos: o keyframe como primeiro quadro, só os personagens daquele plano, sem som. O prompt descreve a única coisa que acontece nesses três segundos, com que violência ela acontece e como o rosto muda.

Pedir três coisas num plano só não nos deu nenhuma delas. O cachorro pegando a fatia, o menino se virando e o ganso indo embora era demais para 3 segundos, então virou um acontecimento só: a fatia cai na boca do cachorro.

Plano

Plano 12, a explosão

Personagens

Henry

Configurações

Kling 3.0 Omni · 3 s · 9:16 · 720p · sem som · keyframe como primeiro quadro

Prompt

The little fan sparks and bursts with a pop: a thick cloud of black smoke explodes out of it, the blades jam and stop, the umbrella jolts; Henry's grin turns into wide-eyed panic. Keep the drawn style.

Copiar promptExperimente no Estúdio

Nunca escreva um som num prompt de vídeo. Na primeira versão, pedimos "uma única nota de gaita" e o modelo colocou uma gaita em cima da mesa.

Guarde todos os takes e corte pela ação

Nas primeiras edições, cada clipe era aparado nos segundos do roteiro, contados a partir do início. Isso jogava fora as melhores partes: os olhos em pânico do Henry aparecem bem no fim do plano da explosão. A versão final mantém cada clipe inteiro e só tira defeitos de verdade, como sete quadros borrados no último plano.

Takes antigos também são material. A briga pela melancia são cinco cortes rápidos tirados de três takes diferentes, unidos com um clarão branco a cada golpe e uma leve tremida de câmera.

Coloque cada som no seu quadro

Os clipes foram gerados sem som, e o áudio foi montado depois. A base é o áudio da nossa primeira versão, que foi gerada com som, cortado plano a plano para encaixar. Os impactos vêm de bibliotecas gratuitas de sons CC0, e cada um começa no quadro exato em que a coisa acontece. Numa versão, a explosão entrava 0,9 segundo adiantada, e na hora já parecia errado.

A música é uma gravação em domínio público de Na Gruta do Rei da Montanha. Ela avança na ponta dos pés durante o impasse, toca com a orquestra inteira na briga e no voo, para de repente na explosão e na queda, e fecha com o último acorde junto com eles.

Oito versões

Cada versão ensinou uma regra, e cada regra entrou no método abaixo antes de a versão seguinte começar.

1. 
   AnimaticKeyframes parados com movimentos de câmera. Bom para o timing, mas não é um vídeo.
2. 
   v1Cinco clipes mais longos, com som e sem keyframes. Os planos ignoraram os desenhos.
3. 
   v2 a v5Um clipe de 3 segundos por plano, a partir do seu keyframe. Quatro planos quase não se mexeram.
4. 
   v6Quatro keyframes redesenhados como o instante antes; os sons, colocados nos seus quadros.
5. 
   v7 e v8A briga remontada a partir de três takes e, depois, todos os clipes mantidos inteiros.

Quanto custou

Cerca de $10 em geração de vídeo para o episódio inteiro, a maior parte gasta na primeira versão, que fizemos antes de desenhar qualquer coisa. As folhas de design e os keyframes não custaram nada a mais.

Como fazer uma série de desenho com IA: nosso método

1. 1Escreva de 12 a 16 planos com um acontecimento cada e coloque um conflito logo no primeiro segundo.
2. 2Desenhe um keyframe por plano, em ordem, mostrando o instante antes da ação, com as expressões exageradas.
3. 3Gere um clipe de 3 segundos por plano a partir do seu keyframe, só com os personagens daquele plano e sem nenhuma palavra sobre som no prompt.
4. 4Assista a cada take quadro a quadro antes de cortar e guarde os takes antigos.
5. 5Corte pela ação: mantenha os rostos e as reações e tire só o que estiver quebrado.
6. 6Coloque cada som no seu quadro e acrescente a música como uma versão separada.
7. 7Assista à versão final quadro a quadro antes de publicar.