RefVid
GuaPi · Épisode 2: La lampe rétrécissante

Les personnages sont restés les mêmes. Chaque nouvelle prise de l’épisode 2 de GuaPi venait de notre propre erreur, et chacune a laissé une règle.

Par Louis Chi · · 6 min de lecture

plans
16
clips générés
22
versions
6
de génération vidéo
≈ $5.50
L’épisode terminé · Épisode 2: La lampe rétrécissante

Réalisé avec

Studio
RefVid
Modèle vidéo
Kling 3.0 Omni, 3 s par plan, 9:16, 720p, sans son
Images clés
Un modèle d’image, 14 images pour 16 plans ; deux plans prolongent la dernière image du clip précédent
Son
Bruitages CC0, cris d’oie tirés de l’audio généré pour l’épisode 1, un enregistrement du domaine public d’Une nuit sur le mont Chauve

L’épisode 2 de GuaPi dure 36 secondes et compte 16 plans. Henry, GuaPi et Xiaobai leur ressemblent dans tous, car les personnages enregistrés pour l’épisode 1 ont été réutilisés sans changement.

Il a quand même fallu 22 clips pour 16 plans et six versions du montage. Chaque clip en plus venait de quelque chose que nous avions écrit ou oublié, pas d’une dérive des personnages. Cet article montre les nouvelles prises côte à côte, les prompts qui les ont corrigées, et les règles que nous vérifions désormais avant chaque génération.

Cinq rounds : une scène de combat animée par IA en cinq clips

Un seul clip de 3 secondes ne se bat pas à votre place. Demandez-lui une bousculade et vous obtenez deux secondes de personnages qui se serrent sur place. Le combat pour la lampe a donc été écrit en cinq rounds, chacun avec sa propre image clé et son propre clip.

Chaque round inverse le rapport de force : l’oie pique Henry et la lampe s’envole, Xiaobai la rattrape, l’oie atterrit sur la tête de Xiaobai, Henry plonge et l’attrape, puis le chien lui fonce dedans. Montés avec un flash blanc et une légère secousse à chaque coup, les cinq clips font onze secondes de combat.

Les cinq rounds tels qu’ils apparaissent dans l’épisode.
Le round 1 seul : un coup de bec dans l’orteil, et la lampe a disparu.

Les images clés, dessinées dans l’ordre des plans avec la précédente comme référence, pour que chacune commence là où la précédente s’arrête.

Les 14 images clés de l’épisode 2 de GuaPi, en grille

Six nouvelles prises, et ce que chacune nous a appris

Un personnage rétréci regrossit. Les images de référence de GuaPi montrent une oie de taille normale, et dans trois prises sur cinq, la minuscule oie avait retrouvé sa taille réelle en moins de deux secondes. Sauter et chevaucher ramenaient la taille normale ; une petite action près du sol la gardait petite. Le round 1 a été réécrit, d’un bond sur le pouce d’Henry à un coup de bec sur sa basket, et la troisième prise a tenu.

Un personnage que le prompt nomme mais que le plan n’inclut pas se fait inventer. Le round 5 demandait une minuscule oie sur la tête du chien sans ajouter GuaPi au plan, et le modèle a dessiné un caneton jaune. Un moment de l’histoire que le spectateur doit voir a besoin de son propre plan : l’interrupteur qui passe de réduire à grandir était trop petit pour être lu, jusqu’à ce qu’on le retourne en gros plan.

Même prompt, deux images clés. Choisissez un plan.
Première prise
Un bond sur le pouce d’Henry : l’oie retrouve sa taille normale.
Après la correction
Un coup de bec sur la basket, près du sol : elle reste de la taille d’un moineau.

Écrivez chaque personnage dans le prompt de l’animation IA

Le prompt décrit la seule chose qui se passe en trois secondes, avec quelle force elle se produit et comment le visage change, et il se termine par « Keep the drawn style. » Chaque personnage qu’il mentionne doit aussi faire partie des personnages enregistrés du plan. Pour un personnage de taille inhabituelle, le prompt lui donne un point de comparaison et précise que sa taille reste la même de la première à la dernière image.

Plan
Round 1, le coup de bec
Personnages
Henry, GuaPi
Réglages
Kling 3.0 Omni · 3 s · 9:16 · 720p · sans son · image clé en première image
Prompt

The sparrow-sized goose dashes in low along the ground and pecks Henry hard on the toe of his sneaker; Henry hops up on one foot in pain, his laugh turning into a wide-open pained grimace with bulging eyes, and the shrink torch flies out of his hand, spinning up to the upper right. The goose stays sparrow-sized the whole time. Fast, snappy. Keep the drawn style.

Essayer dans le studio

Regardez chaque plan comme un spectateur

Vérifier que l’action a eu lieu ne suffit pas. Dans un plan de réaction, une lueur rouge baignait le visage d’Henry quand la lampe passait en mode grandir. L’action était là, mais un spectateur y verrait le rayon qui touche Henry, alors que le plan suivant le montre touchant l’oie. Le plan a été retiré de l’épisode.

Chaque prise a donc droit à un second regard avec une seule question : d’après l’image seule, que pense le spectateur qu’il vient de se passer ?

Coupé : la lueur rouge se lit comme Henry touché.
Gardé : le rouge reste sur la lampe, et le plan suivant touche l’oie.

Regardez avant de couper : 29 secondes sont devenues 36

La version 5 durait 29 secondes. Nous avions d’abord fixé une durée pour chaque séquence afin de garder un rythme rapide, et coupé chaque clip à cette durée sans regarder ce qui suivait la coupe. Cela a jeté Xiaobai qui s’éloigne au trot avec la lampe, Henry qui sourit dans la poussière et tout le souffle de l’oie géante.

La version 6 regarde chaque clip jusqu’au bout et ne retire que trois choses : les vraies erreurs, les arrêts où rien ne bouge pendant plus d’une seconde, et les images qui ne se raccordent pas au plan suivant.

PlanVersion 5Version 6
Henry tire avec la lampe2.5 s3.0 s
Xiaobai attrape la lampe1.7 s2.5 s
Le plongeon d’Henry2.3 s3.0 s
L’oie géante2.2 s3.0 s
L’épisode entier29.3 s35.9 s

Chaque son sur son image, dès la première seconde

Chaque impact est un bruitage CC0 placé sur l’image où il se produit : le coup de pied sur l’os, le blaster, le pop quand GuaPi rétrécit, chaque round du combat, l’interrupteur, la croissance. Les cris d’oie viennent de l’audio généré pour l’épisode 1. Un enregistrement du domaine public d’Une nuit sur le mont Chauve passe sous la version avec musique et s’arrête net quand GuaPi grandit.

Dans une version, toute la bande-son avait 0,43 seconde d’avance. Le premier son démarrait après un court silence, et le mixeur commençait à compter à ce son au lieu de zéro. Une piste silencieuse aussi longue que le film se trouve maintenant sous chaque mixage, et le son et l’image doivent sortir à la même durée.

Six versions

Aucune des six versions n’a demandé de nouveaux personnages ni de nouvelles images clés pour tout l’épisode. Trois ont demandé de nouveaux clips ; les autres étaient des remontages de prises que nous avions déjà.

  1. v1 et v2Le premier montage, 27,6 secondes. Un flash blanc manquant, corrigé en v2.
  2. v3La lueur rouge sur Henry coupée, pour que le rayon ne touche que l’oie.
  3. v4Ouverture sur Xiaobai et son os ; l’interrupteur refilmé en gros plan.
  4. v5Une fin : l’oie géante se retourne et s’en va.
  5. v6Chaque clip regardé jusqu’au bout ; 29 secondes sont devenues 36.

Ce que ça a coûté

Environ $5.50 de génération vidéo, contre environ $10 pour l’épisode 1. Cette fois, il n’y a pas eu de première version à jeter ; six des 22 clips étaient des nouvelles prises.

ÉtapeCe que nous avons généréCoût de génération
Première passe16 clips de 3 secondes, sans son≈ $4.00
Nouvelles prises6 clips de 3 secondes, sans son≈ $1.50
Versions 1 à 6Rien de nouveau en dehors des nouvelles prises : remontages de prises existantes$0

La liste de contrôle avant chaque génération

  1. 1Chaque personnage nommé dans le prompt fait partie des personnages enregistrés du plan.
  2. 2Un personnage rétréci ou géant fait de petites actions près du sol et se mesure à quelque chose dans le plan.
  3. 3La lumière, la fumée et les souffles ne touchent que le personnage censé être touché.
  4. 4Un moment de l’histoire que le spectateur doit voir, comme un interrupteur, a son propre plan en gros plan.
  5. 5L’image clé est la première image, et les réglages sont 3 secondes, 9:16, 720p, sans son.
  6. 6Générez deux ou trois clips, regardez-les image par image, puis générez les suivants.

Questions

Pourquoi l’oie rétrécie n’arrêtait-elle pas de regrossir ?
Le modèle garde un personnage enregistré proche de ses images de référence, et celles de GuaPi montrent une oie de taille normale. Les grands mouvements, comme sauter ou chevaucher, la ramenaient à sa taille réelle. Les petites actions près du sol, avec un prompt qui lui donne un point de comparaison, l’ont gardée de la taille d’un moineau.
Combien de clips faut-il pour un épisode de 36 secondes ?
Seize plans de 3 secondes, un clip par plan, puis les nouvelles prises. L’épisode 2 a utilisé 22 clips : 16 pour la première passe et 6 nouvelles prises, soit environ $5.50 de génération dans le studio RefVid.
Puis-je réutiliser ces prompts pour mes propres personnages ?
Oui. Remplacez par les noms de vos personnages, enregistrez chacun une fois dans RefVid à partir de quelques images, utilisez une image clé en première image, et gardez la phrase finale « Keep the drawn style. » pour un rendu dessiné.