RefVid
GuaPi · Folge 2: Die Schrumpf-Taschenlampe

Die Figuren blieben gleich. Jeder Retake in GuaPi Folge 2 war unser eigener Fehler, und jeder hat eine Regel hinterlassen.

Von Louis Chi · · 6 Min. Lesezeit

Einstellungen
16
generierte Clips
22
Versionen
6
für die Videogenerierung
≈ $5.50
Die fertige Folge · Folge 2: Die Schrumpf-Taschenlampe

Gemacht mit

Studio
RefVid
Videomodell
Kling 3.0 Omni, 3 s pro Einstellung, 9:16, 720p, ohne Ton
Keyframes
Ein Bildmodell, 14 Bilder für 16 Einstellungen; zwei Einstellungen setzen am letzten Frame des vorigen Clips an
Ton
CC0-Soundeffekte, Gänsegeschnatter aus dem generierten Ton von Folge 1, eine gemeinfreie Aufnahme von „Eine Nacht auf dem kahlen Berge“

GuaPi Folge 2 ist 36 Sekunden lang und hat 16 Einstellungen. Henry, GuaPi und Xiaobai sehen in allen aus wie sie selbst, weil die für Folge 1 gespeicherten Figuren unverändert wiederverwendet wurden.

Trotzdem waren es 22 Clips für 16 Einstellungen und sechs Versionen des Schnitts. Jeder zusätzliche Clip ging auf etwas zurück, das wir geschrieben oder weggelassen haben, nicht auf Figuren, die sich verändert haben. Dieser Artikel zeigt die Retakes nebeneinander, die Prompts, die sie behoben haben, und die Regeln, die wir jetzt vor jeder Generierung prüfen.

Fünf Runden: eine animierte KI-Kampfszene aus fünf Clips

Ein einzelner 3-Sekunden-Clip kämpft nicht für dich. Verlangst du ein Gerangel, bekommst du zwei Sekunden Figuren, die sich auf der Stelle umarmen. Deshalb wurde der Kampf um die Lampe als fünf Runden geschrieben, und jede Runde bekam einen eigenen Keyframe und einen eigenen Clip.

In jeder Runde wechselt, wer gewinnt: Die Gans pickt Henry, und die Lampe fliegt, Xiaobai fängt sie, die Gans landet auf Xiaobais Kopf, Henry hechtet und schnappt sie sich, und der Hund kracht in ihn hinein. Mit einem weißen Blitz und einem kleinen Wackeln bei jedem Treffer geschnitten, werden aus den fünf Clips elf Sekunden Kampf.

Die fünf Runden, wie sie in der Folge zu sehen sind.
Runde 1 für sich: ein Pick in den Zeh, und die Lampe ist weg.

Die Keyframes, in der Reihenfolge der Einstellungen gezeichnet, mit dem vorigen Keyframe als Referenz, damit jeder dort beginnt, wo der letzte endet.

Die 14 Keyframes von GuaPi Folge 2 in einem Raster

Sechs Retakes und was jeder uns beigebracht hat

Eine geschrumpfte Figur wächst wieder. GuaPis Referenzbilder zeigen eine Gans in voller Größe, und in drei von fünf Takes war die winzige Gans innerhalb von zwei Sekunden wieder voll groß. Sprünge und Reiten brachten die Größe zurück; eine kleine Aktion dicht am Boden hielt sie klein. Runde 1 wurde von einem Sprung auf Henrys Daumen zu einem Pick in seinen Turnschuh umgeschrieben, und der dritte Take hielt.

Eine Figur, die der Prompt nennt, die aber nicht in der Einstellung vorkommt, wird erfunden. In Runde 5 sollte eine winzige Gans auf dem Kopf des Hundes sitzen, ohne dass GuaPi zur Einstellung hinzugefügt war, und das Modell zeichnete ein gelbes Entenküken. Ein Handlungsmoment, den der Zuschauer sehen muss, braucht eine eigene Einstellung: Der Schalter, der von Schrumpfen auf Wachsen springt, war zu klein, um ihn zu erkennen, bis wir ihn noch einmal als Nahaufnahme gedreht haben.

Gleicher Prompt, zwei Keyframes. Wähl eine Einstellung.
Erster Take
Ein Sprung auf Henrys Daumen: Die Gans wächst auf volle Größe zurück.
Nach der Korrektur
Ein Pick in den Turnschuh, dicht am Boden: Sie bleibt spatzengroß.

Schreib jede Figur in den Prompt für die KI-Zeichentrickanimation

Der Prompt beschreibt das eine, was in drei Sekunden passiert, wie heftig es passiert und wie sich das Gesicht verändert, und er endet mit „Keep the drawn style.“ Jede Figur, die darin vorkommt, muss auch eine der gespeicherten Figuren der Einstellung sein. Bei einer Figur in ungewöhnlicher Größe gibt der Prompt ihr etwas, woran sie sich messen lässt, und sagt, dass die Größe vom ersten bis zum letzten Frame gleich bleibt.

Einstellung
Runde 1, der Pick
Figuren
Henry, GuaPi
Parameter
Kling 3.0 Omni · 3 s · 9:16 · 720p · ohne Ton · Keyframe als erstes Bild
Prompt

The sparrow-sized goose dashes in low along the ground and pecks Henry hard on the toe of his sneaker; Henry hops up on one foot in pain, his laugh turning into a wide-open pained grimace with bulging eyes, and the shrink torch flies out of his hand, spinning up to the upper right. The goose stays sparrow-sized the whole time. Fast, snappy. Keep the drawn style.

Im Studio ausprobieren

Sieh dir jede Einstellung an wie ein Zuschauer

Es reicht nicht zu prüfen, ob die Aktion passiert ist. In einer Reaktionseinstellung wanderte ein rotes Leuchten über Henrys Gesicht, als die Lampe auf Wachsen umschaltete. Die Aktion war da, aber ein Zuschauer liest es so, als träfe der Strahl Henry, während ihn die nächste Einstellung auf der Gans zeigt. Die Einstellung flog aus der Folge.

Deshalb bekommt jetzt jeder Take einen zweiten Blick mit einer Frage: Was glaubt ein Zuschauer allein anhand des Bildes, was gerade passiert ist?

Raus: Das rote Leuchten wirkt, als würde Henry getroffen.
Drin: Das Rot bleibt auf der Lampe, und die nächste Einstellung trifft die Gans.

Erst ansehen, dann schneiden: aus 29 Sekunden wurden 36

Version 5 war 29 Sekunden lang. Wir hatten zuerst für jeden Abschnitt eine Länge festgelegt, um das Tempo hoch zu halten, und jeden Clip darauf gekürzt, ohne anzusehen, was nach dem Schnitt kommt. Dabei flogen Xiaobai, der mit der Lampe davontrottet, Henry, der im Staub grinst, und der ganze Blitz der Riesengans raus.

Version 6 sieht sich jeden Clip bis zum Ende an und entfernt nur drei Dinge: echte Fehler, Stellen, an denen sich länger als eine Sekunde nichts bewegt, und Frames, die nicht zur nächsten Einstellung passen.

EinstellungVersion 5Version 6
Henry feuert die Lampe ab2.5 s3.0 s
Xiaobai fängt die Lampe1.7 s2.5 s
Henrys Hechtsprung2.3 s3.0 s
Die Riesengans2.2 s3.0 s
Die ganze Folge29.3 s35.9 s

Jedes Geräusch auf seinem Frame, von der ersten Sekunde an

Jeder Treffer ist ein CC0-Soundeffekt, der auf dem Frame sitzt, in dem er passiert: der Stampfer auf dem Knochen, der Blaster, der Plopp, als GuaPi schrumpft, jede Runde des Kampfs, der Schalter, das Wachsen. Das Geschnatter stammt aus dem generierten Ton von Folge 1. Eine gemeinfreie Aufnahme von „Eine Nacht auf dem kahlen Berge“ läuft unter der Musikversion und bricht schlagartig ab, als GuaPi wächst.

In einer Version lag der ganze Soundtrack 0,43 Sekunden zu früh. Das erste Geräusch begann nach einer kurzen Stille, und der Mixer begann an diesem Geräusch zu zählen statt bei null. Seitdem liegt unter jedem Mix eine stille Spur in der Länge des Films, und Ton und Bild müssen am Ende gleich lang sein.

Sechs Versionen

Keine der sechs Versionen brauchte neue Figuren oder neue Keyframes für die ganze Folge. Drei brauchten neue Clips; der Rest waren Neuschnitte aus Takes, die wir schon hatten.

  1. v1 und v2Der erste Schnitt, 27,6 Sekunden. Ein fehlender weißer Blitz wurde in v2 behoben.
  2. v3Das rote Leuchten auf Henry entfernt, damit der Strahl nur die Gans trifft.
  3. v4Beginnt mit Xiaobai und seinem Knochen; der Schalter noch einmal als Nahaufnahme.
  4. v5Ein Ende: Die Riesengans dreht sich um und stolziert davon.
  5. v6Jeder Clip bis zum Ende angesehen; aus 29 Sekunden wurden 36.

Was es gekostet hat

Rund $5.50 Videogenerierung, gegenüber rund $10 bei Folge 1. Diesmal gab es keine verworfene erste Version; sechs der 22 Clips waren Retakes.

SchrittWas wir generiert habenGenerierungskosten
Erster Durchgang16 Clips à 3 Sekunden, stumm≈ $4.00
Retakes6 Clips à 3 Sekunden, stumm≈ $1.50
Version 1 bis 6Nichts Neues außer den Retakes: Neuschnitte aus vorhandenen Takes$0

Die Checkliste, die wir vor jeder Generierung durchgehen

  1. 1Jede Figur, die im Prompt genannt wird, ist eine der gespeicherten Figuren der Einstellung.
  2. 2Eine geschrumpfte oder riesige Figur macht kleine Aktionen dicht am Boden und wird an etwas in der Einstellung gemessen.
  3. 3Licht, Rauch und Blitze treffen nur die Figur, die getroffen werden soll.
  4. 4Ein Handlungsmoment, den der Zuschauer sehen muss, wie ein Schalter, bekommt eine eigene Nahaufnahme.
  5. 5Der Keyframe ist das erste Bild, und die Einstellungen sind 3 Sekunden, 9:16, 720p, ohne Ton.
  6. 6Dreh zwei oder drei Clips, sieh sie dir Frame für Frame an, und dreh erst dann die nächsten.

Fragen

Warum ist die geschrumpfte Gans immer wieder gewachsen?
Das Modell hält eine gespeicherte Figur nah an ihren Referenzbildern, und GuaPis Bilder zeigen eine Gans in voller Größe. Große Bewegungen wie Springen oder Reiten haben sie auf volle Größe zurückgezogen. Kleine Aktionen dicht am Boden und ein Prompt, der ihr etwas zum Messen gibt, haben sie spatzengroß gehalten.
Wie viele Clips braucht eine 36-Sekunden-Folge?
Sechzehn Einstellungen à 3 Sekunden, ein Clip pro Einstellung, dazu die Retakes. Folge 2 brauchte 22 Clips: 16 für den ersten Durchgang und 6 Retakes, rund $5.50 Generierung im RefVid-Studio.
Kann ich diese Prompts für meine eigenen Figuren wiederverwenden?
Ja. Setz die Namen deiner eigenen Figuren ein, speichere jede Figur einmal in RefVid aus ein paar Bildern, nimm einen Keyframe als erstes Bild und behalte die Schlusszeile „Keep the drawn style.“ für einen gezeichneten Look.