Dieselben Figuren in jeder Einstellung waren der leichte Teil. Das hat GuaPi Folge 1 wirklich zum Funktionieren gebracht.

Was RefVid übernimmt: dieselben Gesichter

Jede Figur bekam ein Design-Sheet mit vier Ansichten und vier Gesichtsausdrücken, und jede Ansicht wurde mit bloßem Auge geprüft. Im ersten Sheet der Gans fehlte in der Frontansicht der schwarze Höcker auf dem Schnabel, also wurde es neu gezeichnet, bevor irgendetwas anderes passierte.

Vier quadratische Ausschnitte aus jedem Sheet wurden im Studio zu den Referenzbildern dieser Figur. Ab da muss eine Einstellung nur noch nennen, wer darin vorkommt. Auch der Hof bekam ein eigenes Bild, damit der Ort derselbe bleibt.

• 
  GuaPi · Die Gans
• 
  Henry · Der Junge
• 
  Xiaobai · Der Hund
• 
  Alice · Die Schwester

Zeichne den Moment vor der Aktion

Jede Einstellung beginnt mit einem Keyframe, und der Keyframe wird zum ersten Bild des Clips. Das Modell kann von dort aus nur vorwärts, also entscheidet die Zeichnung, was im Clip noch passieren kann.

Unsere ersten Keyframes zeigten den besten Moment jeder Einstellung: die drei schon in der Steppdecke gelandet, der Ventilator schon qualmend, der Staub schon in der Luft. Diese Clips hatten nichts mehr zu animieren und bewegten sich kaum. Als Moment kurz davor neu gezeichnet, lieferten dieselben Prompts den Sturz, die Explosion und das Gerangel.

Alle 14 Keyframes des finalen Schnitts, in der Reihenfolge der Einstellungen gezeichnet, damit jeder dort beginnt, wo der vorige endet.

Ein Ereignis pro Einstellung – und sag, wie heftig es passiert

Jede Einstellung ist eine eigene 3-Sekunden-Generierung: der Keyframe als erstes Bild, nur die Figuren dieser Einstellung, Ton aus. Der Prompt beschreibt das eine, was in diesen drei Sekunden passiert, wie heftig es passiert und wie sich das Gesicht verändert.

Als wir drei Dinge in einer Einstellung verlangten, bekamen wir keins davon. Ein Hund, der das Stück fängt, der Junge, der sich umdreht, und die Gans, die davonwatschelt – das war zu viel für 3 Sekunden. Also wurde ein einziges Ereignis daraus: Das Stück fällt dem Hund ins Maul.

Einstellung

Einstellung 12, die Explosion

Figuren

Henry

Parameter

Kling 3.0 Omni · 3 s · 9:16 · 720p · ohne Ton · Keyframe als erstes Bild

Prompt

The little fan sparks and bursts with a pop: a thick cloud of black smoke explodes out of it, the blades jam and stop, the umbrella jolts; Henry's grin turns into wide-eyed panic. Keep the drawn style.

Prompt kopierenIm Studio ausprobieren

Schreib nie ein Geräusch in einen Video-Prompt. In unserer ersten Version haben wir um „einen einzelnen Mundharmonika-Ton“ gebeten, und das Modell hat eine Mundharmonika auf den Tisch gelegt.

Behalte jeden Take und schneide nach der Aktion

Bei unseren ersten Schnitten haben wir jeden Clip auf die Sekunden im Drehbuch gekürzt, vom Anfang an gezählt. Dabei flogen die besten Stellen raus: Henrys panische Augen kommen ganz am Ende der Explosions-Einstellung. Der finale Schnitt lässt jeden Clip ganz und entfernt nur echte Fehler, etwa sieben verschmierte Frames in der letzten Einstellung.

Auch alte Takes sind Material. Das Gerangel um die Wassermelone besteht aus fünf schnellen Schnitten aus drei verschiedenen Takes, verbunden durch einen weißen Blitz bei jedem Treffer und ein leichtes Kamerawackeln.

Setz jedes Geräusch auf seinen Frame

Die Clips wurden stumm generiert, der Ton kam danach. Die Basis ist der Ton unserer ersten Version, die mit Ton generiert wurde, Einstellung für Einstellung passend geschnitten. Die Treffer stammen aus kostenlosen CC0-Soundbibliotheken, und jeder setzt genau auf dem Frame ein, in dem es passiert. In einer Version kam die Explosion 0,9 Sekunden zu früh, und das sah sofort falsch aus.

Die Musik ist eine gemeinfreie Aufnahme von „In der Halle des Bergkönigs“. Sie schleicht durch das Kräftemessen, spielt mit vollem Orchester durch Rauferei und Flug, bricht bei Explosion und Sturz schlagartig ab und landet ihren Schlussakkord zusammen mit den dreien.

Acht Versionen

Jede Version hat uns eine Regel beigebracht. Jede Regel kam in die Methode unten, bevor die nächste Version begann.

1. 
   AnimaticStehende Keyframes mit Kamerabewegungen. Gut fürs Timing, aber kein Video.
2. 
   v1Fünf längere Clips mit Ton und ohne Keyframes. Die Einstellungen ignorierten die Zeichnungen.
3. 
   v2 bis v5Ein 3-Sekunden-Clip pro Einstellung aus ihrem Keyframe. Vier Einstellungen bewegten sich kaum.
4. 
   v6Vier Keyframes als Moment davor neu gezeichnet; Geräusche auf ihre Frames gesetzt.
5. 
   v7 und v8Die Rauferei aus drei Takes neu geschnitten, dann jeder Clip ungekürzt behalten.

Was es gekostet hat

Rund $10 Videogenerierung für die ganze Folge, das meiste davon für die erste Version, die wir gemacht haben, bevor überhaupt etwas gezeichnet war. Design-Sheets und Keyframes kosteten nichts extra.

Wie man eine KI-Zeichentrickserie macht: unsere Methode

1. 1Schreib 12 bis 16 Einstellungen mit je einem Ereignis und bau gleich in der ersten Sekunde einen Konflikt ein.
2. 2Zeichne einen Keyframe pro Einstellung, der Reihe nach, mit dem Moment vor der Aktion und übertriebenen Gesichtern.
3. 3Generiere pro Einstellung einen 3-Sekunden-Clip aus ihrem Keyframe, nur mit den Figuren dieser Einstellung und ohne Geräuschwörter im Prompt.
4. 4Sieh dir jeden Take Frame für Frame an, bevor du schneidest, und heb die alten Takes auf.
5. 5Schneide nach der Aktion: Behalte Gesichter und Reaktionen und entferne nur, was kaputt ist.
6. 6Setz jedes Geräusch auf seinen Frame und füge die Musik als eigene Version hinzu.
7. 7Sieh dir den finalen Schnitt Frame für Frame an, bevor er rausgeht.