Reference to Video: So funktioniert es und so gelingt es dir

Text-to-Video startet nur mit Worten. Das Modell legt selbst fest, wie das Motiv aussieht, weshalb zwei Clips mit demselben Prompt zwei verschiedene Personen zeigen.

Image-to-Video nimmt ein einzelnes Bild und belebt es. Das erste Frame entspricht deinem Bild. Alles, was das Bild nicht zeigt, etwa die Rückseite eines Gesichts, wird mit der Kamerabewegung erfunden, und für jede neue Szene brauchst du ein neues Startbild.

Dieser Ansatz trennt das Motiv von der Szene. Die Referenzen legen fest, wer zu sehen ist. Der Prompt beschreibt, wo es spielt, was passiert und wie sich die Kamera bewegt. Das Modell kann das Motiv in eine Szene setzen, die keines der Bilder zeigt, und aus einem Winkel, den keines der Bilder zeigt, und trotzdem die Identität bewahren. Deshalb eignet sich der Modus für Serien, Werbespots und kurze Geschichten.

Die meisten Referenzmodelle erlauben, im Prompt auf jede Eingabe zu verweisen. Die Omni-Modelle von Kling fassen die Bilder eines Motivs zu einem Element zusammen und sprechen es als @Element1 an. Andere Modelle adressieren Bilder über ihre Position. Die Benennung ist wichtig, wenn eine Szene zwei Motive hat: Sie zeigt dem Modell, welches Bild die Person und welches das Produkt ist.

Das Modell behandelt alles in einer Referenz als Teil des Motivs, sofern du nichts anderes angibst. Ein Wasserzeichen, ein unruhiger Hintergrund oder ein starker Farbfilter können in das Ergebnis einsickern. Wenige saubere Referenzen schlagen viele unsaubere.

Kling 3.0 Omni nimmt bis zu sieben Referenzbilder oder ein Referenzvideo von 3 bis 10 Sekunden plus bis zu vier Bilder, laut dem eigenen Leitfaden von Kling. Pro Anfrage erzeugt es bis zu 15 Sekunden in 720p oder 1080p. Verfügbar ist es über die API von Kling und Anbieter wie fal.ai.

Kling 4.0 erschien am 15. Oktober 2026 in der eigenen App von Kling. Laut dem Leitfaden sind bis zu 15 Referenzeingaben pro Anfrage möglich, darunter bis zu 10 Bilder, sowie Clips von 3 bis 30 Sekunden. Die Entwickler-API ist noch als "demnächst verfügbar" gekennzeichnet.

Google Veo 3.1 nennt den Modus Ingredients to Video. Laut Googles Dokumentation sind bis zu drei Referenzbilder einer einzelnen Person, Figur oder eines Produkts erlaubt, und Generierungen mit Referenzen sind immer 8 Sekunden lang.

Seedance 2.5 von ByteDance und MiniMax H3 bieten ebenfalls Modi mit mehreren Referenzen. Ihre Grenzen unterscheiden sich je nach API-Anbieter, prüfe also den Anbieter, den du nutzen willst.

Bei einer Person: eine klare Frontansicht, eine Dreiviertelansicht, ein Profil und eine Nahaufnahme von allem Auffälligen, etwa einer Brille oder einem Tattoo. Gleiche Kleidung und Frisur auf jedem Bild.

Bei einem Produkt: der Hauptwinkel, die Rück- oder Seitenansicht, eine scharfe Nahaufnahme von Logo oder Etikett und eine Aufnahme, die die Größe zeigt, etwa das Produkt in der Hand.

Das Licht sollte weich und gleichmäßig sein, der Hintergrund schlicht und die Bilder in voller Größe scharf. Verzichte auf Filter, Texteinblendungen und starke Kompression. Drei bis fünf starke Bilder schlagen meist zehn gemischte. Begrenzt ein Modell auf drei Bilder, wähle die Ansichten, die pro Bild am meisten Identität zeigen.

Halte das Motiv aus dem Prompt heraus und die Szene hinein. Verzichte auf Haarfarbe und Kleidung. Beschreibe stattdessen Ort, Handlung, Kamera und Licht. Zum Beispiel: "Sie steht bei Sonnenuntergang an einem windigen Strand, blickt aufs Meer und schaut dann kurz in die Kamera. Langsames Heranfahren von einer Halbtotalen zur Nahaufnahme."

Widersprich den Referenzen nicht. Zeigen die Bilder braune Haare und der Prompt sagt blond, muss das Modell sich entscheiden, und du bekommst eine Mischung. Wenn du etwas ändern willst, erstelle neue Referenzen.

Eine Handlung pro Einstellung funktioniert besser als drei. Ein Clip, der Gehen, Drehen, Aufheben und Lachen in fünf Sekunden unterbringen muss, wirkt gehetzt und verliert in den schnellen Passagen an Identität.

Das Gesicht verändert sich, wenn sich das Motiv abwendet. Füge eine Profilreferenz hinzu. Das Modell rät sonst einen Winkel, den es nie gesehen hat.

Das Produktlogo wird neu gezeichnet. Rahme die Einstellung so, dass das Etikett nicht im Fokus steht, oder füge eine schärfere Nahaufnahme hinzu. Kleingedruckte Schrift ist nach wie vor die schwächste Stelle aktueller Modelle.

Der Hintergrund einer Referenz taucht in der Szene auf. Ersetze das Bild durch eines mit schlichtem Hintergrund.

Ein Clip in einer Charge ist daneben, die anderen sind in Ordnung. Das ist meist Zufall. Generiere zuerst mit denselben Eingaben neu.

RefVid ist um genau diesen Modus herum gebaut. Du meldest dich an, legst eine Figur oder ein Produkt an und lädst 1 bis 5 Referenzbilder hoch: JPG, PNG oder WebP, mindestens 300 px und jeweils bis 10 MB, mit der Hauptansicht zuerst. Dann schreibst du einen Szenen-Prompt, wählst eine Länge von 3 bis 15 Sekunden und generierst. Die Clips laufen auf Kling 3.0 Omni und brauchen meist 2 bis 10 Minuten. RefVid wechselt auf Kling 4.0, sobald dessen API verfügbar ist.