Reference to video : fonctionnement et bonnes pratiques

La text to video part uniquement de mots. Le modèle décide à quoi ressemble le sujet, donc deux clips avec le même prompt montrent deux personnes différentes.

L'image to video part d'une seule image et l'anime. La première image correspond à la vôtre, mais tout ce qu'elle ne montre pas, comme l'autre côté d'un visage, est inventé au fil du mouvement de caméra, et chaque nouvelle scène exige une nouvelle image de départ.

Cette approche sépare le sujet de la scène. Les références indiquent qui il est ; le prompt indique où il se trouve, ce qui se passe et comment la caméra bouge. Le modèle peut placer le sujet dans un décor qu'aucune image ne montre, sous un angle inédit, tout en conservant son identité. C'est pourquoi le mode convient aux séries, aux publicités et aux courts récits.

La plupart des modèles de reference permettent de désigner chaque entrée dans le prompt. Les modèles Omni de Kling regroupent les images d'un même sujet dans un élément et les appellent @Element1. D'autres modèles désignent les images par leur position. Le nommage compte lorsqu'un plan comporte deux sujets : il indique au modèle quelle image représente la personne et laquelle représente le produit.

Le modèle considère tout ce qui figure dans une référence comme faisant partie du sujet, sauf indication contraire. Un filigrane, un arrière-plan chargé ou un filtre de couleur marqué peuvent se retrouver dans le résultat. Peu de références propres valent mieux que beaucoup de références.

Kling 3.0 Omni accepte jusqu'à sept images de référence, ou une vidéo de référence de 3 à 10 secondes plus jusqu'à quatre images, selon le guide officiel de Kling. Il génère jusqu'à 15 secondes par requête, en 720p ou 1080p, et est disponible via l'API de Kling ainsi que chez des fournisseurs comme fal.ai.

Kling 4.0 est sorti dans l'application de Kling le 15 octobre 2026. Le guide de Kling indique jusqu'à 15 entrées de référence par requête, dont 10 images au maximum, et des clips de 3 à 30 secondes. Son API pour développeurs est encore annoncée comme « bientôt disponible ».

Google Veo 3.1 appelle ce mode Ingredients to Video. La documentation de Google autorise jusqu'à trois images de référence d'une seule personne, d'un seul personnage ou d'un seul produit, et les générations avec références durent toujours 8 secondes.

Seedance 2.5 de ByteDance et H3 de MiniMax proposent eux aussi des modes multi-références. Leurs limites varient selon les fournisseurs d'API : vérifiez celui que vous comptez utiliser.

Pour une personne : une vue de face nette, une vue trois quarts, un profil et un gros plan sur un détail distinctif, comme des lunettes ou un tatouage. Même tenue et même coiffure sur chaque image.

Pour un produit : l'angle principal, l'arrière ou le côté, un gros plan net du logo ou de l'étiquette, et une photo qui montre l'échelle, par exemple le produit dans une main.

La lumière doit être douce et uniforme, les fonds unis et les images nettes en taille réelle. Évitez les filtres, les textes superposés et la forte compression. Trois à cinq bonnes images battent généralement dix images hétérogènes. Si un modèle se limite à trois, choisissez les vues qui révèlent le plus d'identité.

Gardez le sujet hors du prompt et la scène dedans. Omettez la couleur des cheveux et les vêtements, et décrivez plutôt le lieu, l'action, la caméra et la lumière. Par exemple : « Elle se tient sur une plage venteuse à l'heure dorée, regarde la mer, puis jette un coup d'œil à la caméra. Lent travelling avant, du plan moyen au gros plan. »

Ne contredisez pas les références. Si les images montrent des cheveux bruns et que le prompt dit blonds, le modèle doit trancher et vous obtenez un mélange. Si vous voulez un changement, créez de nouvelles références.

Une action par plan fonctionne mieux que trois. Un clip qui doit enchaîner une marche, un demi-tour, un ramassage et un rire en cinq secondes a tendance à se précipiter et à perdre l'identité dans les passages rapides.

Le visage change quand le sujet se détourne. Ajoutez une référence de profil : le modèle devine un angle qu'il n'a jamais vu.

L'étiquette du produit est redessinée. Cadrez pour que l'étiquette ne soit pas au centre, ou ajoutez un gros plan plus net. Les petits caractères restent le point faible des modèles actuels.

L'arrière-plan d'une référence apparaît dans la scène. Remplacez cette image par une photo sur fond uni.

Un clip d'un lot est raté alors que les autres sont corrects. C'est généralement dû au hasard. Relancez d'abord la génération avec les mêmes entrées.

RefVid est conçu autour de ce mode. Connectez-vous, créez un personnage ou un produit, puis importez de 1 à 5 images de référence : JPG, PNG ou WebP, d'au moins 300 px et de 10 Mo maximum chacune, avec la vue principale en premier. Rédigez ensuite un prompt de scène, choisissez une durée de 3 à 15 secondes et lancez la génération. Les clips tournent sur Kling 3.0 Omni et prennent généralement 2 à 10 minutes. RefVid passera à Kling 4.0 dès l'ouverture de son API.