일관된 캐릭터 AI 영상: 모든 클립에서 같은 얼굴

영상 모델은 요청과 요청 사이에 캐릭터를 기억하지 않아요. 매번 프롬프트나 시작 이미지처럼 주어진 것에서 새로 출발하죠. "짧은 빨간 머리에 초록 코트를 입은 여자" 같은 프롬프트는 수백만 명의 사람에 들어맞기 때문에, 클립마다 다른 인물이 나와요. 시작 이미지가 한 장 있으면 나아지지만, 모델은 첫 프레임에서만 그 이미지와 맞추면 돼요. 카메라가 움직이면 이미지에 없던 부분을 채우게 되고, 그 추측은 매번 달라져요.

카메라 앵글이나 조명이 바뀌고 클립이 길어질수록 흔들림은 더 심해져요. 그런데 이런 요소들이 바로 시퀀스를 실제 촬영 영상처럼 느껴지게 만드는 것들이에요.

캐릭터를 길고 자세하게 묘사하면 도움이 될 것 같지만, 실제로는 무작위성을 다른 곳으로 옮길 뿐이에요. 효과가 있는 건 시각 정보예요. 얼굴의 각도를 하나 더 주거나 특징적인 부분을 클로즈업으로 보여주면, 모델이 스스로 결정해야 했던 부분이 그만큼 줄어들어요.

참조 이미지를 지원하는 모델들, 예를 들어 Kling의 Omni 라인, Veo 3.1의 참조-영상 모드, Seedance의 다중 참조 모드는 피사체 이미지 여러 장을 프롬프트와 함께 받아서 누가 나와야 하는지에 대한 설명으로 사용해요. 지금 가장 큰 개선점이에요. 결과는 참조 이미지에 크게 좌우돼요. 조명이 고르고 선명한 이미지 3~10장을 정면, 3/4 측면, 옆얼굴로 나눠 준비하는 편이, 완벽한 인물 사진 한 장보다 나아요.

모델마다 한계와 강점이 달라요. Kling 3.0 Omni는 참조 이미지를 최대 7장 받거나, 짧은 참조 클립 한 개와 이미지 최대 4장을 받아요. Veo 3.1의 참조 모드는 이미지 최대 3장을 받고요. 한 모델에만 묶인 워크플로우는 그 모델의 한계에도 묶여요.

일관성을 조용히 무너뜨리는 주범은 입력을 바꾸는 거예요. 첫 클립에 사진 다섯 장을 썼는데 네 번째 클립에서 다른 사진 세 장을 쓰면, 조금씩 다른 두 캐릭터가 만들어져요. 캐릭터의 참조 이미지는 배우처럼 다뤄 주세요. 한 번 정하고 저장한 다음, 모든 장면에 정확히 같은 세트를 재사용하세요. 의상을 바꿀 때도 의도적으로 캐릭터의 새 버전을 만들어서 바꾸세요.

1. 참조 이미지를 촬영하거나 고르세요: 정면, 왼쪽과 오른쪽 3/4 측면, 옆얼굴, 특징적인 부분(안경, 흉터, 옷의 로고) 클로즈업 한 장. 배경은 단색으로, 빛은 부드럽게, 필터는 쓰지 마세요.

2. 하나의 이름 있는 캐릭터로 저장하세요. 이후에는 캐릭터에 관한 내용을 프롬프트에 넣지 마세요. 프롬프트는 장면, 동작, 카메라만 설명하면 돼요.

3. 장면 프롬프트는 짧고 구체적으로 쓰세요: 어디인지, 캐릭터가 무엇을 하는지, 카메라가 어떻게 움직이는지. "비 오는 밤의 도쿄 거리로 걸어 들어가고, 카메라는 뒤에서 따라가다가 그녀가 렌즈 쪽으로 돌아선다."

4. 클립을 나란히 놓고 검토하세요. 흔들리는 클립이 있으면 프롬프트 문구로 고치려 하지 말고 다시 생성하세요. 흔들림은 보통 체계적이라기보다 무작위로 생겨요.

5. 모든 클립을 캐릭터와 함께 보관하세요. 그래야 다음 장면이 같은 지점에서 시작해요.

위의 모든 내용은 제품, 마스코트, 소품에도 적용돼요. 샷마다 라벨이 바뀌는 병은 광고에 쓸 수 없어요. 제품 참조 이미지에는 대표 앵글, 뒷면, 로고의 선명한 클로즈업을 포함하세요. 작은 인쇄 글씨는 현재 모든 모델의 가장 약한 부분이므로, 작은 글씨가 화면의 주인공이 되지 않도록 샷을 계획하세요.

RefVid는 이 워크플로우를 중심으로 만들어졌어요. 캐릭터 또는 제품을 한 번 만들고 참조 이미지를 업로드하면, 모든 생성이 정확히 그 세트를 재사용하고 선택한 모델이 원하는 형식에 맞춰 준비돼요. 한 에셋의 모든 클립은 하나의 시리즈 보기에 모여 있어서 흔들림을 쉽게 찾을 수 있어요. 모델은 계속 바뀌어요. 지금은 Kling 3.0 Omni를, 나중에는 Kling 4를 쓰더라도 캐릭터를 새로 만들 필요는 없어요.