RefVid
연구

상용 영상 모델에서 사용자가 구도를 정하는 제품 턴테이블 영상을 위한 합성 시작 프레임: 탐색적 사례 연구

저자
RefVid
게시일

상태: 탐색적 엔지니어링 사례 연구이며, 통제된 평가는 수행하지 않았다(계획된 평가는 11절에서 기술한다).

초록

이 보고서는 정규화된 바닥 면적 레이아웃, 참조 사진 컷아웃, 상용 동영상 모델(fal.ai를 통해 사용하는 Kling 4 reference-to-video)의 첫 프레임 조건부 입력, 결정론적인 끝점 정지 구간을 결합한 브라우저 기반 제품 구도 인터페이스를 기술한다. 과제는 약 2,000개 제품의 카탈로그를 가진 유럽의 가구 제조사에서 나왔다. 이 회사는 평범한 제품 사진 서너 장으로 360° 턴테이블 영상을 생성하기를 원했고, 도입을 가로막는 세 가지 결함을 지목했다. 플랫폼 위 제품의 크기와 위치를 제어할 수 없다는 점, 회전 중 제품 일부가 플랫폼 가장자리를 넘어간다는 점, 루프가 다시 시작되는 지점에서 눈에 보이는 튐이 생긴다는 점이다. 이 인터페이스에서는 사용자가 네 가지 레이아웃 매개변수를 설정하고, 구도를 미리 보고, 이를 (UI 가이드 없이) 래스터화해 클립의 시작 이미지로 쓰며, 생성 후 브라우저에서 회전 전후에 정지 프레임을 덧붙인다. 그에 앞서 텍스트만으로 하는 제어, 숫자 레이아웃 지시, 이전 모델에서의 시작·끝 앵커를 먼저 시도했다(3절). 블라인드 처리하지 않은 탐색적 시험에서 출력 첫 프레임은 Kling 4 클립 7개 중 6개에서 합성된 제품과 플랫폼 레이아웃을 대략 따랐다(사진처럼 음영을 넣은 턴테이블에서는 6개 모두, 평면으로 그린 원판에서는 1개 중 0개). 이는 레이아웃 준수이지 프레임 전체의 준수가 아니다. 실제 운영 클립 4개에서 그려 넣은 배경은 4개 중 3개에서 유지되었고, 암체어 클립에서는 모델이 배경을 대체했다. 일부러 설정을 서로 다르게 한 이 네 클립에서는 샘플 프레임에서 제품의 어느 부분도 플랫폼 가장자리를 넘는 것이 보이지 않았고, 보고된 첫 프레임과 마지막 프레임의 차이는 낮았다. 이러한 관찰은 고무적이지만 규모가 작고, 적응적이며, 일부는 독립적으로 재현할 수 없고, 성공률, 제품 간 물리 축척, 회전 내내 판 위에 유지되는지, 이음매 없는 루프 중 어느 것도 입증하지 않는다. 크기 제어는 각 제품의 바닥 면적을 플랫폼에 맞춰 정규화할 뿐, 공통 물리 축척을 부여하지 않는다. 이후 고객이 네 클립에 의견을 주었다(배경, 플랫폼의 두께와 위치, 코너 소파 아래의 둥근 그림자). 프레임 0은 맞춘 스튜디오 배경과, 그려 넣은 타원 대신 흰 배경 사진에서 추출한 제품 자신의 바닥 그림자로 수정되었다(5절). 맞춘 회색 배경과 고정 설정으로 만든 이후의 클립 6개(7.6절)는 관찰 하나를 더했다. 시작 이미지만 쓴 경우 한 침대 클립에서 판이 프레임을 벗어날 때까지 카메라가 꾸준히 다가간 반면, 다른 가구 4개는 0.5 s마다 샘플링한 모든 프레임에서 합성된 구도를 유지했다(운영자의 측정). 같은 합성 프레임을 끝 이미지로도 보낸 침대 반복 테이크는 구도를 유지하고 완전히 한 바퀴 돌았다. 시작 이미지만 쓴 테이크는 드리프트했고 시작과 끝으로 조건부 입력을 준 테이크는 드리프트하지 않았다. 개입의 효과와 변동의 원인은 여전히 알 수 없다. 그럼에도 합성 프레임을 끝 이미지로 보내는 기능은 같은 날 저녁에 구현되어 배포되었다(4.4절). 회전이 자동 또는 360°이면 이제 자동으로 전송된다. 이는 공학적 결정이지 효과의 입증이 아니다. 이후에 만든 대략 짝을 맞춘 두 번째 쌍은 초록 암체어를 720p로, 나머지는 동일한 설정으로, 끝 이미지는 자동 경로로 추가한 것인데, 같은 차이를 보였다. 시작 이미지만 담은 것으로 추정되는 테이크(끝 이미지가 없었다는 점은 시점과 페이지 상태에서 추론한 것이지 요청에서 읽은 것이 아니다)는 판이 프레임을 벗어날 때까지 다가갔고, 시작과 끝 테이크는 구도를 유지하고 완전히 한 바퀴 돌았다. 조건마다 테이크 하나씩인 쌍 두 개로는 효과를 입증할 수 없다. 끝 이미지가 있는 클립과 없는 클립 각 1개, 총 2개는 정면 자세에 1–1.5 s 일찍 도달한 뒤 거의 멈춰 있어 눈에 보이는 정지가 길어졌다. 시작 = 끝 클립 2개 중 하나는 이른 도착 임곗값에 도달했고 하나는 도달하지 않았으므로, 끝 이미지와의 관계는 여전히 불확실하다. 클립 6개 중 5개를 고객에게 보냈으며, 고객의 판정은 아직 받지 못했다. 5절의 음영 변형들은 비교하지 않았다.

1. 서론

1.1 문제와 고객의 요구

입력: 흰 배경 위 한 제품의 카탈로그 사진 3~4장(정면 사진이 첫 번째)과 제품 유형(소파, 안락의자, 코너 소파, 푸프, 침대, 기타). 출력: 둥근 스튜디오 턴테이블 위에서 제품이 고정 카메라 앞에서 한 바퀴 도는 1:1, 9:16 또는 16:9의 짧은 영상.

고객은 유럽의 가구 제조사로, 셀프서비스 AI 영상 플랫폼에서 턴테이블 클립을 여러 개 만들어 보았으며, 결과가 일관되고 표현을 제어할 수 있다면 약 2,000개 제품 컬렉션의 상당 부분에 이를 쓰는 것을 검토하겠다고 밝혔다. 서신에서 요약한 요구 사항은 다음과 같다.

  • R1. 생성 전 크기와 위치 제어, 컬렉션 전체에서의 일관성. 사용자는 플랫폼 위 제품의 축척과 위치를 미리 보고 조정하며, 제품들은 영상 간에 일관된 비율을 유지한다. 고객은 플랫폼에 비해 너무 커서 다리가 가장자리 밖으로 나간 소파, 지나치게 작은 소파, 그리고 단독으로는 괜찮아 보이지만 다른 영상의 소파 옆에서는 비율이 맞지 않는 안락의자를 예로 들었다. 이 요청은 이후 두 차례의 피드백에서 반복되었다.
  • R2. 판 위 유지. 회전하는 동안 제품의 모든 부분이 플랫폼 위에 머문다(회전 도중 뒷다리가 가장자리를 넘어간 코너 소파에 대해 제기됨).
  • R3. 루프. 회전이 다시 시작되는 지점에서 눈에 보이는 튐이 없다. 선택적으로 회전 후 약 2 s의 멈춤을 둔다.
  • R4. 매끄러운 회전, 끊김 없이. 플레이어 측 저속 재생(0.5×)과 관련하여 제기되었다. 일정한 각속도는 요청된 적이 없다.
  • R5. 360° 이외의 회전 범위(270°, 그리고 스윙: 정면에서 한쪽으로 90°, 정면으로 복귀한 뒤 반대쪽으로 90°).
  • R6. 형식별 구도. 9:16, 16:9, 1:1 각각에 대해 크롭이 아닌 별도의 구도를 요구했다. 고객은 소파, 코너 소파, 침대처럼 큰 제품에는 크롭이 불충분하다고 판단했다.

본 보고서는 R1–R3를 다루며, R5와 R6은 설계에 영향을 미치는 부분에서 다룬다.

1.2 상용 엔드포인트에서 이것이 어려운 이유

사진은 장면의 그림이 아니라 참조로서 모델에 전달된다. 턴테이블, 그 크기와 위치, 카메라 거리, 제품 크기는 모델이 스스로 그리며, 각 클립은 독립적으로 생성된다. Kling 4 reference-to-video의 fal 스키마[19]에는 prompt, multi_prompt, duration, start_image_url, middle_image_urls, end_image_url, image_urls, video_urls, elements, voice_ids, resolution, aspect_ratio가 있으며, 카메라 자세, 회전 방향, 물리적 축척, 시드 또는 가이던스를 전달하는 매개변수는 노출되어 있지 않다. 따라서 기하학적 요구 사항은 말이나 이미지로만 표현할 수 있다. 독점 모델의 내부 메커니즘에 대해서는 어떠한 주장도 하지 않는다.

1.3 기여

새로운 영상 생성 방법이 아니라 엔지니어링 통합 및 탐색적 배포 연구이다.

  1. 제품 자체의 컷아웃을 사진처럼 음영을 넣어 그린 턴테이블 위에 사용자가 설정한 네 가지 매개변수에 따라 배치하고, 바닥 그림자는 제품 사진에서 직접 가져오며(5절), 이를 미리 보여 준 뒤 다시점 참조 및 구조화된 프롬프트와 함께 클립의 시작 이미지로(전체 회전에서는 이제 끝 이미지로도, 4.4절) 보내는 브라우저 컴포저.
  2. 생성된 클립에 정지된 끝점 프레임(정지 구간)을 덧붙이는 결정론적 브라우저 후처리.
  3. 실패한 대안들(프롬프트 문구, 수치 레이아웃 텍스트, 다른 모델에서의 시작·끝 앵커와 연쇄 클립, 생성된 다시점 참조 세트)과 여전히 미해결인 신뢰성 한계에 대한 기술.

2. 용어

  • 제품: 카탈로그 품목 하나(SKU). 형태: UI에서 선택하는 제품 유형으로, cm 단위의 일반적인 바닥 면적 W × D를 갖는다(4.3절).
  • 요소: 피사체 참조로 모델에 보내는 한 제품의 사진 묶음(정면 이미지 1장과 참조 이미지들).
  • 합성 시작 프레임: 브라우저가 컴포저로부터 렌더링하여 start_image_url로 보내는 PNG. 미리보기: 화면에 표시되는 같은 구도로, 합성 시작 프레임에는 없는 점선 가이드 링이 있다.
  • 출력 첫 프레임: 모델이 반환한 클립의 첫 번째 디코딩 프레임.
  • 원본 클립: 제공자가 반환한 그대로의 MP4. 정지 구간 클립: 브라우저 후처리(정지 구간 추가, 클립 전체 재인코딩)를 거친 MP4.
  • 크기: 슬라이더 값(30–100%)으로, 제품 바닥 면적에서 회전축으로부터 가장 먼 점까지의 거리를 원판 반지름에 대한 백분율로 나타낸 것이다. 수식에서는 s = size / 100, 즉 분수이다.
  • 레이아웃 준수: 출력 첫 프레임이 제품과 플랫폼을 합성된 크기와 위치에 대략 맞게 보여 주는 것으로, 육안으로 판정한다. 배경 유지: 출력 첫 프레임이 합성된 배경을 유지하는 것. 두 가지는 따로 보고하며, 어느 것도 프레임 전체의 일치가 아니다.
  • 프롬프트 v9: 프롬프트 텍스트의 버전. 확정 레시피: 3절의 로컬 시험 이후 채택된 합성 시작 프레임, 프롬프트 v9, 브라우저 정지 구간의 조합.
  • 운영자: 이후 클립을 생성하고 측정한 팀원. "operator-reported"(운영자 보고)는 측정 파일이 우리가 재확인할 수 있는 증거에 포함되지 않은 값을 표시한다.

3. 방법에 이르기까지

3.1 경과

출발점. 고객이 직접 시도한 첫 결과물은 세 모델로 만든 클립 5개였으며, 웹 쇼핑몰의 휴대폰 스크린샷(상태 표시줄, 주소 표시줄, 툴바 포함, 세로로 긴 흰 이미지 속에 가구가 작게 나옴. 두 세트에는 디테일 클로즈업 사진도 들어 있었다)으로 만들어졌다. 0.5 s마다 한 프레임씩 검토한 결과, Kling 4 클립 3개 중 2개는 이미 깔끔하게 한 바퀴를 돌았다. 문제는 판 위의 크기(판만큼 넓거나 판보다 넓은 소파, 소파처럼 화면을 채운 안락의자, 큰 판 위의 아주 작은 침대), 제품 간 일관성, 한쪽으로만 흔들린 침대, 그리고 한 클립에서 다리 개수가 바뀌는 팔걸이 클로즈업으로의 컷이었다. 클로즈업 컷은 디테일 사진 때문이라고 보았으나, 이는 클립 하나를 읽은 해석일 뿐 시험된 원인이 아니다. 이후 입력은 스크린샷을 약 8% 여백을 두고 가구에 맞게 자르고 디테일 클로즈업을 제외하는 방식으로 준비했다. 플랫폼 자체의 템플릿 예시에서, 신발 클립(Kling 3.0 Omni)은 프롬프트가 360° 전체 회전을 요구했는데도 약 75° 흔들렸다가 돌아왔고, 피규어 클립은 약 270° 돈 뒤 클로즈업으로 컷되었다. 검사한 클립들에서 카메라 구도는 클립 안에서 안정적이었고(판 너비가 프레임의 80.9–81.1%, 제품 윗변은 1.9%, 중심은 3.3% 이동), 이는 프레임 0을 제어점으로 삼을 수 있음을 시사했다. 1:1 클립을 9:16으로 중앙 크롭하면 제품이 최대 28.3% 잘렸다(R6). 측정한 클립은 모두 24 fps였다(Kling 4, Kling 3.0 Omni, PixVerse C1). 처음에는 수동 크기·위치 제어를 만들지 않고 프롬프트 기본값에 의존하기로 결정했으나, 이 결정은 나중에 번복되었다.

출발점: 템플릿 예시와 크롭
그림 1. 플랫폼 자체의 턴테이블 템플릿 예시(신발, Kling 3.0 Omni, 5 s)의 프레임 0–120: 360° 전체를 도는 대신 약 75° 흔들렸다가 돌아온다. 아래는 프레임 111에서 1:1 클립을 9:16과 16:9로 중앙 크롭한 것으로, 9:16 크롭에서는 신발의 뒤꿈치와 앞코가 잘린다.

프롬프트 v1: 회전 설정과 구도 기본값. 회전 설정과 서버에서 구성한 기본값("the whole product stands fully on the turntable … centred … fills most of its surface; the camera is locked off")은 통제된 시험 없이 배포되었다. "Fills most of its surface"는 모든 제품이 판을 채우게 만들어 R1의 후반부와 모순된다. 이 단계의 원래 제안은 이미 첫 프레임을 합성하는 것이었고, 공통 물리적 축척(cm 단위의 고정된 판 너비와 각 제품의 실제 너비)을 위한 별도 옵션도 포함했으나, 후자는 구현되지 않았다.

편집을 통한 매끄러운 저속 재생과 회전 범위(로컬 시험). 프레임 보간(ffmpeg minterpolate)은 단순 반속 재생에 비해 홀드아웃 프레임 오차를 약 4× 줄였지만 부품이 교차하는 곳에서 아티팩트가 생겼다. 보간된 출력은 기각되었고, R4에 대한 해답은 모델 고유 프레임 레이트의 더 긴 클립이 되었다. R5의 경우, 새로 생성하지 않고 기존 360° 클립에서 스윙과 270°를 잘라 냈다. 되돌아 도는 이음매는 깔끔했지만(정상 프레임 간격의 0.90–0.91×), 정면 뷰로 돌아오는 이음매는 정상 간격의 2.28× 튀어서 가장 잘 맞는 프레임과 2–3프레임 블렌드가 필요했을 것이다. 또한 범위를 잘라 내는 방식은 실제로 연속해서 360°를 도는 클립에서만 통하는데, 모델은 이를 보장하지 않았다. 그래서 회전 범위는 대신 프롬프트 문장으로 출시되었고, 이후로 움직이는 구간은 계속 모델이 생성하고 있다.

프롬프트 v2–v8. v2–v7은 제안과 초안이었고 생성에 쓰이지 않았다. v8은 프로덕션에서 시험했다. 스윙을 적용한 침대(Kling 3.0 Omni), 파란 소파(Kling 3.0 Omni와 Kling 4), 크림색 소파와 초록 안락의자(Kling 4)로, 720p, 10 s, 1:1이다(그림 2). 수치 지시(판 간격 5%, 프레임 여백 5%)는 두 모델 모두 따르지 않았다. Kling 3.0 Omni는 큰 판을, Kling 4는 프레임보다 넓은 판을 그렸다. 같은 "first reference orientation as 0°" 문장을 파란 소파(Kling 4)에서는 따랐고 안락의자에서는 따르지 않아, 의자 등받이 쪽에서 시작했다. 크림색 소파의 참조 사진 6장은 같은 소파의 두 가지 구성을 보여 주었고, 영상은 회전 도중 구성이 바뀌었다. 일관되지 않은 참조가 이러한 변화의 그럴듯한 요인이다. 후속 안락의자 테이크(T4b)에서는 사진을 5장에서 4장(정면, 측면, 측후면, 후면)으로 줄여 모두 요소에 넣고 정면을 정면 이미지로 지정했는데, 정면에서 시작해 끊김 없이 한 바퀴를 온전히 돌아 정면으로 돌아왔다. 당시 기록된 잠정적 설명은, 앞선 테이크에서는 다섯 번째(후면) 사진이 요소가 아니라 별도의 참조 이미지로 전달되었다는 것이었다. 클립 한 쌍일 뿐이어서 결정적이지 않지만, 문장 준수뿐 아니라 참조 전달 경로도 시작 자세에 영향을 주었음을 시사한다.

프롬프트 v8 시험
그림 2. 프롬프트 v8 시험 클립 6개(720p, 10 s, 1:1, 합성 시작 프레임 없음)의 0, 1.5, 3, 4.5, 6, 7.5, 9 s 및 프레임 240: Kling 3.0 Omni는 큰 판 위에 작은 제품을 그리고, Kling 4의 판은 프레임 가장자리까지 닿는다. T4(사진 5장)는 안락의자의 등받이 쪽에서 시작해 끝나고, T4b(사진 4장)는 정면에서 시작해 끝난다. 크림색 소파(T3)의 쿠션은 정면 뷰와 끝 사이에 바뀐다.

고객의 컬렉션. 이후 고객은 제품 5개(안락의자 85 × 85 × 82, 소파 240 × 94 × 82, 푸프 105 × 60 × 47, 코너 소파 240 × 200 × 82, 침대 210 × 163 × 123 cm)를 각각 사진 3–4장, 총 16장과 치수표와 함께 보냈다. 모두 약 1200 × 800 px의 흰 배경 컷아웃이다. 푸프 사진은 3D 렌더이며 푸프가 프레임의 약 45%만 채운다. 안락의자, 소파, 침대에는 정후면 뷰가 없다(안락의자와 소파에는 후면 3/4 뷰가 있고, 침대에는 헤드보드 뒷면 뷰가 없다). 코너 소파 사진은 순백 대신 옅은 회색 비네트가 있고 모든 뷰에서 셰이즈가 오른쪽에 있다. 침대의 침구는 사진마다 스타일이 다르다. 본 보고서에서 "평범한 제품 사진"은 이 카탈로그 이미지를 뜻하며, 충실도에 관한 주장은 이 사진들이 보여 주는 범위로 한정된다. 4.3절의 형태 6개 중 5개("기타" 제외)의 일반 바닥 면적은 이 제품들의 치수이다.

숨겨진 프롬프트 레이어. 제품들은 서버 측 프롬프트 레이어를 편집하면서 프로덕션(Kling 4, 1080p, 1:1, 10 s)에서 생성되었다. v1은 "never reverse", v2는 좌석 아래에 흰 기둥이 생긴 테이크 이후 "axis"를 빼고 평평한 원판 문장을 추가, v3는 "frame 1 shows the product at exactly 0°", v4는 새 스윙 문장이다. v3에서 안락의자, 소파, 푸프, 코너 소파는 정면에서 시작해 기둥 없이 한 바퀴를 돌았다. 침대는 두 번 실패했으며, 침대 사진들은 서로 일치하지 않았다. 고객은 그 직전에 수동 크기 조정은 권장하지 않는다는 안내를 받은 상태였다. 이 클립 중 4개가 전달되어 7.2절의 기준선이 되었다. 고객의 답장은 축척, 끝의 튐, 가장자리를 넘어간 코너 소파를 지적했다.

메커니즘 분석, 과잉 약속과 그 정정. 그 피드백에 대한 답장에서 일치하는 마지막 프레임, 멈춤, 크기를 조정한 턴테이블, 새 버전을 약속했다. 검토해 보니 이 중 어느 것도 사용 가능한 메커니즘으로 보장되지 않았으며, 제품 간 정확한 비율, 회전 전체에 걸친 판 위 유지, 첫 프레임과 동일한 마지막 프레임은 보장할 수 없다는 정정을 보냈다. 두 가지 작업 원칙을 정했다. 충족되지 않는 요구 사항은 시험 테이크를 늘리는 대신 메커니즘을 찾아 해결하고, 결과는 고객 자신의 말에 비추어서만 판단한다는 것이다. 분석은 두 경로를 설정했다. 3D 모델에서 렌더링하는 경로(경로 A)와 합성 이미지로 영상을 제약하는 경로(경로 B)이다. 자체 확신도 표시를 붙인 내부 평가는 다음과 같이 결론지었다. 텍스트로는 축척, 판 위 유지, 정확한 루프를 보장할 수 없다(높음). 합성 시작 프레임은 프레임 0을 고정할 수 있다(높음). 프레임 0 이후의 축척은 모델의 동작에 달려 있다(중간, 미검증). 정확한 정지 구간에는 후처리가 필요하다. 고객은 시험을 계속해 달라고 했고, 사용자가 조정할 수 있는 크기와 2 s 멈춤을 다시 요청했다. 우리의 답장은 둘 다 약속했다. 하나는 제품이 프레임을 얼마나 채울지 설정해 각 제품이 일관된 크기로 시작하게 하는 옵션으로, 회전 중 크기가 여전히 바뀔 수 있다는 단서와 다시 생성하면 대개 더 나은 결과가 나온다는 주장을 붙였다. 다른 하나는 전체 회전 후의 2 s 멈춤이다. 이는 서신상의 약속이지 검증된 기술적 결론이 아니었으며, 특히 재생성에 관한 주장은 측정된 비율로 뒷받침되지 않았다.

생성된 4시점 참조 세트. Kling 4 reference-to-video(720p, 10 s, 1:1)의 프로덕션 생성 1건에서, 생성된 코너 소파 다각도 이미지 4장을 하나의 피사체 참조 세트(첫 장은 정면 이미지, 나머지는 참조 이미지)로 썼으며 시작, 끝, 중간 프레임은 쓰지 않았다. 원래 요청 본문은 남아 있지 않았고, 저장된 기록과 현재 코드로 재구성했다. 저장된 프롬프트는 이미 사분면마다 90°, 일정한 속도, 역회전 없음, 구조 불변, 정면 복귀를 요구했고, 동시에 "the spin never stops"와 "zero dwell"이라고도 해서 요청된 멈춤과 충돌했다. 약 8 s에서 긴 좌석과 셰이즈의 이음부에 눈에 띄는 꺾임이 나타났다가 정면 뷰 쪽으로 가면서 펴졌다. 즉 구조적 드리프트이다(각도 측정이 아님). 첫 프레임과 마지막 프레임은 모두 정면에 가까웠지만 셰이즈의 바깥 모서리와 앞다리가 겹치지 않았으므로(프레임 전체 평균 절대 회색 차이 2.1), 검증된 매끄러운 루프는 아니다. 샘플링한 프레임에서 판 가장자리 밖으로 나간 다리는 보이지 않았다. 입력 4개 뷰의 기하학적 일관성은 확인하지 않았으므로 입력의 비일관성과 모델 드리프트를 분리할 수 없다. 이와 별도로, 이미지 모델로 생성한 키프레임 이미지 4장은 각도마다 비율과 디테일 차이를 보였으며 영상 모델에 제출하지 않았다.

생성된 4시점 참조 세트와 출력
그림 3. 생성된 코너 소파 참조 뷰 4개, 1초마다(8 s부터는 0.5 s마다) 표시한 출력 클립, 그리고 첫 프레임과 마지막 프레임 및 그 차이: 둘 다 정면에 가깝지만 셰이즈와 앞다리가 겹치지 않는다(프레임 전체 평균 2.1 회색 단계).

Kling 3.0 Omni에서의 합성 앵커와 연쇄 사분 회전. 일관된 사진 5장이 있는 초록 안락의자(Kling 3.0 Omni, 720p, 무음, 1:1)로 세 조건을 각 3클립씩 시험했다. A는 프로덕션 요청(기준선), B는 A에 합성한 정면 프레임을 start_image_url과 end_image_url 모두로 추가한 것, C는 각 클립이 이전 클립의 마지막 프레임에서 시작해 다음 면의 합성 뷰로 끝나는 3 s 클립 4개의 연쇄이다(270° 뷰는 측면 사진을 좌우 반전한 것). 새 클립을 만들기 전에 기존 클립 9개(모델, 프롬프트, 제품 혼재)를 채점했다. 9개 중 8개는 끝까지 돌았지만, 정상 프레임 간격의 2× 이내로 이어진 것은 9개 중 3개뿐이었고(중앙 크롭 기준 이음매 비율), 회전, 정면 시작, 이음매, 변화 없음을 모두 충족한 것은 T4b뿐이었다. 채점기는 T4와 T4b로 보정했다. 균등 회전 지표는 T4b의 균등한 회전(최대 간격 0.36 s)과 등받이에서 시작한 T4의 회전(1.38 s)을 구분했다. 프레임 전체 이음매 비율은 0.49와 0.88로, 같은 클립에 대한 이전 분석의 중앙 크롭 값(1.0과 1.5)보다 낮았으므로 두 측정은 서로 바꿔 쓸 수 없다. 또한 Kling 4는 안락의자를 프레임 너비의 약 73–75%로 그렸는데, 150 cm 판 위의 실제 크기라면 45%이다. 최종 영상 9개는 제공자 호출 18건(A 3, B 3, C 12), 생성 시간 96초에서 나왔다. 합격 기준은 첫 단계 전에 작성했으며, 절대 이음매 임계값과 역회전 지표는 나중에 추가했다(7.4절). 결과: B와 C 클립 6개 모두에서 프레임 0의 제품 너비가 합성 값의 0.7% 이내였던 반면, A는 −21%에서 +18%까지 달랐고 A 클립 하나는 회전 중 44% 커졌다. 마지막 프레임 대 첫 프레임은 B가 1.9–2.1 회색 단계, C가 3.5–4.5로, A의 7.2–21.8과 대비되었다. 9개 모두에서 16개 프레임을 육안으로 본 결과 가장자리를 넘은 다리는 없었다. 각 조건에서 3개 중 1개 클립은 역회전하거나 지나쳐 돌았다(스트립에서 뷰가 순서에 어긋나게 반복된다. 기준선 클립 하나는 5 s에 다시 정면이 되었다가 등받이 쪽에서 끝나고, B 클립 하나와 C 클립 하나는 정면에 가까운 뷰 다음에 측면 뷰가 나온 뒤 정면에서 끝난다). 이 모델에 대한 작업은 중단되었고, 제안된 세 번째 단계(각 구간에서 방향을 명시)는 수행하지 않았다. 모든 프레임에서 제품을 판 위에 붙여 넣거나 프레임을 교체해 영상을 "모델이 생성하지 않은" 것으로 만드는 방안은 배제되었다.

앵커 실험, 1단계
그림 4. 앵커 실험 1단계(Kling 3.0 Omni, 720p): 위는 합성한 앵커 뷰 4개(정면, 측면, 후면, 반전한 측면), 아래는 조건별 클립 1개를 균등한 간격의 11개 시점에서 본 것. 조건 A(프로덕션 요청)는 회전 중 커지고, 조건 B(합성한 정면 프레임을 시작·끝 이미지로 사용)와 조건 C(3 s 클립 4개 연쇄)는 합성된 크기를 유지하며 정면에서 끝난다.
앵커 실험, 2단계 역회전
그림 5. 역회전 지표가 표시한 2단계 클립 3개(조건별 1개)를 균등한 간격의 13개 시점에서 본 것: 조건 A 클립은 5 s에 다시 정면이 되었다가 등받이 쪽에서 끝나고, 조건 B 클립은 6.66 s에 정면에 가까운 뷰, 7.49 s에 측면 뷰가, 조건 C 클립은 7.99 s에 정면에 가까운 뷰, 8.99 s에 측면 뷰가 나타나며, 둘 다 정면에서 끝난다. 이 샘플링에서 스트립은 뷰가 순서에 어긋나게 반복됨을 보여 줄 뿐, 움직임의 방향 자체를 보여 주지는 않는다.

3D 경로(설계했으나 실행하지 않음). 검토한 소스는 고객 자체의 3D 모델, 또는 적은 데모 예산으로 사진에서 image-to-3D로 생성하는 것이었다. 3D 파일 요청 메일은 초안만 쓰고 보내지 않았다. 실행하지 않은 이유로 기록된 것은 다음과 같다. 렌더는 실제 직물과 일치하지 않고, 사진으로 생성한 모델은 추측한 형상과 구워진 조명을 지니며, 별개의 제품 라인이라는 점이다.

수치 레이아웃 줄만 사용, Kling 4. 컷아웃 비용을 피하려고 프롬프트만 쓰는 경로를 먼저 시도했다. 네 가지 설정을 숫자로 적은 Layout 줄이다. 프로덕션 테이크 1건에서 숫자는 지켜지지 않았다. 정지 구간을 덧붙이려던 서버 측 ffmpeg 합성 단계는 정지 프레임을 누락시켰고, 정지 구간 처리는 브라우저로 옮겨졌다.

프롬프트 v9. v9는 레이블이 붙은 줄로 된 초안(Scene, Layout, Rotation, Camera, Motion, Product, 레이아웃 항상 전송, 일정한 속도, 마지막 프레임은 프레임 1과 동일, 강체 제품)과 프로덕션에서 운영 중이던 서버 측 레이어 v4(프레임 1은 0°에서 정면, 원판 중심을 축으로 한 강체 회전, 역회전 금지, 절반 지점에서 후면 뷰가 나오는 사분 타이밍, 스윙에서는 후면을 보이지 않음, 아무것도 솟아오르지 않는 평평한 원판, 원판은 수평이고 제자리에 있음)를 합친 것이다. 프로덕션에 저장된 v4 레이어는 v9의 회전 및 움직임 문장을 덮어쓰므로, 배포 직후 빈 레이어 버전을 저장해야 했다. 그 초기화가 이루어졌는지, 언제 이루어졌는지는 기록되어 있지 않다. 이것이 확인되기 전까지, 이후의 각 프로덕션 생성(7.3절과 7.6절)이 실제로 어떤 회전 및 움직임 문장을 받았는지는 불확실하다. 부록 A의 텍스트는 코드가 구성하는 v9이지, 전송된 내용의 기록이 아니다.

Kling 4에서의 합성 시작 프레임(로컬, 테이크 3개). 실제 API를 호출하는 로컬 배포에서, 고객의 안락의자 사진 3장(정면이 첫 번째)으로 만든 요소를 사용했으며, Kling 4 reference-to-video 720p, 10 s, 1:1, 크기 50%, 턴테이블 76%, 중심 56%, 두께 3%, 시계 방향이다.

  • 테이크 1(평면으로 그린 타원과 그림자). 제공자의 요청 로그에는 이미지가 elements 옆에 start_image_url로 수신된 것으로 나타났다. 출력 첫 프레임은 모델 자체의 구도(큰 원판 위의 큰 의자)였다. 회전 자체는 완전했다.
  • 테이크 2(단일 시각적 개입: 원판을 스튜디오 사진처럼 다시 그림. 음영을 넣은 가장자리, 조명을 받은 윗면, 어두워지는 배경, 바닥 면적 음영. 엔드포인트, 프롬프트, 설정은 동일). 출력은 합성 시작 프레임에서 시작했고, 안락의자는 회전 내내 크기를 유지하며 정면에서 끝났다.
  • 테이크 3(묶음 수정, 세 가지 변경을 함께 적용: 촘촘한 접지 그림자, 프레임 1부터 일정한 속도를 요구하는 새 Motion 프롬프트 줄, 브라우저에서 만든 정지 구간). 합성 시작 프레임에서 시작했고, 크기가 유지되었으며, 5 s에 후면, 끝에 정면이었고, 첫/마지막 SSIM 0.98이었다. 정지 구간 파일은 12.12 s(컨테이너 길이)였고 마지막 2 s는 정지 상태였다. 테이크 3의 결과는 세 가지 변경 중 어느 하나에 귀속시킬 수 없다.

테이크 3을 확정 레시피로 채택했고, 고객이 요청하지 않았으므로 회전 속도의 균일성은 목표에서 제외했다.

로컬 테이크 1-3
그림 6. 로컬 테이크 1–3(Kling 4, 720p, 안락의자, 크기 50%): 합성 프레임 0, 출력 프레임 0, 2.5, 5, 7.5 s 및 회전의 끝. 평면으로 그린 원판(테이크 1)에서는 출력이 큰 원판 위의 큰 의자로 시작하고, 음영을 넣은 원판(테이크 2와 3)에서는 합성된 작은 의자로 시작해 회전 내내 그 크기를 유지한다.

출시, 프로덕션 클립과 피드백. 출시 전 워크스루 검토에 따라 Kling 4에 연동된 사용자 지정 구도, 제품별 형태 기억, 스테이지 위의 컷아웃 버튼, 컷아웃을 명시하는 비용 줄, 멈춤을 표시하는 길이 레이블, 정지 구간을 추가하는 동안의 알림, 더 명확한 레이블이 도입되었다. 이름 붙인 프리셋과 일괄 처리 대기열은 미루었다. 프로덕션 클립 하나가 반시계 방향을 요청했는데 시계 방향으로 돌아서, 방향 설정은 숨겼다. 정지 구간 클립이 같은 플레이어에서 원본 클립을 대체할 때 재생이 멈추는 문제가 있었고, 이는 수정되었다. 상세 페이지에는 클립의 실제 합성 시작 프레임 오버레이가 추가되어, 이전의 도식적인 선 그림을 대체했다. 합성 시작 프레임을 쓴 프로덕션 클립 4개(7.3절)와 스튜디오 튜토리얼을 고객에게 보냈다. 고객의 답장은 특정 사항에 대한 제한적인 긍정적 피드백(우리의 요약으로는, 결과가 원하는 것에 가깝고, 판 지름이 맞으며, 2 s 멈춤이 잘 작동함)과 함께 네 가지 수정 사항을 담고 있었다. 코너 소파의 그림자가 형태를 따르지 않고 둥글었다는 점, 모든 영상에 같은 얇은 플랫폼을 써야 한다는 점, 제품이 모든 영상에서 같은 화면 위치에 있어야 한다는 점, 그리고 안락의자 클립의 배경을 컬렉션 전체에 써야 한다는 점이다. 고객은 두 번째 침대 모델의 사진도 보내며 그 영상을 요청했다. 이는 수락이 아니며, 이후의 클립과는 관계가 없다.

프레임 0 음영과 재작업 클립. 같은 날 오후 프레임 0을 수정했다(5절). 안락의자 클립에 맞춘 선택 가능한 스튜디오 배경, 그려 넣은 타원 제거, 사진에서 떼어 낸 바닥 그림자이다. 이어서 고정 설정과 맞춤 배경으로 재작업 클립 6개를 만들었다(7.6절). 계획은 새 클립 4개(두 번째 침대, 코너 소파, 소파, 푸프)를 각 1테이크씩 만드는 것이었고 안락의자 재작업은 없었으나, 실제로는 6개가 만들어졌다. 계획된 4개, 안락의자, 그리고 두 번째 침대 테이크이다. 침대 반복은 첫 침대 테이크의 드리프트에 따른 것으로, 한 가지 조건(끝 이미지)을 바꾸었다. 안락의자를 다시 만든 이유는 기록되어 있지 않다. 드리프트한 침대 테이크는 생성되었으나 전달되지 않았으므로, 테이크 간 선택이 비용을 늘렸다. 침대 한 쌍 이후, 전체 회전에서 합성 시작 프레임을 끝 이미지로 보내는 기능이 구현·배포되었고(4.4절), 클립 5개가 셀프서비스 절차와 함께 고객에게 전송되었다. 고객의 평가는 아직 대기 중이다.

3.2 연대기

날짜(2026)단계종류결과
11-05 ~ 11-06고객이 직접 만든 클립 5개, 요구 사항 R1–R6, 클립 검토와 입력 준비고객 클립, 피드백, 로컬 검토크기와 일관성이 주된 문제였음. Kling 4 클립 2개는 이미 한 바퀴를 온전히 돌았음
11-06템플릿 클립 측정, 보간 및 범위 자르기 시험, 회전 설정을 포함한 프롬프트 v1로컬 시험, 출시클립 안에서 구도는 안정적, 보간 기각, 자르기에는 실제 360°가 필요
11-07프롬프트 v2–v8, v8 시험과 T4b 쌍생성(클립 6개)수치 텍스트는 지켜지지 않음, 참조 전달 경로가 시작 자세에 영향
11-09컬렉션 수령 및 검사, 숨겨진 프롬프트 레이어 v1–v4생성제품 4개가 정면에서 한 바퀴 돎, 침대는 실패
11-10기준선 전달, 고객 피드백, 메커니즘 분석, 4시점 참조 클립생성, 피드백, 분석축척, 끝의 튐, 판 위 유지 문제 제기, 생성된 뷰에서 구조적 드리프트
11-11Kling 3.0 Omni 앵커 실험생성(영상 9개)앵커로 프레임 0 크기 유지, 조건마다 3개 중 1개 역회전, 중단
11-12이전 약속의 정정, 재요청, 수치 Layout 줄, 프롬프트 v9, 로컬 테이크 1–3, 합성 시작 프레임 출시생성, 출시숫자는 지켜지지 않음, 음영을 넣은 합성 시작 프레임은 따랐고 평면은 따르지 않음
11-13 오전프로덕션 클립 4개, 튜토리얼 전송, 고객 수정 요청생성, 피드백레이아웃 준수, 배경은 4개 중 3개, 수정 요청 4건
11-13 오후배경 맞춤, 타원 제거, 떼어 낸 그림자출시이 단계에서는 생성 없음
11-13 저녁재작업 클립 6개, 자동 끝 이미지, 클립 5개 전송생성, 출시시작 이미지만 쓴 1건 드리프트, start = end 반복은 드리프트 없음, 평가 대기 중

4. 최종 방법

4.1 개요

최종 방법의 파이프라인: 제품 사진은 요소와, 떼어 낸 바닥 그림자를 지닌 컷아웃이 된다. 브라우저는 사용자 설정으로 프레임 0을 합성한다. 합성 시작 프레임은 업로드되어 요소 및 프롬프트 v9와 함께 fal의 Kling 4 reference-to-video로 전송된다. 원본 클립에는 소유자의 브라우저에서 정지 프레임이 덧붙여지고, 정지 구간 클립이 원본 클립을 대체한다.

4.2 사용자 흐름

턴테이블 템플릿에서 사용자가 사용자 지정 구도에 체크하면 모델이 Kling 4로 바뀐다. 빈 스테이지는 선택한 형태의 일반적인 실루엣이 올라간 턴테이블의 실시간 그림으로 바뀐다. 사용자는 컷아웃을 실행하며(사진당 한 번 과금, 실패 시 환불, 이후 재사용), 컷아웃이 실루엣을 대체한다. 숫자 입력란이 딸린 슬라이더 4개가 미리보기를 실시간으로 바꾼다. 턴테이블 위 크기, 화면 속 턴테이블 너비, 턴테이블 두께, 턴테이블 중심 높이이다. 배경 선택은 밝게와 스튜디오 그레이를 오간다(5.1절). 회전과 정지 구간은 사용자 지정 구도 밖에 있으며 비용이 들지 않는다. 컷아웃 없이 사용자 지정 구도에 체크되어 있고, 사용자가 자신의 첫 프레임도 이전 클립의 이어 가기도 제공하지 않았다면, 생성은 거부되고 컷아웃을 실행하라는 안내가 나온다. 자신의 첫 프레임이나 이어 가기가 있으면 합성 시작 프레임 없이 진행된다. 스튜디오의 사진 줄에는 항상 첫 프레임 타일과 마지막 프레임 타일이 표시된다. 비어 있을 때 타일은 업로드 버튼이다. 사용자 지정 구도와 컷아웃이 있으면 첫 프레임 타일에 "자동 시작" 태그가 붙은 합성 시작 프레임이 표시되고, 회전이 자동 또는 360°이면 마지막 프레임 타일에도 "자동 끝" 태그와 함께 표시된다. 자동 타일을 누르면 사용자가 대신 자신의 사진을 고를 수 있다. 생성 후 상세 페이지는 전송된 설정을 나열하고 실제 합성 시작 프레임을 영상 위에 겹쳐 보는 오버레이를 제공하므로, 오버레이는 실제 컷아웃과 출력을 비교한다(그림 10). 그림 7, 8, 10은 배경 선택이 생기기 전에 녹화한 스튜디오 튜토리얼에서 가져왔다.

사용자 지정 구도가 있는 스튜디오 설정 패널
그림 7. 튜토리얼 속 스튜디오 설정 패널: 사용자 지정 구도 체크, 형태 암체어, 슬라이더 4개(크기 91, 턴테이블 76, 두께 3, 중심 56)와 점선 가이드 링이 있는 실시간 미리보기. 프롬프트 텍스트는 흐리게 처리했으며, 하단 자막은 튜토리얼에 입혀져 있다.
실시간 미리보기 순서
그림 8. 스튜디오 튜토리얼 속 스테이지 미리보기의 일곱 순간: 형태 실루엣, 컷아웃 실행 중, 컷아웃 배치, 이어서 크기, 턴테이블 너비, 두께, 중심 높이 변경(레이블 size / width / thickness / centre는 %이며, 스테이지 아래 요약 줄에서 읽음).
자동 첫 프레임 및 마지막 프레임 타일이 있는 사진 줄
그림 9. 스튜디오의 사진 줄(휴대폰 너비 레이아웃, 줄 전체 표시, 2×). 턴테이블 템플릿에서 사용자 지정 구도를 켜고 초록 암체어의 사진 5장을 불러온 상태: 요소 버튼과 업로드 버튼, 이어서 합성 프레임 0으로 채워진 "자동 시작"과 "자동 끝" 타일.
상세 페이지의 설정 오버레이
그림 10. 상세 페이지의 설정 오버레이: 시작 시점(플레이어 0:00)에 클립 위에 그린 합성 시작 프레임, 회전 도중(0:07) 돌아간 의자 위에 반투명하게 겹친 모습, 그리고 회전의 끝(0:09) 위에 겹친 모습.

숫자 입력. 프로덕션 클립을 전달한 날 아침에 수정되기 전까지, 숫자 입력란은 키 입력마다 값을 범위 안으로 고정했기 때문에 크기(30–100)에 "60"을 입력하면 100이 되었다. 7.3절의 프로덕션 클립은 수정 전에 만들어졌다. 기록된 설정은 실제로 전송된 값이므로, 이 결함이 영향을 줄 수 있었던 것은 기록 내용이 아니라 사용자가 의도한 값이며, 그 값 중 어느 것이 드래그가 아닌 입력으로 정해졌는지는 기록되어 있지 않다.

설정은 계정에 유지된다. 턴테이블 매개변수는 모든 형태가 공유하고, 크기와 정지 구간은 형태별로 유지되며, 각 제품의 형태는 요소별로 유지된다.

4.3 구도

  • 스테이지. 원판 중심은 SVG 단위로 (300, 400), 반지름 r = 210이며, 위에서 14° 내려다본다(tilt = sin 14°, 모델 자체의 턴테이블 클립에서 정함).
  • 뷰. 프레임 너비 = 2r × 100 / (턴테이블 너비 %), 높이 = 너비 / 화면비. 원판 윗면의 중심은 프레임의 중심 높이 백분율 위치에 놓인다. 화면비마다 별도의 구도를 갖는다(R6).
  • 원판. 가장자리 높이 = 두께 % × 2r × cos 14°. 음영을 넣은 가장자리, 앞쪽 하이라이트가 있는 조명받은 윗면, 배경(밝게: 바닥 쪽으로 어두워지는 그라데이션, 스튜디오 그레이: 5.1절), 그리고 바닥에 드리운 원판 자체의 그림자로 구성된다. 원래는 흐리게 처리한 바닥 면적 타원도 제품 아래에 접지 그림자로 그렸으나 제거했으며, 이제 제품의 바닥 그림자는 가능한 경우 사진에서 떼어 낸다(5절).
  • 제품 축척. k = r × s / sweep(s는 분수)이며, sweep = √((W/2)² + (D/2)²)는 축에서 바닥 면적의 가장 먼 모서리까지의 거리, W × D는 형태의 일반 바닥 면적이다(소파 240 × 94, 안락의자 85 × 85, 코너 소파 240 × 200, 푸프 105 × 60, 침대 163 × 210, 기타 100 × 60 cm). 컷아웃은 너비 W·k로, 축을 중심으로, 아랫변을 바닥 면적의 앞쪽 가장자리에 맞춰 그린다.

축척 규칙이 하는 일과 하지 않는 일. 각 형태는 자체의 센티미터당 픽셀 계수 k를 가지므로, 이 규칙은 정규화된 바닥 면적 점유율을 제어한다. s = 100%에서는 모든 형태에 대해 바닥 면적의 가장 먼 모서리가 회전하며 지나갈 때 원판 가장자리에 딱 닿는다. 이 규칙은 제품 간 물리적 축척을 보존하지 않는다. W와 D를 모두 두 배로 해도 같은 슬라이더 값에서 그려지는 너비는 변하지 않는다. 같은 s에서 안락의자, 푸프, 소파의 그려진 너비는 297 : 365 : 391 SVG 단위(1 : 1.23 : 1.32)의 비율인 반면, 실제 너비는 85 : 105 : 240 cm(1 : 1.24 : 2.82)이다. 따라서 제품 간 비율(R1의 "일관된 비율")은 사용자가 형태별로 s를 수동으로 고르는 데 맡겨진다. 진정한 카탈로그 축척을 위해서는 공유된 물리적 판 지름이나 공통 센티미터당 픽셀 계수에 더해 각 SKU의 실제 치수가 필요하며, 제품별 치수만을 같은 정규화에 넣어서는 이를 달성할 수 없다.

  • 출력. SVG를 가이드 링 없이 복제·직렬화하여 긴 변 1,280 px의 캔버스에 그리고 PNG로 내보낸다. 따라서 합성 시작 프레임은 UI 가이드를 제외하고 래스터화의 차이를 감안하면 미리보기와 같은 구도를 갖는다. 이 이미지는 업로드되어 start_image_url로 전송된다.

4.4 합성 시작 프레임이 전송되는 경우

시작 이미지로서. 사용자 지정 구도가 켜져 있고, 컷아웃이 있으며, 사용자가 자신의 첫 프레임도 이전 클립의 이어 가기도 제공하지 않은 경우에만 전송된다. 후자 두 가지는 우선한다. 렌더링이나 업로드가 실패하면 오류를 기록하고 시작 이미지 없이 생성을 진행한다. 실패 시 차단하는(fail-closed) 변형은 향후 과제이다.

끝 이미지로서(7.6절의 쌍 비교 이후 추가, 운영자 보고에 따르면 같은 날 저녁 배포). 업로드된 같은 합성 프레임은 다음 조건이 모두 충족될 때 end_image_url로도 전송된다. 합성 프레임이 시작 이미지로 전송되고 있을 것(위의 조건), 사용자가 자신의 마지막 프레임을 설정하지 않았을 것, 모델이 끝 이미지를 받을 것(Kling 4는 받는다), 회전이 자동 또는 360°일 것. 끝 자세가 시작과 다른 270°에서는 보내지 않으며, 0°로 돌아오지만 끝 이미지와 함께 시험해 보지 않은 스윙 ±90°에서도 보내지 않는다. 이를 배포한 것은 공학적 결정이지, 끝 이미지가 구도 드리프트를 막는다는 증거가 아니다. 이 자동 경로를 통한 생성은 하나가 기록되어 있다. 시작 이미지만 쓴 짝 클립이 다가간 반면 구도를 유지한 암체어 클립이다(7.6절). 자동 검사는 두 종류다. 사용자 인터페이스에 대해서는 적용 조건이 기술된 대로 작성되어 있는지 확인하는 정적 검사로, 타일 상태를 렌더링하거나 업로드 및 요청 경로를 실행하지 않는다. 요청 빌더에 대해서는 이를 실행하는 단위 테스트로, 끝 이미지가 Kling 4와 Kling 3.0 Omni의 두 등급에서 end_image_url로 전달되고, 끝 이미지를 지원하지 않는 모델에서는 절대 전달되지 않는지 확인한다. 로컬 환경에서는 컷아웃을 만들 수 없었기 때문에, 개발 중에 실행 중인 인터페이스에서 자동 타일을 확인하지 못했다.

4.5 매개변수

설정범위기본값적용 범위
턴테이블 위 크기(바닥 면적의 가장 먼 점 / 원판 반지름)30–100%70%형태별
화면 속 턴테이블 너비40–95%76%모든 형태
턴테이블 두께(가장자리 / 지름)1–12%3%모든 형태
턴테이블 중심의 위에서부터 위치30–80%56%모든 형태
배경밝게, 스튜디오 그레이밝게모든 형태
회전자동, 360°, 270°, 스윙 ±90°자동클립별
회전 전 / 후 정지0–5 s, 0.1 s 단위0 s / 2 s형태별
방향시계 방향만시계 방향—

범위를 벗어난 값은 범위 안으로 고정되지 않고 서버에서 거부된다. 반시계 방향은 Kling 4가 프로덕션 클립 하나에서 이를 무시한 뒤 숨겨졌으며, 방향은 프롬프트 문장으로만 존재한다.

4.6 프롬프트

서버는 그룹마다 레이블이 붙은 줄을 하나씩 구성한다. Scene(사용자의 말), Layout(네 가지 설정을 말로 표현, 사용자 지정 구도일 때만), Rotation, Camera, Motion, Product이다. 전체 텍스트는 부록 A에 있다. 두 가지 구현 세부 사항이 중요하다.

  • 길이 대체 처리. 프롬프트가 모델의 한도를 넘으면, 정해진 순서로 줄을 빼면서 후보를 시도한다. 사용자 추가 텍스트, Product, Motion, Camera, Rotation, 그다음 Layout 순이며, 최후의 수단은 Scene 줄 하나뿐이다. 따라서 Layout과 Rotation은 대개 전송되지만 항상 전송되지는 않는다.
  • 기본값 억제는 키워드 매칭이다. Camera와 Motion 줄, 그리고 Product 줄의 기본 텍스트는 사용자 자신의 말이 주제 패턴(예: "camera", "zoom", "orbit")과 일치하면 빠진다. 사운드가 꺼져 있으면 Product 줄은 여전히 무음 문장("The video is silent.")을 담는다. 이는 모순의 의미적 탐지가 아니다. 해당 줄과 일치하는 말("keep the camera fixed")에서도 줄을 빼고, 모순되는 일부 표현은 놓친다.

Layout 줄은 합성 시작 프레임이 보여 주는 것을 말로 다시 서술한다. 앞선 시험에서 수치 레이아웃 텍스트만으로는 지켜지지 않았으므로(3.1절), 레이아웃을 전달하는 주된 매체는 이미지로 의도되어 있다.

4.7 정지 구간

정지 구간은 모델에 요청하지 않는다. 원본 클립은 브라우저에서 WebCodecs로 디코딩된다. 브라우저는 앞 정지 구간을 위해 첫 디코딩 프레임의 복사본을, 이어서 디코딩된 클립을, 그다음 뒤 정지 구간을 위해 마지막 디코딩 프레임의 복사본을 기록한다. 오디오를 그에 맞춰 이동하고 정지 구간을 무음으로 채운 뒤, H.264 + AAC로 재인코딩하여 결과를 업로드하며, 이 결과가 원본 클립을 한 번 대체한다. MP4 편집 목록 대신 디코딩을 쓰는 것은 클립이 B-프레임을 사용하고 브라우저가 편집 목록의 정지(dwell)를 따르지 않기 때문이다. ffmpeg 합성 서비스를 거치는 서버 측 경로는 정지 프레임을 누락시킨 뒤로 비활성화된 상태이다.

특성과 한계:

  • 조건부. 클립이 표시될 때 클립 소유자의 브라우저에서 실행된다. 가져오기, 디코딩, 인코딩 또는 업로드가 실패하면 원본 클립은 그대로 두고 이후 방문 시 다시 시도한다. 브라우저의 코덱 지원과 기기 자원에 의존한다.
  • 프레임 단위로 양자화된 정지 복사본. 각 정지 복사본은 한 프레임 길이 전체를 받으며, 시작 시각이 요청된 끝보다 앞서는 동안 복사본이 추가되므로, 반복된 샘플들의 명목 길이 합은 요청된 초를 프레임 단위로 올림한 값이 된다. 24 fps에서 2 s는 정확히 48프레임이지만, 0.1 s는 명목 길이 0.125 s의 복사본 3개가 된다. 타임라인의 나머지 부분은 이 올림을 같은 방식으로 따르지 않는다. 앞 정지 구간의 경우 움직이는 프레임과 오디오가 올림한 값이 아니라 요청된 값(0.1 s)만큼 이동하므로, 마지막 정지 복사본의 명목 구간(0.083–0.125 s)이 첫 움직이는 프레임(0.1 s부터)과 겹친다. 뒤 정지 구간의 경우 복사본은 마지막 움직이는 프레임의 끝에서 시작하지만, 오디오를 무음으로 채우는 데 쓰는 끝 지점은 요청된 값만큼 앞당겨진다. 정지 구간 값이 정수 프레임이면 둘이 일치하며, 분수 정지 구간에서 디코딩된 출력의 타임스탬프와 A/V 정렬은 측정하지 않았다.
  • 무손실이 아님. 클립 전체를 재인코딩하므로 움직이는 구간도 정지 프레임도 디코딩된 원본 클립과 픽셀 단위로 동일하지 않다.

전달된 재작업 클립 4개의 다운로드한 정지 구간 사본에서 측정(7.6절). 각각 24 fps에서 비디오 프레임 289개, 비디오 스트림 12.041667 s, 컨테이너 길이 12.120816 s이다(AAC 오디오 스트림이 더 길다). 다운로드한 10 s Kling 4 클립처럼 원본 클립이 10 s, 241프레임이라면, 프레임 0–240은 디코딩된 원본 프레임이고 프레임 241–288은 10.041667 s에서 시작하는 복사본 48개(2 s)이다. 10.000 s의 프레임 240이 마지막 원본 샘플이다. 원본 파일은 보관하지 않았으므로, 이 경계는 원본 미디어에서 읽은 것이 아니라 프레임 수와 방법으로부터 추론한 것이다. 인코더는 48프레임마다(0, 48, …, 240) 키프레임을 둔다. 그레이스케일(Rec. 601 luma), 전체 1440 px 기준: 첫 복사본(프레임 241) 대비 이후 모든 정지 구간 프레임은 프레임당 평균 절대 차이가 최대 0.010–0.022 회색 단계(범위는 4개 클립에 걸친 것), 픽셀당 최댓값이 5–11이다. 프레임 240 대비로는 최대 프레임당 평균이 0.10–0.12, 픽셀당 최댓값이 12–50(코너 소파에서 50)인데, 이 비교에는 마지막 원본 프레임에서 첫 재인코딩 복사본으로의 단계가 포함되기 때문이다. 소파 클립에서 평균 절대 회색 차이는 프레임 239에서 240까지 0.43, 240에서 241까지 0.11, 241에서 288까지 0.02였다. 따라서 정지 구간은 시각적으로는 정지해 있지만 픽셀 단위로 동일하지는 않으며, 픽셀당 잔차는 가장자리에 집중된 인코딩 노이즈이다.

회전 후 정지 구간
그림 11. 재작업 소파 클립의 회전 후 정지 구간: 프레임 239와 240(마지막 원본 프레임 2개), 241(첫 정지 복사본), 288(마지막 복사본)과 차이 맵(×8, 반전): 239→240 평균 0.43, 240→241 0.11, 241→288 0.02 회색 단계. 정지 구간은 시각적으로는 정지해 있지만 픽셀 단위로 동일하지는 않다.

시험하지 않은 것: 분수 정지 구간, 회전 전 정지 구간, 사운드가 있는 정지 구간 클립의 오디오 동기화, 중단된 처리.

4.8 클립당 비용

단계제공자 정가(2026-11-13 확인)사용자 과금
컷아웃(Bria RMBG 2.0) [21]이미지당 $0.018고정 크레딧 과금, 실패 시 환불, 재사용
Kling 4, 720p [19]$0.157 / s표준 크레딧 규칙
Kling 4, 1080p [19]$0.235 / s표준 크레딧 규칙
구도와 정지 구간$0(브라우저)무료

이는 제공자 가격이지 소매 크레딧 가격이 아니며, 재시도, 선택, 운영자 시간은 제외한다.

5. 프레임 0 음영: 배경과 제품 그림자

프로덕션 클립 4개에 대한 고객의 피드백 이후 프레임 0은 세 가지 방식으로 바뀌었다. 선택 가능한 스튜디오 배경, 제품 아래에 그려 넣은 그림자의 제거, 그리고 제품 자체의 사진에서 떼어 낸 바닥 그림자이다. 세 가지 모두 합성 시작 프레임만 바꾸며, 프롬프트 v9와 요청은 그대로이다. 변경 당시에는 이 중 어느 것도 생성에 쓰인 적이 없었다. 이후 7.6절의 재작업 클립 6개는 그려 넣은 타원 없이 스튜디오 그레이 배경을 사용했으나, 그 프레임 0에 떼어 낸 그림자도 있었는지는 기록되어 있지 않다. 그 관찰은 5.1절과 5.7절에 덧붙였다. 그 밖에 이 절은 관찰된 모델 동작이 아니라 메커니즘과 그 실패 양상을 기술한다.

5.1 배경

프로덕션 클립 4개에는 모두 같은 그려 넣은 밝은 배경이 전송되었다(프레임 0 픽셀이 위, 가운데, 아래에서 243 / 234 / 221). 모델은 코너 소파, 소파, 푸프 클립에서 이를 유지했고(출력 첫 프레임 244 / 234 / 222), 안락의자 클립에서는 첫 프레임부터 더 어두운 회색 스튜디오(모서리의 벽 약 150, 제품 뒤 약 200, 바닥 약 222)로 바꿨다. 이후 고객은 안락의자 클립의 배경을 컬렉션 전체에 써 달라고 요청했다. 그 배경은 한 테이크에서 모델이 스스로 선택한 것이었으므로 어떤 설정으로도 재현되지 않았다. 이제 사용자 지정 구도는 배경 선택으로 밝게(이전의 그림, 기본값) 또는 스튜디오 그레이를 제공하며, 이는 턴테이블 설정과 함께 계정에 유지된다. 스튜디오 그레이는 벽의 방사형 그라데이션, 더 평탄한 바닥의 방사형 그라데이션, 그 사이의 직선 블렌드로 이루어지며, 제품과 판을 제외한 안락의자 클립의 첫 프레임에 맞췄다. 맞춤 결과는 내부적으로 Chrome에서 렌더링했을 때 평균 오차 1.7 회색 단계(0–255)로 보고된다(렌더링 전 맞춤 모델은 1.5). Chrome 측정의 프로토콜(채널 변환, 마스크, 해상도, 브라우저 버전)은 기록되지 않았고 독립적으로 재현되지도 않았다. 저장된 720 px 이미지(참조 프레임, 맞춤 모델, 마스크, 프레임 0 SVG)에 대한 독립 확인에서는 마스크를 > 127로 임계 처리하고(픽셀의 73.4% 유지) 참조 대비 마스크 영역의 평균 절대 회색 차이를 구했으며, 맞춤 모델 이미지(이미 그레이스케일)는 1.63, librsvg 2.58.4로 720 × 720으로 렌더링한 프레임 0 SVG는 Rec. 601 luma 변환으로 1.48, 인코딩된 값에 Rec. 709 가중치를 쓰면 1.43이었다. 이 프로토콜 중 어느 것도 표준이 아니며, 어느 것도 Chrome 수치를 확인하거나 반박하지 않는다. SVG 렌더에는 미리보기의 가이드 없는 실루엣 윤곽선도 포함되어 있으며, 그 일부는 유지된 마스크 안에 있다. 마스크 오차 맵에서 오차는 벽과 바닥의 블렌드 띠와 바깥쪽 벽에 집중된다. 이 맞춤은 프레임 0에서 요청된 모습을 재현하기 위한 것이다.

스튜디오 그레이 배경 맞춤
그림 12. 720 px에서의 스튜디오 그레이 맞춤: 프로덕션 안락의자 클립의 프레임 0, 맞춘 벽 및 바닥 그라데이션 이미지, 마스크 오차 맵(제품과 판은 제외되어 회색으로 표시. 오차는 벽과 바닥의 블렌드 띠와 바깥쪽 벽에 집중. 마스크 평균 1.63), 그리고 librsvg로 렌더링한 프레임 0 SVG.

맞춘 기하. 제품과 판을 마스크한 안락의자 클립 프레임 0의 픽셀에 방사형 그라데이션 2개와 직선 블렌드 하나를 맞췄다. 위치는 판의 뒤쪽 가장자리(y = cy − r · tilt)를 기준으로 하므로 배경은 판의 크기와 높이를 따라간다. 1:1에서 턴테이블 80%, 중심 58%일 때 뒤쪽 가장자리는 안락의자 클립처럼 프레임 높이의 약 48%에 있다. 벽 그라데이션은 뒤쪽 가장자리보다 0.133 h 위(이 설정에서 위에서 35%)를 중심으로 하며, 타원 매개변수는 0.40 w × 0.30 h(그라데이션 반지름은 그 1.71배이므로 마지막 정지점이 대략 모서리에 온다), 회색 정지점은 216, 215, 211, 199, 188, 175, 166, 145이다. 바닥 그라데이션은 뒤쪽 가장자리보다 0.067 h 아래(55%)를 중심으로 하며, 0.80 w × 0.30 h(×1.62), 정지점 231 → 219이다. 벽은 뒤쪽 가장자리보다 0.063 h 위에서 0.037 h 아래까지(42% → 52%)의 직선 수직 블렌드로 바닥 위에 마스크된다. 이전에 손으로 만든 버전들, 즉 추측한 수직 그라데이션과 곡선으로 흐리게 처리한 바닥선은 맞춤을 측정하기 전에 육안으로 틀렸다고 판정되었다(운영자의 설명이며, 그 버전들은 보관되지 않았다).

유지, 두 개의 별도 세트. 밝은 배경, 7.3절의 프로덕션 클립 4개: 4개 중 3개에서 유지(위 참조). 스튜디오 그레이, 7.6절의 재작업 클립 6개(다른 배경, 다른 설정, 다른 참조): 운영자는 6개 모두의 출력에서 회색 스튜디오를 보고한다. 본 보고서에서는 이름이나 내용으로 생성 건과 연결할 수 있었던 다운로드 클립 5개(소파, 푸프, 코너 소파, 침대 클립 2개)에서 회색 스튜디오가 확인되었다. 재작업 안락의자 클립과 연결할 수 있는 다운로드 파일은 없었으므로, 그 유지 여부는 운영자의 보고에만 의존한다. 운영자는 출력의 회색 값을 배경을 맞춘 기준인 안락의자 클립과 비교했다. 벽 모서리 147–150 대 150, 벽 중앙 204–206 대 208, 바닥 229 대 231 및 220–221 대 220이다(각 범위가 어떤 클립을 포함하는지와 샘플 지점은 운영자 보고이며, 측정 파일은 확보하지 못했다). 본 보고서를 위해 다운로드한 정지 구간 사본의 디코딩된 첫 프레임에서 한 표본 확인(위쪽 모서리와 아래쪽 모서리 하나, 4% 정사각형, 그레이스케일)에서는 소파, 푸프, 코너 소파, start = end 침대에서 위쪽 모서리 147–149, 아래쪽 모서리 218–220이었고, 안락의자 프로덕션 클립으로 추정되나 입증되지 않은 다운로드 사본은 151–154와 221이었다. 따라서 두 번째 세트의 유지는 운영자 보고로는 6개 중 6개, 본 보고서에서 확인한 바로는 연결 가능한 다운로드 클립 5개에서이며, 그중 4개에서는 측정 지점의 수치가 가까웠다. 두 세트는 합산하지 않으며, 밝게와 스튜디오 그레이는 동일 조건에서 비교하지 않았다(11절, 절제 실험 9).

5.2 제품의 바닥 그림자: 문제

컷아웃은 배경을 제거하면서 흰 배경 카탈로그 사진에 담긴 바닥 그림자도 함께 제거한다(그림 15에서 좌석과 셰이즈 아래에 그런 그림자가 보인다). 원래 프레임 0은 그려 넣은 바닥 면적 타원으로 이를 보완했다. 이 타원은 20% 검정에 블러를 적용한 것이며, 반축은 형태의 일반 바닥 면적(4.3절)에서 얻은 0.92 × W/2 × k와 0.92 × D/2 × k × tilt이다. 암체어, 소파, 푸프에서는 타원이 대부분 가구 아래에 놓였다. 코너 소파(일반 바닥 면적 240 × 200 cm)에서는 정사각형에 가까운 바닥 면적에서 도출한 채워진 타원이었는데(화면 공간에서 축 비율은 (200/240) × sin 14° ≈ 0.20이므로 화면상으로는 원형이 아니다), 제품은 L자형이어서 타원의 상당 부분이 L자의 빈 모서리에 놓였다(내부 기술에 따르면 약 절반). 고객은 그림자가 코너 소파의 형태를 따르지 않고 둥글다고 지적했으며, 실제 운영 환경에서 만든 코너 소파 클립에서는 회전 중 판 위에 넓은 회색 얼룩이 보인다(그림 13).

약 3 s 시점의 코너 소파 클립
그림 13. 실제 운영 환경의 코너 소파 클립(밝은 배경, 그려 넣은 바닥 면적 타원이 있는 프레임 0)의 약 3 s 시점. 뒤에서 본 소파보다 넓게 소파 주위에 퍼진 회색 얼룩은 프레임 0에 그려 넣은 바닥 면적 그림자가 지속된 것과 부합한다. 정지 프레임 하나로는 그것이 같은 타원임을 입증할 수 없으며, 타원을 제거한 통제 비교 클립은 생성하지 않았다(5.3절, 마지막 행).

5.3 효과가 없었던 대안

대안시도한 내용근거결과
그려 넣은 바닥 면적 타원실제 운영 환경 클립 4개에 배포된 프레임 0코너 소파 회전 중 판 위의 회색 얼룩. 그려 넣은 바닥 면적 그림자의 지속과 부합함(그림 13). 고객의 지적제거함
그림자를 유지하도록 프롬프트를 준 컷아웃그림자를 유지하라는 프롬프트를 준 Bria 컷아웃(정확한 문구는 기록되지 않음), 제품 사진 5장각 가구 아래의 바닥이 반투명 그림자가 아니라 불투명한 흰색에 가까운 픽셀로 돌아왔다(육안 검사). 코너 소파에서 거의 불투명한 픽셀(alpha ≥ 95%)의 비율은 일반 컷아웃의 캔버스 대비 29.1%에서 35.6%로 늘었고, 중간 alpha 픽셀(5–95%)은 1.6%였다(이 보고서를 위해 저장된 PNG에서 측정함. 이 비율만으로는 중간 픽셀이 바닥 그림자인지 분할 경계인지 알 수 없다)사용하지 않음
이미지 모델로 반투명 그림자가 있는 투명 PNG로 편집범용 이미지 생성 모델로 편집한 코너 소파 사진다리 끝 아래의 작은 자국을 제외하면 그림자가 사라졌다(육안 검사. 중간 alpha 픽셀은 캔버스의 0.7%로, 일반 컷아웃의 0.8%와 비교됨). 이미지는 1200 × 800 사진에서 1536 × 1024로 재생성되었으므로 사진과의 픽셀 대응, 따라서 제품의 충실도는 보장되지 않는다사용하지 않음
제품 그림자 없음타원을 제거하고 그 자리에 아무것도 넣지 않은 프레임 0(한 시간 안에 대체됨)없음: 이것으로 생성한 클립은 없다. 프레임 0에도 참조 사진에도 그림자가 없으면 모델이 그림자를 드리우지 않을 수 있다는 우려가 있었으나, 이는 가설이며 검증되지 않았다. 프레임 0의 타원이 암체어, 소파, 푸프 아래에 가려져 있던 실제 운영 환경 클립에서는 가구가 회전할 때 모델이 그림자를 드리웠다대체됨
코너 소파 컷아웃 대안
그림 14. alpha를 보이기 위해 중간 회색(RGB 150) 위에 합성한 코너 소파 컷아웃. 일반 Bria 컷아웃에는 바닥 그림자가 없다. 그림자를 유지하도록 프롬프트를 준 컷아웃은 좌석과 셰이즈 아래 바닥을 불투명한 흰색에 가까운 얼룩으로 돌려준다. 이미지 모델 편집본은 다리 끝 아래의 작은 자국만 남기며 1536 × 1024로 재생성된다. 이 그림을 위한 비율은 표와 약간 다른 임곗값으로 측정했다(alpha ≥ 242: 29.1% / 35.6% / 29.3%; 13 < alpha < 242: 0.8% / 1.5% / 0.7%).

5.4 방법: 사진에서 추출한 그림자

카탈로그 사진은 흰 배경이므로 제품 바깥에서는 픽셀의 어두운 정도가 그림자의 강도에 근사한다. 이 방법은 그 어두운 정도를 그대로 사용한다. AI 모델을 쓰지 않고, 이미 만든 컷아웃 외에 추가 비용이 없으며, 컷아웃 에셋 자체는 바꾸지 않는다(컷아웃은 이전과 같이 레이어 위에 그려진다).

  1. 같은 캔버스. 컷아웃 서비스는 사진의 전체 캔버스에 대한 컷아웃을 반환하므로 원본 사진과 컷아웃은 픽셀 단위로 대응할 것으로 예상된다. 크기가 같은지만 확인하며 정합은 검증하지 않는다. 브라우저는 이전에 만든 컷아웃에 대해서도 원본 사진과 컷아웃을 모두 불러온다.
  2. 영역. 제품 박스는 컷아웃의 불투명 경계 상자다(자르기와 마찬가지로 alpha > 24). 영역은 이 박스를 양옆으로 각각 너비의 5%만큼 넓히고 아래로 높이의 25%만큼 늘린 뒤 사진 범위로 자른 것이며, 제품의 위쪽 가장자리에서 시작한다.
  3. 강도. 영역의 각 픽셀에 대해 8비트 sRGB 값으로 밝기 L = 0.2126 R + 0.7152 G + 0.0722 B를 계산한다. 사진은 L ≥ 250이 흰색이 되도록 레벨 조정한다: ℓ = min(255, 255 · L / 250). 그림자 레이어는 alpha a = 1 − ℓ / 255인 검정이다(255 − ℓ를 반올림해 저장한다).
  4. 합성. 프레임 0에서 이 레이어는 원판 다음, 컷아웃 이전에 그려지며, 컷아웃과 함께(같은 사진 픽셀당 픽셀 배율로) 크기가 조정되고 배치되며, 원판 윗면의 타원으로 잘린다. 그다음 컷아웃이 그 위에 그려진다.

어떤 의미에서 이것이 곱하기 블렌드인가. 이 등가성은 불투명한 판 위의 그림자 레이어 단독에 대해, 다음 조건에서 성립한다.

  • 투과율. 양자화를 무시하면 레이어의 투과율은 q = min(1, L / 250)이며, 여기서 L = 0.2126 R′ + 0.7152 G′ + 0.0722 B′는 사진의 인코딩된 8비트 sRGB 값 R′, G′, B′를 사용한다. 따라서 L은 선형광 휘도가 아니라 감마 인코딩된 값의 가중 평균(luma와 유사)이다.
  • 양자화된 alpha. 저장된 alpha는 A = round(255 · (1 − q))이므로 실제로 적용되는 투과율은 q₈ = 1 − A / 255이다.
  • 불투명한 판. alpha A / 255의 검정을 불투명한 판 픽셀 P 위에 source-over로 그리면, 이후의 샘플링과 반올림 이전 기준으로 (1 − A / 255) · P = q₈ · P가 된다. 이는 합성기가 다루는 인코딩된 값 기준으로(브라우저의 기본 Canvas 2D와 SVG 합성은 sRGB로 인코딩된 값에서 동작한다) 값이 255 · q₈인 중성 회색 이미지를 곱하는 것과 정확히 같다.
  • 회색 대 컬러 사진. 이는 레벨 조정된 컬러 사진을 판에 곱하는 것과, 그 사진의 레벨 조정된 세 채널이 모두 스칼라 q와 같은 곳, 예를 들어 중성 회색 픽셀이나 흰색으로 클리핑된 픽셀에서만 같다. 색조가 있는 그림자나 천 커버처럼 색이 있는 픽셀에서는 사진의 RGB 곱하기가 아니다.
  • 이것이 아닌 것. 레벨 조정 전의 원본 사진을 곱하는 것이 아니며, 물리적인 선형광 감쇠 모델도 아니다. 다른 곱하기 구현과의 비교는 작업 색 공간, 커버리지, 클리핑, 샘플링이 같을 때에만 동일 조건 비교가 된다.

최종 합성은 별개의 문제다. 프레임 0은 이어서 레이어 위에 컷아웃을 그린다. 컷아웃 alpha를 m, 스트레이트 컷아웃 색을 F, 아래에 있는 레이어의 결과를 q₈ · P라 하면 프레임 0의 픽셀은 C = m · F + (1 − m) · q₈ · P이다. m = 1인 곳에서는 컷아웃이 레이어를 완전히 가리므로 완전히 불투명한 컷아웃 픽셀은 보존된다. 0 < m < 1인 곳(컷아웃의 부드러운 가장자리)에서는 레이어가 비쳐 보이며, 레이어는 그 자리의 사진 내용을 그대로 담는다. 레이어에 포함된 제품 자체의 어두운 부분(그림 16), F에 섞인 흰색이나 배경 오염, m의 분할 오류는 각각 더 밝거나 더 어두운 테두리를 만들 수 있다. 따라서 이 유도는 아티팩트 없는 제품 가장자리를 보장하지 않는다. 이 방법이 보장하는 것은 이보다 좁다. 제품 주위에 제외 간격이 없고(아래 구현 메모), 검사한 단 하나의 이미지인 코너 소파에서는 가장자리가 육안으로 수용 가능해 보였다. 부드러운 alpha, 색이 있는 가장자리, 브라우저 렌더링 가장자리에 대한 검사는 하지 않았다(5.5절).

승인된 미리보기와의 일관성. 추출한 레이어를 적용한 스튜디오 렌더링과, 내부적으로 승인되었던 같은 프레임의 이전 곱하기 미리보기를 래스터화한 결과(둘 다 컷아웃을 포함한 전체 프레임이며, 둘 다 Chrome이 아닌 librsvg로 1,600 px에서 래스터화)는 평균 절대값 0.02 그레이 레벨의 차이를 보였다(RGB 평균 0.023 / 255; 인코딩된 값의 Rec. 709 가중 회색 0.023 / 255; 이 보고서를 위해 측정함). 미리보기의 구성 방식은 기록되지 않았으므로 이는 공식이 아니라 미리보기와의 일관성을 확인한 것이다. 또한 전체 프레임 평균은 변하지 않은 배경 때문에 희석되므로 가장자리에 대해서는 거의 알려 주지 않는다. 가장자리 영역 지표는 11절에 나와 있다.

구현 메모. 이전 구현은 영역을 제품 가장자리에서 2 px 떨어지게 잘라 내고 250보다 어두운 픽셀만 남겼는데, 그 결과는 제품 가장자리에서 들쭉날쭉하다고 판단되었다. 최종 방법에는 두 가지 잘라 내기가 모두 없다. 영역의 모든 픽셀이 위의 alpha를 받고, 제품의 가장자리는 컷아웃만이 정의한다.

코너 소파 원본 사진
그림 15. 고객의 코너 소파 사진, 흰 배경의 1200 × 800. 좌석과 셰이즈 아래에 옅은 바닥 그림자가 있다. 이는 다시 인코딩한 표시용 사본이며 계산 입력이 아니다. 원본 대신 이 사본으로 레이어를 계산하면 alpha 차이가 평균 약 0.5 레벨, 최대 16이 된다.
추출한 그림자 레이어
그림 16. 3단계의 레이어(alpha 1 − ℓ / 255의 검정)를 밝은 체커보드 위에 표시한 것. 제품 영역에도 alpha가 있어 천 커버가 밝은 곳은 옅고 검은 다리에서는 거의 불투명하다. 프레임 0에서는 컷아웃이 이를 덮는다. 좌석과 셰이즈 아래의 회색 띠가 보이는 채로 남는 바닥 그림자다. 표시용 JPEG이며, 레이어의 무손실 사본(1200 × 485 px, 계산된 alpha의 검정, 사진의 x = 0, y = 222에 배치)은 독립적으로 다시 구현한 코드로 원본 JPEG에서 다시 계산한 것이며, 저장된 프레임 0 SVG에 포함된 레이어와 alpha 값 하나하나까지 동일하다.
추출한 그림자를 적용한 프레임 0
그림 17. 스튜디오 그레이 배경과 추출한 그림자를 적용한 코너 소파의 합성 프레임 0, 1,024 px로 래스터화. 그림자는 좌석과 셰이즈 아래에서 L자를 따르며 판의 윗면 가장자리에서 멈춘다.

5.5 적용 조건

레이어는 다음 조건이 모두 충족될 때에만 만들어진다. 그렇지 않으면 5.3절의 마지막 행과 같이 프레임 0에 제품 그림자가 없는 상태로 생성이 진행된다.

  • 테두리 샘플 밝기 휴리스틱. 사진의 네 테두리를 따라 샘플링한 픽셀의 밝기 중앙값이 240 이상이어야 한다. 이는 실내 배경이나 색이 있는 배경을 걸러 내기 위한 것으로, 그런 배경의 어두운 픽셀은 그림자가 아니라 배경 풍경이어서 판 위에 찍혀 버리기 때문이다. 이는 휴리스틱일 뿐 흰 배경 사진임을 검증하지는 않는다. 배경의 균일성도, 어두운 부분이 그림자인지도 측정하지 않으며, 예를 들어 흰 테두리가 있는 실내 사진이나 밝은 외곽이 어두운 내부 풍경을 둘러싼 이미지도 통과시킨다.
  • 같은 크기. 사진과 컷아웃의 픽셀 크기가 같아야 한다. 이것이 유일한 정합 확인이며, 크기가 같다고 해서 픽셀 대응이 증명되지는 않는다.
  • 컷아웃 바깥에 어두운 픽셀이 하나 이상. 컷아웃 alpha ≤ 24인 영역 픽셀 중 레이어 alpha가 0이 아닌(레벨 조정된 밝기가 255 미만인) 픽셀이 하나 이상 있어야 한다. 이는 의미 기반의 그림자 검출기가 아니어서, 그림자이든 아니든 그런 픽셀이면 통과한다.
  • 사진이 로드됨. 로드나 디코딩에 실패하면 그림자만 빠지고 컷아웃은 유지된다.

단위 테스트는 이진 alpha 컷아웃을 사용한 40 × 30 이미지에 대한 합성 배열 수준 테스트다. 회색 그림자 픽셀의 alpha 값, 제품 바로 옆의 그림자 픽셀이 더 멀리 있는 픽셀과 같은 alpha를 받는지(레이어에 제외 간격이 없음), 영역의 아래쪽 경계, 그리고 균일하게 흰색이 아닌 배경과 깨끗한 흰 바닥에서의 null 결과를 다룬다. 페더링된 컷아웃 alpha, 색이 있는 가장자리, 브라우저 렌더링, 크기 불일치, 테두리 오탐, 넓힌 영역의 좌우 한계는 다루지 않으며, 렌더링된 가장자리 품질도 검증하지 않는다. 이 방법은 제품 사진 한 장, 코너 소파에서 육안으로 확인했다. 그 사진의 테두리 밝기 중앙값은 254.0, 제품 박스는 (43, 222), 1106 × 388 px이고 영역은 x ∈ [0, 1200), y ∈ [222, 707)로 사진의 양옆에서 잘린다. 원본 JPEG에서 레이어를 다시 계산하면 저장된 프레임 0 SVG에 포함된 레이어가 정확히 재현된다(alpha 차이의 평균과 최댓값 0).

5.6 추출한 그림자의 한계

  • 카메라 기하. 그림자는 사진이 본 그대로(정면, 약간 위에서)이며 컷아웃과 함께 크기만 조정된다. 그려 넣은 원판의 14° 시점으로 재투영되지 않고 형태의 바닥 면적도 사용하지 않으므로, 판 위에서의 깊이는 원판이 아니라 사진의 것이다. 이는 컷아웃 자체와 같은 원근 불일치다(10절).
  • 그림자가 아닌 어두운 부분. 컷아웃이 제거한 영역 안의 어두운 것은 모두 어두운 부분으로 남는다. 컷아웃이 투명하게 만든 제품 부분 사이의 틈, 보이는 바닥선이나 지평선, 반사, 얼룩, 리터칭 잔여물 등이다. 영역은 제품의 위쪽 가장자리에서 시작하므로 실루엣 안의 틈도 포함된다.
  • 고정 임곗값. 화이트 포인트(250)와 배경 테스트(240)는 상수이며 사진마다 측정하지 않는다. 240과 250 사이의 배경은 테스트를 통과하지만 영역 전체에 옅고 균일한 색조를 남기며(L = 245이면 약 2% 어두워진다), 영역이 끝나는 곳에 직선 가장자리가 생긴다. 250보다 밝은 그림자는 사라진다.
  • 제한된 영역. 제품 아래로 제품 높이의 25%를 넘거나 옆으로 너비의 5%를 넘게 뻗는 그림자는 직선으로 잘린다. 원판 윗면 타원을 벗어난 그림자는 클리핑으로 버려진다.
  • 하나의 시점. 정면 사진의 그림자만 사용한다. 프레임 0 이후 제품의 그림자는 모두 모델이 생성한다.
  • 휘도만. 사진 속 그림자의 색은 재현되지 않는다(5.4절).

5.7 미해결 질문

추출한 그림자를 사용한 생성은 기록된 바 없다. 프레임 0에 그려 넣은 타원이 없었던 재생성 클립(7.6절)에서 얻은 관찰은 두 가지다.

  • 타원이 없는 코너 소파. 재생성한 코너 소파 클립(그림 18, 아래 줄)에서 판 위의 그림자는 0, 2.5, 5, 7.5 s에 L자 형태를 따르며 둥근 자국은 보이지 않는다(운영자의 프레임. 이 보고서를 위해 0, 3, 5, 7.5 s에서 본 판 크롭과 부합한다). 실제 운영 환경 코너 소파 클립의 얼룩(그림 13)과 비교하면 이는 그려 넣은 타원이 그 자국을 만들었다는 것과 부합하지만, 조건당 클립 하나이고 다른 설정(배경, 크기, 중심)도 함께 바뀌었으므로 통제된 제거 테스트가 아니다. 이 프레임 0에 추출한 그림자가 있었는지는 기록되지 않았다.
  • 참조 사진에서 복사된 것으로 보이는 그림자(가설). 운영자는 암체어의 측면 및 후면 참조 사진을 2.5 s 시점의 프레임과 비교해, 클립 속 바닥 그림자가 사진 자체의 그림자와 닮았다고 보았다. 이는 제품 하나에 대한 시각적 인상이며 출력만으로는 보여 줄 수 없으므로, 발견이 아니라 회전 중 모델이 그림자를 형성하는 방식에 대한 가설로 기록한다.
그려 넣은 타원이 있을 때와 없을 때의 코너 소파 그림자
그림 18. 0, 3, 5, 7.5 s 시점의 코너 소파 판 크롭. 실제 운영 환경 클립('밝게' 배경, 그려 넣은 타원이 있는 프레임 0)에서는 3 s에 소파 옆 판 위에 넓은 회색 얼룩이 있고, 재생성 클립(스튜디오 그레이, 타원 없음)에서는 같은 시점에 그림자가 소파 아래에 머문다.

모델이 회전 내내 제품 아래에 그림자를 유지하는지, 제품과 함께 강체처럼 회전시키는지, 판 위의 고정된 자국으로 남기는지(코너 소파 클립이 그려 넣은 타원에서 그랬음을 시사하듯이), 아니면 자체 그림자로 대체하는지는 검증되지 않았다. 이 중 어느 것도 자동으로 옳지는 않다. 고정된 조명 아래에서 실제 드리운 그림자는 물체의 방향이 바뀌면 형태가 바뀌므로, 고정된 자국도 사진 그림자를 강체처럼 회전시킨 사본도 일반적으로는 물리적으로 옳지 않다. 두 번째 미해결 질문은 프레임 0의 그림자가 시작 이미지 준수에 영향을 주는지다(7.5절). 11절에 두 질문에 대한 제거 실험을 정리했다.

6. 시스템이 결정하는 것과 결정하지 않는 것

명시된 조건에서 방법에 의해 결정되는 것:

  1. 렌더링과 업로드에 성공하고 사용자가 제공한 첫 프레임이나 이어 만들기가 없으면, start_image_url로 전송되는 합성 시작 프레임은 설정된 파라미터에서 클립의 화면비로 미리보기의 구성(가이드 링 제외)을 갖는다.
  2. 턴테이블 설정이 같으면 모든 제품의 합성 시작 프레임은 턴테이블 너비, 두께, 위치가 같다. 제품 크기는 공통 물리 축척이 아니라 4.3절의 정규화된 점유 규칙을 따른다.
  3. 합성 시작 프레임은 생성 기록과 함께 저장되며 출력 위에 겹쳐 볼 수 있다.
  4. 설정은 계정에 저장되어 재사용된다.
  5. 브라우저 처리가 성공하면 정지 구간 클립은 움직이는 시퀀스 뒤(또는 앞)에 디코딩된 끝 프레임을 반복해 붙인 것을 담으며, 전체가 다시 인코딩된다. 정수 프레임 단위의 정지 구간(예: 24 fps에서 실제 운영에 쓰인 1–3 s)에서는 복사본이 요청한 시간을 정확히 채우며, 소수 단위 정지 구간과 앞쪽 정지 구간의 타이밍은 4.7절을 따르고 검증되지 않았다.
  6. 컷아웃은 사진당 한 번 과금되고 실패 시 환불된다. 사용자 지정 구도가 꺼져 있으면 컷아웃은 전송되지도 과금되지도 않는다.
  7. 5.5절의 네 가지 조건(테두리 샘플 밝기, 같은 픽셀 크기, 컷아웃 바깥의 어두운 픽셀 하나 이상, 로드 성공)이 모두 통과되면 프레임 0은 제품 주위 영역에 사진의 레벨 조정된 어두운 부분을 원판 윗면으로 잘라 컷아웃 아래에 담는다. 그렇지 않으면 프레임 0에는 제품 그림자가 없다. 조건을 통과했다고 해서 사진이 흰 배경 사진인지, 어두운 부분이 그림자인지, 사진과 컷아웃이 정합되어 있는지가 검증되지는 않는다.
  8. 합성 시작 프레임이 시작 이미지로 전송되고, 회전이 자동 또는 360°이며, 사용자가 마지막 프레임을 설정하지 않았으면, 같은 합성 시작 프레임이 끝 이미지로도 전송된다(4.4절). 그 결과 모델이 그 프레임으로 끝나는지, 그 사이에 구도를 유지하는지, 그래도 완전한 회전을 하는지는 방법이 결정하지 않는다.

결정되지 않으며, 작은 탐색적 표본에서 관찰된 것: 출력 첫 프레임이 합성된 제품과 판의 레이아웃을 따르는 것(대략적으로, 육안 판단), 합성된 배경을 유지하는 것(밝게: 실제 운영 클립 4개 중 3개; 스튜디오 그레이, 별도의 세트: 운영자 보고로 재생성 클립 6개 중 6개, 이 보고서를 위해서는 다운로드된 파일과 연결된 5개에서 확인, 5.1절), 프레임 0의 구도가 클립의 나머지 동안 유지되는 것(시작 이미지만 쓴 재생성 클립 5개 중 하나에서는 유지되지 않았다, 7.6절), 회전 내내 제품이 판 위에 머무는 것, 루프 연결, 회전 중 크기와 비율, 한 방향으로의 완전한 회전, 구조적 충실도. 움직이는 시퀀스는 모델이 생성한다. 선택적인 정지 구간은 디코딩된 끝 프레임을 반복하며, 전체 영상은 다시 인코딩된다. 이는 움직임 전체에 걸쳐 제품을 판 위에 합성하는 방식과 다르며, 그 방식은 설계상 배제되었다.

7. 탐색적 평가

7.1 근거의 성격

이 보고서의 모든 테스트는 탐색적이다. 대부분 조건이나 제품당 한 번 실행했고(앵커 실험은 조건당 세 번 실행했다), 설정은 의도적으로 또는 적응적으로 바꾸었으며, 시스템을 만든 사람들이 블라인드 없이 판단했고, 별도로 남겨 둔 검증용 제품은 없다. 지표는 작업 도중 수정되었다(7.4절). 아래의 어떤 결과도 비율이 아니며, 조건 간 어떤 비교도 제품, 파라미터, 무작위 변동을 통제하지 않는다.

7.2 기준선: 합성 시작 프레임 없이 납품된 클립

고객 제품의 클립 4개(Kling 4, 1080p, 1:1, 10 s, 숨은 레이어 v3를 사용한 텍스트 전용 제어): 판은 네 클립 모두에서 화면상 너비가 거의 같았고 각 제품은 프레임에 맞춰졌다(암체어는 판 너비의 약 75%, 소파는 약 90%, 푸프는 판을 채우고 밖으로 튀어나옴). 첫/마지막 SSIM은 0.85–0.97이었고 각 클립은 정면에 10–15° 못 미쳐 끝났다. 코너 소파의 셰이즈 끝과 뒷다리 하나가 측면 시점에서 판 가장자리를 넘었다. 클립은 그림 19에 나와 있다.

합성 시작 프레임이 없는 기준선 클립
그림 19. 기준선 클립 4개(텍스트 전용 제어, Kling 4, 1080p, 241프레임)의 0, 1.5, 3, 4.5, 6, 7.5, 9 s 및 프레임 240. 각 제품은 비슷한 너비의 판 위에서 프레임에 맞춰져 있고, 푸프는 판을 거의 가득 채우며, 코너 소파의 셰이즈는 1.5 s에 앞으로 돌아 나오면서 판 가장자리에 닿고(셰이즈 끝은 약 6.5 s에 가장자리를 넘지만 이 띠에는 나오지 않는다), 마지막 프레임은 프레임 0을 정확히 반복하지 않는다.

7.3 합성 시작 프레임을 사용한 실제 운영 클립

실제 운영 사이트에서 사용자 지정 구도, Kling 4, 1080p, 1:1, 사운드 켬으로 클립 4개를 생성했다. 컨트롤을 시험하기 위해 가구마다 설정을 다르게 했다(부록 B). 확인 항목:

  1. 합성 시작 프레임 대비 출력 첫 프레임, 시각적 비교로 판단(같은 오버레이를 제품에서도 쓸 수 있다): 제품/판 레이아웃의 대략적 레이아웃 준수, 그리고 이와 별도로 배경 유지.
  2. 판 위 유지, 클립당 34–40프레임에서 다리와 셰이즈 끝을 원판 가장자리와 대조해 육안으로 판단.
  3. 끝점 차이: 첫 프레임과 정지 구간 직전 마지막 프레임 사이의 평균 절대 픽셀 차이, 0–255 척도. 이 클립들에 사용한 색 공간, 해상도, 리사이즈 방법, 관심 영역은 기록되지 않았다. 앵커 실험 스크립트는 전체 프레임 240 × 240 그레이스케일 이미지를 사용했는데, 하나는 영역 리사이즈 전에 회색으로 변환했고 다른 하나는 (바이리니어) 리사이즈 후에 변환했으므로 그 둘조차 동일하지 않다.
  4. 움직임: 0.2 s마다 샘플링한 프레임 차이, 그리고 계단 현상이나 변형에 대한 육안 검사.
  5. 정지 구간: 파일 길이와 끝 프레임의 정지 상태.
제품클립길이크기턴테이블 / 두께 / 중심 (%)회전 후 정지레이아웃 준수 (대략)배경 유지샘플 프레임에서 가장자리 넘음끝점 차이
암체어그림 20 (출처 메모 참조)10 s60%80 / 4 / 582 s예 (보고됨)아니요: 더 어두운 회색 스튜디오로 대체됨보이지 않음 (보고됨)개별 기록 없음
코너 소파그림 2010 s90%80 / 4 / 702 s예예보이지 않음0.92
소파그림 208 s80%80 / 10 / 501 s예예보이지 않음개별 기록 없음
푸프그림 209 s51%80 / 5 / 603 s예예보이지 않음0.57

내부 메모에는 네 클립 전체의 범위가 0.57–1.79, 회전 중 0.2 s 간격 프레임의 범위가 1.5–5.5로 적혀 있다. 소파는 반시계 방향을 요청했으나 시계 방향으로 돌았다. 합성된 턴테이블 너비, 두께, 중심 높이, 제품 크기는 네 클립 모두에서 육안으로 대략 지켜졌고, 합성된 배경은 세 클립에서 유지되었다(5.1절). 이러한 시각적 확인으로는 정확한 전체 프레임 일치 개수를 도출할 수 없다. 0, 2.5, 5, 7.5 s와 마지막 원본 프레임, 마지막 정지 구간 프레임에서 보면 크기, 판 두께, 판 높이는 설정대로 가구마다 다르다. 코너 소파, 소파, 푸프는 밝은 배경을 유지하고, 암체어는 프레임 0부터 더 어두운 회색 스튜디오 위에 있다.

합성 시작 프레임을 사용한 실제 운영 클립
그림 20. 합성 시작 프레임('밝게' 배경)을 사용한 실제 운영 클립 4개의 프레임 0, 2.5, 5, 7.5 s, 마지막 원본 프레임, 마지막 정지 구간 프레임. 크기, 판 두께, 판 높이는 설정대로 가구마다 다르다. 코너 소파, 소파, 푸프는 밝은 배경을 유지하고, 암체어는 프레임 0부터 더 어두운 회색 스튜디오 위에 있다. 제품, 길이, 프레임 0에서 보이는 설정으로 실제 운영 클립과 대응시킨 로컬 사본이다.

출처. 암체어와 소파의 개별 끝점 값, 비교한 프레임, 전처리, 점수 산출 명령은 기록되지 않았다. 원래의 평가 메모는 암체어 클립을 명확히 특정하지 않았다(로컬 테이크와 링크된 실제 운영 클립의 설정이 다르다). 이후의 실제 운영 기록이 링크된 실제 운영 클립을 특정한다. 암체어의 개별 끝점 값은 여전히 기록되지 않았으므로 암체어 행과 0.57–1.79 범위는 내부 보고 값이며 독립적으로 재현할 수 없다. 이는 출처가 해결되지 않았다는 뜻이지, 실제 운영 클립 4개가 존재하지 않았다는 근거가 아니다.

이 확인이 뒷받침하는 것. 샘플 프레임에서 판 위 유지 위반이 보이지 않았다는 것이지, 회전 내내 판 위에 유지되었다는 것이 아니다. 다리는 가려질 수 있고, 투영된 실루엣이 그려진 타원을 넘는 것은 바닥 면적이 판을 벗어나는 것과 같지 않다. 눈에 보이는 구조적 일관성이지, 관찰되지 않은 실제 표면에 대한 충실도가 아니다. 낮은 끝점 차이이지, 이음매 없는 루프가 아니다. 0.2 s 간격 프레임은 24 fps에서 약 다섯 프레임 간격으로 일반적인 한 단계가 아니며, 두 범위는 겹치고(1.79 > 1.5), 끝점 유사성만으로는 거의 움직이지 않거나, 거꾸로 돌거나, 비슷하지만 틀린 자세로 끝나는 클립도 조건을 충족한다. 루프가 이어지는 지점의 움직임 연속성은 측정하지 않았고, 이음매가 보이는지에 대한 시청자 테스트도 하지 않았다. 클립을 보낼 때 서신에서는 클립이 이음매 없이 루프되므로 정지 구간은 선택 사항이라고 설명했는데, 이는 서신 속 주장이지 측정된 결과가 아니었다.

결함기준선 (합성 시작 프레임 없음)실제 운영 (합성 시작 프레임)
R1 크기제품이 프레임에 맞춰짐. 푸프가 소파만큼 넓음사용자가 가구마다 크기를 설정하고 합성 시작 프레임에서 확인 가능. 네 클립 모두 판 너비가 같고 두께와 위치는 의도적으로 다르게 함
R2 판 위 유지측면 시점에서 셰이즈와 뒷다리 하나가 가장자리를 넘음90%의 코너 소파: 샘플 프레임에서 보이지 않음
R3 끝점SSIM 0.85–0.97, 정면에 10–15° 못 미침끝점 MAE 0.57–1.79 (내부 보고). 다른 지표

로컬 암체어 테이크 3(3.1절)은 SSIM으로 측정해 0.98이었다.

7.4 공개하는 지표 수정 사항

  • 앵커 실험에서 통과 기준은 첫 단계 전에 작성했지만, 사전 등록한 이음매 비율이 천천히 움직이는 클립에 불리했기 때문에 첫 단계 이후 절대 이음매 임곗값(마지막 프레임 대비 첫 프레임 ≤ 4 그레이 레벨)을 추가했고, 두 번째 단계 이후 원래 지표가 역회전 하나를 놓쳤을 때 역회전 지표(합성된 네 시점에 대한 유사도로부터 얻은 각도 궤적)를 추가했다.
  • 실제 운영 확인에는 미리 작성한 통과 기준이 없었다.
  • 루프 연결은 기준선 클립에서는 SSIM으로, 실제 운영 클립에서는 평균 절대 차이로 측정했다. 둘은 서로 다른 척도여서 비교할 수 없으며, 두 세트 모두에 적용하는 하나의 프로토콜이 필요하다(11절). 모든 로컬 클립을 하나의 프로토콜로 다시 채점한 사후 분석은 7.7절에 있다. 이는 관찰적 분석이며 계획된 평가를 대신하지 않는다.

7.5 실행별 시작 이미지 레이아웃 준수

실행모델시작 이미지클립제품/판 레이아웃의 대략적 준수배경 유지
앵커 실험, B와 CKling 3.0 Omni합성 (시작 = 끝, 또는 연쇄)66개 중 6개 (프레임 0의 제품 너비 0.7% 이내)평가하지 않음
로컬 테이크 1Kling 4평면으로 그린 원판11개 중 0개아니요 (모델 자체의 구성)
로컬 테이크 2–3Kling 4사진처럼 음영을 준 원판22개 중 2개별도 기록 없음
실제 운영Kling 4접지 그림자가 있는 음영 원판44개 중 4개4개 중 3개
재생성, 시작 이미지만 (7.6절)Kling 4음영 원판, 스튜디오 그레이 배경5프레임 0에서 5개 중 5개 (보고됨). 이후 5개 중 1개에서 구도가 드리프트함회색 스튜디오가 5개 모두에서 운영자 보고됨, 이 보고서를 위해서는 다운로드된 파일과 연결된 4개에서 확인. 측정한 지점에서 그레이 레벨이 맞춘 기준에 가까움 (5.1절)
재생성, 시작 = 끝 (7.6절)Kling 4같은 합성 시작 프레임을 시작과 끝으로 수동 설정11개 중 1개회색 스튜디오 확인. 측정한 지점에서 가까움 (5.1절)

여기서 레이아웃 준수란 제품과 판이 대략 합성된 크기와 위치에 있음을 육안으로 판단한 것을 뜻하며, 전체 프레임 일치가 아니다. Kling 4의 레이아웃 성공 6건은 구성, 프롬프트, 설정이 서로 다른 로컬 개발 실행과 실제 운영 실행을 합친 것이다. IID 가정하에서 6개 중 6개에 대한 정확 이항 95% 하한은 약 54%가 되겠지만, 그 가정은 이 합쳐진 개발 표본을 설명하지 않는다. 평면 원판에서의 단 한 번의 실패 뒤에 음영 원판에서 성공이 이어진 것은 합성 시작 프레임의 렌더링 스타일이 준수에 영향을 준다는 가설의 동기가 되지만, 이를 입증하지는 않는다. 로컬 테이크에서 평면으로 그린 원판(테이크 1)을 쓰면 출력이 큰 원판 위의 큰 의자로 시작했고, 음영 원판(테이크 2와 3)을 쓰면 합성된 작은 의자로 시작해 회전 내내 그 크기를 유지했다. 재생성 행은 별도로 보고한다. 운영자 측정이 다른 프로토콜로 이루어졌고, 다른 배경을 사용했으며(밝게 대신 스튜디오 그레이. 두 세트의 배경 유지 개수는 합치지 않는다), 프레임 0의 준수가 프레임 0 이후 구도 유지를 뜻하지 않는 것으로 드러났기 때문이다(7.6절).

7.6 회전 중 구도 드리프트, 그리고 끝 이미지로서의 합성 시작 프레임

설정. 5절의 음영 수정 이후 운영자가 스튜디오에서 만든 클립 6개: Kling 4 reference-to-video, 1080p, 1:1, 10 s에 2 s 회전 후 정지 추가, 사용자 지정 구도에서 턴테이블은 프레임의 80%, 두께 4%, 중심은 위에서 58%, 스튜디오 그레이 배경. 즉 이 클립들보다 먼저 작성되었고 클립을 기록하지 않은 재생성 계획의 고정 파라미터다. 가구별 크기 값, 사용한 프레임 0 PNG, 프레임 0에 추출한 그림자(5절)가 있었는지, 실제로 전송된 프롬프트, 클립이 실제 운영 환경에서 만들어졌는지 로컬에서 만들어졌는지는 기록되지 않았다. 두 번째 침대 모델의 사진은 흰 배경의 정면 및 3/4 시점 3장이며 후면이나 측면 시점은 없다.

결과. 판 너비(프레임 너비 대비 백분율), 판 중심(위에서부터 프레임 높이 대비 백분율), 첫 프레임 대 마지막 프레임 SSIM은 0.5 s마다 샘플링한 운영자의 측정값이며, 측정 파일은 확보할 수 없다. 대괄호 안의 SSIM 값은 다운로드한 정지 구간 사본(1440 × 1440, 24 fps, 비디오 프레임 289개; 비디오 스트림 12.041667 s, 오디오 스트림이 더 길어 컨테이너는 12.120816 s)에 대해 이 보고서를 위해 수행한 확인이다. 그레이스케일 전체 프레임에 대한 ffmpeg ssim(Y, "All")으로, 디코딩된 프레임 0을 10.000 s의 프레임 240, 즉 48개 정지 구간 복사본 직전의 마지막 원본 샘플(4.7절)과 비교했다. 대신 프레임 239와 비교하면 값이 0.001–0.002 달라진다. 운영자의 프로토콜과 이 프로토콜이 같은지는 알 수 없다.

제품클립조건부 입력클립 전체의 판 너비클립 전체의 판 중심완전한 회전첫 프레임 대 마지막 프레임 SSIM, 보고값 [이 보고서, 프레임 0 대 240]
침대 (두 번째 모델)시작 이미지만 쓴 침대 클립, 납품되지 않음, 공개 링크 없음시작 이미지만0 s에 80.0%, 5 s에 89%, 8 s에 97.5%, 9 s부터 100% 초과 (프레임 양쪽 가장자리를 넘음)58% → 67%회전함. 마지막 프레임이 첫 프레임보다 약 25% 커서 루프가 튐제시되지 않음 [0.845, 내용으로 이 클립에 귀속한 다운로드 사본]
침대 (두 번째 모델)시작 = 끝 침대 클립 (그림 23, 26)시작 = 끝 (같은 합성 시작 프레임을 첫 프레임과 마지막 프레임으로)평가 가능한 모든 샘플에서 80.0–80.1%. 침대가 판의 가장 넓은 줄을 가려 너비를 평가할 수 없는 측면 시점 샘플 2개는 제외58.1%예, 360°0.993 [0.994]
암체어재생성 암체어 클립 (그림 없음)시작 이미지만모든 샘플 프레임에서 80.1%58.1%예0.993–0.996 이내 [이 클립으로 특정된 다운로드 사본 없음]
소파재생성 소파 클립 (그림 26)시작 이미지만80.1%58.1%예0.993–0.996 이내 [0.994]
푸프재생성 푸프 클립 (그림 26)시작 이미지만80.1%58.1%예0.993–0.996 이내 [0.997]
코너 소파재생성 코너 소파 클립 (그림 26)시작 이미지만80.1%58.1%예0.993–0.996 이내 [0.995]

납품된 클립은 제품 이름으로만 생성 기록과 연결된다. 0–10 s에서 0.5 s마다 샘플링하면 클립당 21개가 되지만, 운영자의 클립별 정확한 샘플 수는 기록되지 않았고 시작 = 끝 침대의 샘플 2개가 제외되었다는 사실만 기록되어 있다. 납품된 클립 5개의 정지 구간은 정지 구간 프레임 간 "0–1 grey level"로 정지 상태라고 보고되었다. 운영자의 수치는 픽셀별 최댓값이 아니라 프레임별 평균 절대 차이와 부합한다. 이 보고서를 위해 다운로드한 클립 4개에서 다시 측정한 결과(4.7절), 첫 복사본 이후 프레임별 평균은 최대 0.010–0.022, 픽셀별 최댓값은 5–11 그레이 레벨이었다. 암체어에는 연결된 다운로드 사본이 없다. 같은 날 오후의 다른 암체어 다운로드 파일은 위의 확인으로 0.982가 나오지만, 납품된 암체어 클립과 연결할 수 없어 사용하지 않는다.

이 보고서를 위해 귀속 가능한 다운로드 클립 5개의 프레임 0과 프레임 240도 직접 비교했다(그레이스케일, 평균 절대 차이). 납품된 클립 4개는 주로 가장자리를 따라 차이가 나고(0.48–0.89), 시작 이미지만 쓴 침대는 눈에 띄게 커진 상태로 끝난다(16.54). 시작 이미지만 쓴 클립을 만든 뒤에 다시 렌더링한 침대의 합성 시작 프레임(따라서 기껏해야 그 클립에 전송된 프레임의 재렌더링이며, 시작 = 끝 클립의 첫 프레임과 마지막 프레임으로 설정된 PNG라고는 추정될 뿐이다)은 두 클립 모두에서 출력 프레임 0과 일치한다(평균 절대 회색 차이 3.08과 2.13, 차이는 가장자리에 있음). 프레임 240에서는 시작 = 끝 클립은 여전히 일치하지만(2.11) 시작 이미지만 쓴 클립은 일치하지 않는다(15.20: 더 큰 침대와 판). 1초마다 보면 시작 이미지만 쓴 침대는 회전하면서 커지고 8 s부터 확연히 커져 9.95 s에 판이 프레임 양쪽 가장자리에 닿는 반면, 시작 = 끝 침대는 매초 판의 크기와 위치를 유지한다.

재생성 클립의 첫 프레임 대 마지막 프레임
그림 21. 재생성 클립 5개의 프레임 0 대 프레임 240(마지막 원본 프레임)과 차이 맵(×4, 반전). 납품된 클립 4개는 주로 가장자리를 따라 차이가 나고(평균 0.48–0.89 그레이 레벨), 시작 이미지만 쓴 침대는 눈에 띄게 커진 상태로 끝난다(평균 16.54).
출력 프레임과 비교한 침대 합성 시작 프레임
그림 22. 침대의 합성 시작 프레임(시작 이미지만 쓴 클립을 만든 뒤 다시 렌더링함)을 두 침대 클립의 출력 프레임 0 및 240과 비교한 것. 프레임 0은 두 클립 모두 일치한다(평균 3.08과 2.13 그레이 레벨, 차이는 가장자리에 있음). 프레임 240에서는 시작 = 끝 클립은 여전히 일치하고(2.11), 시작 이미지만 쓴 클립은 일치하지 않는다(15.20: 더 큰 침대와 판).
침대 구도 드리프트
그림 23. 같은 합성 프레임 0을 쓴 침대의 0–9 s 매초, 9.95 s, 마지막 정지 구간 프레임. 시작 이미지만 쓴 경우(위) 회전하면서 커지고 8 s부터 확연히 커져 9.95 s에 판이 프레임 양쪽 가장자리에 닿는다. 같은 프레임을 시작 이미지와 끝 이미지로 쓴 경우(아래) 판은 매초 크기와 위치를 유지한다.
침대 구도 드리프트, 세부
그림 24. 같은 쌍을 0, 5, 8, 9.95 s에서 확대한 것.

이 클립들이 보여 주는 것. 시작 이미지만 쓴 침대 클립에서 출력 첫 프레임은 합성된 레이아웃을 따랐으므로 프레임 0의 레이아웃 준수(7.5절)는 성립했지만, 그 뒤 구도가 무너졌다. 회전 내내 카메라가 꾸준히 다가갔다. 프롬프트의 Camera 줄("camera position, aim, focal length, focus, aperture and crop stay constant", 부록 A)은 보고된 대로 요청에 들어 있었으나 이를 막지 못했다. 시작 이미지만 쓴 나머지 클립 4개는 모든 샘플 프레임에서 합성된 구도를 유지했으므로 드리프트가 나타나지 않았다. 드리프트는 세트에서 가장 깊고 가장 높은 가구(운영자의 설명)에서 한 번 나타났다. 그것이 그 형태와 관련이 있는지, 아니면 어느 가구에나 일어날 수 있는 무작위 사건인지는 가구당 클립 하나로는 판단할 수 없으므로, 이 실행은 어떤 제품이 위험한지 말해 주지 않는다. 합성 시작 프레임 없이도 클립 내 크기 변화는 이전에 관찰된 적이 있고(Kling 3.0 Omni 기준선 클립 하나가 회전 중 44% 커졌다, 3.1절), 작업 초기에 검사한 클립들은 구도가 안정적이었다. 이전의 합성 시작 프레임 클립은 회전 중 크기를 육안으로만 확인했으며, 이 작업에서 합성 시작 프레임을 쓴 경우의 이러한 드리프트는 그전까지 기록된 적이 없었다.

합성 시작 프레임을 end_image_url로도 보낸 반복 테이크(Kling 4는 이를 받는다)는 드리프트하지 않았고, 평가 가능한 모든 샘플(가려진 측면 시점 샘플 2개 제외)에서 판이 합성된 너비와 위치에 머물렀다. 이는 한 제품에 대해 조건마다 테이크 하나이며, 끝 프레임 실행이 드리프트하지 않았음을 보여 줄 뿐 끝 이미지가 드리프트를 막는다는 것을 보여 주지 않는다. 시작 이미지만 쓴 조건은 5개 중 1개에서 드리프트했으므로, 드리프트하지 않은 시작 = 끝 클립 하나는 시작 이미지만 쓰는 레시피를 바꾸지 않아도 흔히 나올 수 있는 결과다. 끝점 조건부 입력은 마지막 프레임과 첫 프레임의 일치를 유도하는 목표일 뿐 이를 보장하지 않으며, 관찰된 SSIM 0.993(확인 값 0.994)에 대한 기여도는 측정되지 않았다. 시작 이미지만 쓴 클립 4개도 이것 없이 비슷한 값에 도달했다. 높은 값은 그 사이의 부자연스럽거나 불연속적인 회전과도 양립할 수 있으므로, 그 자체로 이음매 없는 루프를 보여 주지 않는다(끝점 유사성이 보여 줄 수 없는 것은 7.3절에 정리했다).

미해결 위험: 회전하지 않음. 시작 이미지와 끝 이미지가 같으면, 시작한 곳에서 끝난다는 조건은 회전하지 않는 제품이나 일부만 돌았다가 돌아오는 제품으로도 충족된다. 침대는 단 한 번의 테이크에서 완전히 한 바퀴 돌았고, 자동 시작 = 끝 암체어 클립(아래, 그림 27)도 그랬다. 0.5 s마다 샘플링해서는 샘플 사이의 짧은 지나침이나 역회전을 배제할 수 없으며, 역회전 지표(7.4절)는 적용하지 않았다. 두 가지 설정에서 각각 한 번 관찰되었을 뿐, 성립한다는 것이 입증되지 않았다.

시작 = 끝 앵커 조건과의 관계. 그 실험은 Kling 3.0 Omni를 720p로 쓰고, 초록 암체어와 별도 스크립트로 합성한 앵커 프레임을 사용했다. 그 실험의 시작 = 끝 클립 3개 중 하나는 지나쳤다가 되돌아왔고, 그 때문에 해당 모델에 대한 작업이 중단되었다. 이번 클립은 모델(Kling 4), 해상도(1080p), 제품(침대), 구도(스튜디오 그레이 배경을 쓴 스튜디오 자체 컴포저), 목적(루프를 닫는 것이 아니라 구도를 유지하는 것)이 다르다. 둘은 비교할 수 없으며, 이 클립은 이전의 실패와 모순되지 않는다. 시작 = 끝 조건부 입력은 지금까지 한 모델에서 클립 3개 중 1개에 역회전을, 다른 모델에서 클립 2개 각각에 완전한 회전을 낳았으며(하나는 수동 설정, 하나는 자동, 7.6절 및 아래), 이는 어느 모델에서도 비율이 아니다.

이른 도착과 더 긴 정지(미해결 관찰). 시작 = 끝 침대 클립에서 침대는 10 s 회전의 끝이 아니라 약 9.0 s에 정면 자세에 도달했다. 첫 프레임 대비 SSIM은 8 s에 0.904, 8.5 s에 0.929, 9 s에 0.993이었고, 9–10 s 동안 침대는 거의 멈춰 있었다(프레임 간 변화 약 0.05, 회전 중에는 약 1.0. 단위는 운영자가 측정한 대로). 따라서 2 s 정지 구간을 덧붙이자 눈에 보이는 정지는 요청한 2 s가 아니라 약 3 s가 되었다. 끝 이미지 없이 만든 푸프도 마찬가지로 약 8.5 s에 정면에 도달해 눈에 보이는 정지가 약 3.5 s였다. 코너 소파, 소파, 암체어는 10 s에야 정면에 도달했다. 도착 시각은 근사치이며 프레임 0과의 자세 유사도에 근거한다. 회전이 끝나기 전의 정지 상태는 운영자의 프레임 간 수치이지, 측정된 정지 구간이 아니다. 이 수치는 운영자의 것이며 측정 파일은 확보할 수 없다. 다운로드한 정지 구간 사본에 대해 이 보고서를 위해 수행한 확인(각 시각에 디코딩한 프레임과 디코딩한 프레임 0의 그레이스케일 SSIM, 탐색 방식)에서는 시작 = 끝 침대가 8, 8.5, 9 s에 0.920, 0.931, 0.992, 푸프가 8, 8.5 s에 0.987, 0.996, 코너 소파가 9, 9.5, 10 s에 0.961, 0.978, 0.995로, 패턴은 운영자의 값과 부합하지만 프로토콜은 다르다. 이 보고서를 위해 계산한 프레임별 계열(전체 해상도에서 프레임 0 대비 SSIM, 480 px 그레이스케일에서 프레임 간 평균 변화)은 이 지점 값들을 재현한다. 침대의 경우 프레임 간 변화는 1–8 s 평균 1.30에서 9–10 s 0.054로 떨어지며, 이는 운영자의 "약 1.0 대 0.05"와 척도는 다르지만 같은 패턴이다. 시작 이미지만 쓴 침대의 프레임 0 대비 SSIM은 끝까지 0.84–0.85 부근에 머문다. 끝 이미지가 없는 클립 하나가 같은 이른 도착을 보였고, 자동 시작 = 끝 암체어 클립(아래)은 일찍 도착하지 않았다(끝나기 0.42 s 전). 즉 시작 = 끝 클립 2개 중 하나는 이른 도착 임곗값에 도달했고 하나는 도달하지 않았으므로, 끝 이미지와의 관계는 여전히 불확실하다. 각각 클립 하나로는 이것이 얼마나 자주 일어나는지 알 수 없다. 가능한 해결책은 회전이 끝나기 전의 정지 구간을 검출해 잘라 내어, 덧붙인 정지 구간만이 유일한 정지가 되게 하는 것이지만, 구현하지 않았다.

이른 도착
그림 25. 재생성 클립 5개에 대해 모든 프레임의 프레임 0 대비 SSIM(위)과 프레임 간 평균 변화(아래, 로그 척도). 시작 = 끝 침대는 8.5–9 s 사이에 SSIM 0.992로 뛰어오르고 푸프는 8.5 s까지 0.996에 도달하며, 그 뒤 둘 다 거의 움직이지 않는다. 코너 소파와 소파는 10 s 무렵에야 상승한다. 시작 이미지만 쓴 침대는 끝까지 0.84–0.85 부근에 머문다.

현황. 측정한 클립에서 끝 이미지는 수동으로 설정되었다. 합성 프레임 PNG를 스튜디오의 첫 프레임과 마지막 프레임 칸에 넣은 것으로, 이는 합성 프레임 자동 업로드가 아니라 사용자 첫 프레임 경로를 따른다. 이 클립 이후 합성 프레임을 끝 이미지로 자동 전송하는 기능이 구현되어 배포되었다(4.4절). 회전이 자동 또는 360°이면 이제 사용자 지정 구도에서 기본값이다. 끝 자세가 시작과 다른 270° 회전에는 적용되지 않는다. 스윙 ±90°는 0°로 돌아오므로 이를 쓸 수 있지만, 시험해 보지 않아 제외했다. 배포 결정은 이 단 한 번의 쌍 비교와 제품상의 판단에 근거한 것으로, 효과의 증거가 아니며, 위의 위험(회전하지 않음, 이른 도착)은 자동 경로로 만든 모든 클립에 적용된다. 지금까지 그러한 클립이 하나 기록되어 있다(아래의 암체어). 이 클립은 완전히 한 바퀴 돌고, 일찍 도착하지 않았으며, 구도를 유지했다. 반면 시작 이미지만 쓴 짝 클립은 다가갔다.

납품. 운영자 보고에 따르면 이 클립 중 5개(드리프트한 시작 이미지만 쓴 침대를 제외한 전부)가 셀프서비스 단계 안내와 함께 공개 링크로 고객에게 전달되었다. 고객의 판정은 아직 받지 못했으며, 이 보고서의 어떤 내용도 수용으로 읽어서는 안 된다.

납품된 재생성 클립
그림 26. 납품된 재생성 클립 5개 중 4개(끝 이미지를 쓴 침대, 소파, 코너 소파, 푸프)의 0, 2.5, 5, 7.5, 10 s. 네 클립 모두 판 너비, 두께, 높이가 같고 회색 스튜디오도 같다. 암체어는 표시하지 않았다(연결할 수 있는 다운로드 사본이 없음).

자동 경로로 만든 두 번째 쌍. 자동 끝 이미지가 배포된 직후, 운영자는 스튜디오에서 앵커 실험(3절)의 초록 암체어 클립 2개를 동일한 설정으로 만들었다. Kling 4 reference-to-video, 720p, 1:1, 10 s에 1 s 정지 구간 추가, 크기 50%, 턴테이블 80%, 두께 4%, 중심은 위에서 70%, 스튜디오 그레이, 회전 자동, 사진 5장(제품 요소에 4장, 일반 참조로 1장). 첫 번째 클립은 배포 전에 불러온 뒤 새로 고치지 않은 스튜디오 페이지에서 만든 것으로 추정된다(페이지를 불러온 시각은 기록되지 않았다). 두 번째는 새로 고친 뒤 자동 첫 프레임 및 마지막 프레임 타일이 보이는 상태에서 만들었으므로, 합성 프레임이 시작 이미지와 끝 이미지로 전송되었다. 첫 번째 클립에 끝 이미지가 없었다는 점은 시점과 페이지 상태에서 추론한 것이지 요청에서 읽은 것이 아니다. 생성 기록에는 끝 이미지가 전송되었는지가 나타나지 않기 때문이다. 다운로드한 출력(940 × 940, 265프레임 = 10 s 원본의 프레임 0–240에 정지 구간 복사본 24개를 더한 것)은 먼저 7.7절에서 귀속 미상으로 채점되었고, 그 뒤 세션 기록을 통해 이 두 생성과 연결되었다. 첫 번째 클립의 시작 이미지만이라는 조건은 추론에 근거하므로, 이는 조건 귀속이 일부 추론에 근거한, 대략 짝을 맞춘 쌍이다. 7.7절의 프로토콜(E = 프레임 240)로 측정했다:

제품클립조건부 입력클립 전체의 판 너비클립 전체의 판 중심완전한 회전프레임 0 대 240: SSIM / MAE
초록 암체어시작 이미지만 쓴 암체어 클립 (그림 27)시작 이미지만 (추론)0 s에 80.1%, 1 s에 91.2%, 1.25 s부터 끝까지 프레임 양쪽 가장자리를 넘음70.2% → 83.1% (범위 70.2–83.3%)카메라가 클로즈업까지 다가가는 동안 회전함. 7.7절의 정면 유사 임곗값으로 끝내 돌아오지 않음0.832 / 24.68
초록 암체어시작 = 끝 암체어 클립 (그림 27)시작 = 끝 (자동)41개 샘플 모두에서 80.1% (0.25 s마다)70.1–70.2%예, 육안으로 정면 → 측면 → 후면 → 측면 → 정면0.993 / 1.89

당시 운영자의 측정(0.5 s마다, 프로토콜 기록 없음)은 방향이 일치한다. 시작 이미지만 쓴 클립은 81%에서 출발해 약 3 s까지 프레임 가장자리를 넘어 커졌고, 시작 = 끝 클립은 내내 79.9%와 70%, 첫 프레임 대 마지막 프레임 SSIM 0.991, 1 s 정지 구간은 정지 상태였다. 판이 처음 프레임 가장자리를 넘는 시점은 다르다(약 3 s 대 여기서는 1.25 s). 7.7절은 표의 값을 사용한다. 시작 = 끝 클립은 마지막 원본 프레임 0.42 s 전에 정면 유사 임곗값에 도달했으므로 일찍 도착하지 않았다(7.7절은 1 s 이상을 센다). 이 클립의 이음매 비율은 4.05이고 이음매 절댓값은 1.89 그레이 레벨인데, 작은 암체어가 프레임당 거의 움직이지 않기 때문이다(중앙값 단계 0.47). 7.7절이 요구하듯 둘을 함께 읽으면 비율은 튐을 과대평가한다.

이는 침대 쌍의 단일 변수 변경을 두 번째 제품, 두 번째 해상도(720p 대 1080p), 두 번째 판 높이(70% 대 58%)에서, 그리고 수동이 아니라 자동 경로로 반복한 것이며, 결과는 같았다. 시작 이미지만 쓴 조건은 다가갔고, 시작 = 끝 조건은 합성된 구도를 유지했다. 여전히 조건마다 테이크 하나다. 여기서의 시작 이미지만 쓴 드리프트는 침대보다 더 일찍 시작되었고 더 강했다. 이 클립들 전체에서 시작 이미지만 쓰는 레시피는 6개 중 2개(침대와 이 암체어)에서 드리프트했고 4개에서 유지되었다.

초록 암체어, 시작 이미지만 대 시작 및 끝 이미지
그림 27. 동일한 설정과 합성 프레임 0을 쓴 초록 암체어의 0–10 s 매초(프레임 240, 마지막 원본 프레임)와 정지 구간(11.0 s). 각 칸 아래에 7.7절의 판 너비를 표시했다. 시작 이미지만 쓴 경우(위. 끝 이미지 없음, 추론) 약 1.25 s부터 판이 프레임 양쪽 가장자리를 넘고 클립은 정면 클로즈업으로 끝난다. 같은 합성 프레임을 시작 이미지와 끝 이미지로 쓴 경우(아래, 자동) 판은 80.1%에 머물고 암체어는 완전히 한 바퀴 돌아 10 s에 정면으로 돌아온다.

해석(이 두 쌍에 한정). 구도는 기하학적 제약이다(같은 자리에 같은 크기). 시작 이미지만 쓴 침대 테이크는 프롬프트의 문구에 더해 합성 시작 이미지를 이미 담고 있었는데도 드리프트했다. 이어서 시작과 끝에 같은 이미지로 조건부 입력을 준 테이크는 드리프트하지 않았다. 초록 암체어에서도 720p로 자동 경로를 통해 같은 일이 일어났다. 개입의 효과와 변동의 원인은 여전히 알 수 없다. 조건마다 테이크 하나씩인 쌍 두 개로는 끝 이미지의 영향과 테이크 간 변동을 분리할 수 없다. 이는 레이아웃이 텍스트가 아니라 이미지를 통해 모델에 전달된다는 이 보고서의 주요 관찰(12절)과 양립하지만, 그것을 검증하지는 않는다. 통제된 검증은 11절의 제거 실험 5이다.

7.7 사후 비교

현황. 7.2–7.6절을 작성한 뒤, 이 작업에서 로컬로 확보할 수 있는 모든 턴테이블 클립을 새 생성이나 유료 서비스 없이 로컬 파일만으로 하나의 프로토콜에 따라 다시 채점했다. 이 비교는 사후적이고 관찰적이다. 클립은 프로토콜이 생기기 전에, 의도적으로 또는 적응적으로 바꾼 설정으로, 대부분 조건당 클립 하나씩 만들어졌다. 이 절의 어떤 내용도 비율, 효과 크기, 인과적 결과가 아니며, 조건의 n = 1인 경우 그 수치는 해당 클립만을 기술한다. 이 절은 7.4절에서 제기한 세트 간 단일 프로토콜의 필요에 답하지만, 11절의 통제된 평가를 대신하지 않는다.

프로토콜(모든 클립에 동일). 디코딩: ffmpeg, 디코딩된 모든 프레임(passthrough 타이밍, 복제 없음), 512 × 512 px로 영역 축소(모든 클립은 정사각형), 파일의 태그와 관계없이 YUV→RGB 행렬을 BT.709 제한 범위로 강제(일부 파일은 태그 없음), 8-bit RGB. 회색 = 0.2126 R′ + 0.7152 G′ + 0.0722 B′(감마 인코딩 값에 적용한 Rec.709 루마 가중치), 부동소수점, 0–255. 합성 시작 이미지: 흰색 위 알파 합성, 512 px로 영역 축소, 같은 가중치. 움직임의 끝: 움직임 구간은 프레임 0…E이며, E는 덧붙인 정지 구간 직전의 마지막 원본 프레임이다. E는 기록된 파일 구조에서 가져온다(원본 출력: 마지막 프레임, 정지 구간 파일: 10 s 원본은 프레임 240, 실제 운영 소파와 푸프는 192와 216). 검출기는 모든 클립에 실행하지만, 아무것도 기록되지 않은 경우에만 사용한다(최종 세트에서는 해당 클립 없음). 정지 구간은 인접 프레임 MAE가 0.03 그레이 레벨 미만인 끝부분의 연속 프레임이며(0.25 미만의 키프레임 튐 한 번은 허용), E는 그 연속 직전의 프레임이다. 정지 구간 파일에서는 기록과 한 프레임 이내로 일치하지만, 실제 운영 푸프에서는 놓치며(216이 아니라 240, 키프레임 튐 두 번으로 끊김), 정지 구간이 없는 원본 로컬 테이크 2에서는 모델이 스스로 만든 16프레임의 정지 꼬리를 표시한다. 따라서 정지 연속 검출기로는 덧붙인 정지 구간과 모델 자신의 멈춤을 구분할 수 없다. 영역: 전체 프레임, 그리고 고정된 중앙 상자(행 20–80%, 열 25–75%. 모든 클립에 같으며 제품 마스크가 아님). 지표: (1) 끝점 SSIM [27] (가우시안 창 11 × 11, σ 1.5, K1 0.01, K2 0.03, L 255, 반사 패딩, 영역 평균)과 프레임 0 대 프레임 E의 MAE. (2) 이음매 MAE = MAE(프레임 E → 프레임 0), 즉 움직임 구간이 루프될 때 시청자가 보는 단계, 0…E 안의 인접 단계 중앙값, 그리고 이음매 비율 = 이음매 MAE ÷ 중앙값 단계(1 = 일반적인 단계. 앵커 실험의 통과선은 ≤ 2.0이었다). 정지 구간 파일의 경우 이는 정지 구간 파일이 아니라 움직임 구간의 루프다. (3) 구도 드리프트: 6프레임마다(0.25 s)와 E에서의 판 검출기로, 판의 빛 받은 윗면을 측정한다(너비는 프레임 너비 대비 %, 중심은 프레임 높이 대비 %). 기하가 알려진 합성 이미지로 검증했다(76 / 56으로 설정한 프레임은 76.0 / 56.0–56.2로, 80 / 58은 80.1 / 58.1로, 80.0 / 77.9는 80.3 / 79.0으로 읽힌다). 각 클립의 첫 움직임 프레임과 마지막 움직임 프레임을 육안으로 확인해 ok(20개 클립), 가장자리(판이 프레임 가장자리에 닿아 너비가 하한값임. 20), 신뢰 불가(7)로 분류하고, 너비는 ok에 대해서만 보고한다. 여기에 검출기를 쓰지 않는 제품 윗면 행을 더해, 유효한 경우 클립 전체의 범위를 보고한다. (4) 합성 시작 이미지가 저장된 경우 그에 대한 레이아웃: 출력 프레임 0 대비 MAE와 SSIM, 판 너비 및 중심 차이, 프레임 E 대비 MAE. (5) 부분적인 회전 판독: 2프레임마다 중앙 상자의 프레임 0 대비 SSIM으로, 유사도가 가장 낮은 시각, 정면 유사 임곗값(min + 0.8 (1 − min)), 클립이 E보다 몇 초 전에 다시 이에 도달하는지(이른 도착), 클립 중간에서 이를 넘는 샘플, 움직임 구간 안의 정지 꼬리를 구한다. 판독 (5)는 방향을 측정하지 않는다. 정면을 지나지 않는 역회전은 이 판독에 보이지 않으며, 앵커 실험 자체의 역회전 지표는 인용만 하고 다시 계산하지 않았다.

클립. 바이트 단위로 동일한 중복을 제거한 뒤, 이 보고서의 그룹에 연결된 클립 46개를 채점했다(그중 2개, 즉 7.6절의 암체어 쌍은 처음에 귀속 미상으로 채점된 뒤 생성과 연결되었고, 끝 프레임은 그 설정에서 가져왔다). 기록된 생성과 연결할 수 없는 파일은 모든 비교에서 제외했다. 앵커 실험의 경우 나중의 재인코딩본이 아니라 제공자의 원본 출력을 채점했다.

그룹n끝점 SSIM, 전체 프레임: 중앙값 [최소–최대]끝점 MAE, 전체 프레임이음매 비율
플랫폼 템플릿 예시20.514 [0.183–0.846]52.04 [6.30–97.78]31.84 [3.06–60.62]
고객 자신의 첫 클립50.906 [0.717–0.989]6.52 [1.46–16.46]3.11 [0.96–8.24]
프롬프트 v8 시험60.910 [0.849–0.969]4.16 [1.51–11.72]2.40 [0.55–12.92]
숨은 레이어 테이크50.904 [0.775–0.989]3.75 [1.17–16.21]1.01 [0.34–5.67]
기준선, 합성 프레임 없음 (7.2절)40.930 [0.860–0.988]4.21 [1.54–5.51]1.99 [0.91–2.24]
생성한 네 시점 참조 세트10.9671.932.49
앵커 실험, 조건 A (프롬프트만)30.899 [0.784–0.919]7.61 [7.08–21.65]10.55 [5.26–14.10]
앵커 실험, 조건 B (시작 및 끝 이미지)30.996 [0.986–0.996]1.79 [1.73–1.93]1.98 [1.56–2.20]
앵커 실험, 조건 C (연쇄)30.994 [0.993–0.994]4.06 [3.47–4.69]5.52 [4.90–6.00]
합성 시작을 쓴 로컬 테이크30.995 [0.985–0.996]1.36 [1.12–1.58]3.29 [0.70–4.16]
실제 운영, 합성 시작 (7.3절)40.995 [0.994–0.997]0.66 [0.41–1.24]1.15 [1.09–1.43]
재생성, 시작 이미지만 (7.6절)40.996 [0.803–0.996]0.69 [0.44–16.08]1.29 [0.96–10.39]
재생성, 시작 및 끝 이미지 (7.6절)10.9960.500.41
암체어 쌍, 시작 이미지만 (7.6절)10.83224.6811.78
암체어 쌍, 시작 및 끝 이미지, 자동 (7.6절)10.9931.894.05

각 그룹은 제품, 모델, 해상도, 프롬프트, 설정이 서로 다른 클립을 묶은 것이다(그림 28). 앵커 실험의 MAE 값은 디코딩과 크기가 다른데도 그 실험 자체의 끝점 차이(21.8 / 7.7 / 7.2; 2.1 / 1.9 / 1.9; 3.5 / 3.9 / 4.5)를 0.2 그레이 레벨 이내로 재현한다.

그룹별 사후 비교
그림 28. 채점한 클립 46개의 끝점 SSIM(프레임 0 대 마지막 움직임 프레임, 전체 프레임, 512 px Rec.709 회색)과 이음매 비율(로그 척도. 앵커 실험의 통과선 2.0 표시). 점 하나가 클립 하나이며 그룹별로 나타냈다. 회색 = 합성 프레임을 보내지 않음, 파랑 = 합성 시작 프레임(또는 연쇄 앵커), 주황 = 같은 합성 프레임을 시작 이미지와 끝 이미지로 사용. 템플릿 클립 하나(SSIM 0.183)는 왼쪽 축 범위 밖에 있다. 그룹들은 둘 이상의 요인에서 다르며 비교 가능한 조건이 아니다.

거의 짝을 맞춘 쌍. 전체 세트에서 기록된 요인 하나만 다른 비교는 여섯 개뿐이다. 앵커 실험 비교(조건당 n = 3)를 제외하면 모두 조건당 n = 1이다. P3와 P6는 같은 변경, 즉 합성 프레임을 끝 이미지로 추가하는 것을 두 제품과 두 해상도에서, 수동 설정과 자동으로 검증한다. 기록되지 않은 차이(시드, 제공자 측 상태)는 어느 쌍에서도 통제되지 않는다.

#쌍다른 유일한 기록 요인동일하게 유지한 것끝점 SSIM / MAE / 이음매 비율구도와 레이아웃회전 판독
P1앵커 실험, 조건 A 대 조건 B (n = 3 + 3)합성 정면 프레임을 시작 이미지와 끝 이미지로 전송 (요청은 그 외 동일)Kling 3.0 Omni 720p 무음 10 s, 초록 암체어, 사진 5장, 프롬프트 텍스트A: 0.784 / 0.920 / 0.899; 21.65 / 7.61 / 7.08; 14.1 / 10.5 / 5.3; B: 0.986 / 0.996 / 0.996; 1.93 / 1.79 / 1.73; 2.20 / 1.98 / 1.56B 판은 모든 샘플에서 80.1% / 79.0%. A 판은 신뢰 불가(클립 2개) 또는 프레임 가장자리를 넘음(1개). 제품 윗면 범위 A 15.0 / 2.7 / 3.1 pts, B 2.0 / 1.2 / 1.2. 프레임 0 대 합성 정면 MAE A 24.7 / 24.2 / 24.2 (정면 미전송), B 2.4 / 2.8 / 3.1B 클립 하나는 클립 중간에 정면 유사 샘플이 2개 있으며, 기록된 지나침과 부합한다. A 클립 하나의 기록된 되돌아감은 이 판독에서 보이지 않는다
P2로컬 테이크 1 대 테이크 2합성 원판을 평면으로 그림 대 음영 넣음Kling 4 720p 10 s, 암체어, 크기 50 / 판 76 / 중심 56 / 두께 3, 엔드포인트, 프롬프트, 설정0.985 대 0.995; 1.12 대 1.58; 0.70 대 4.16테이크 1 판이 프레임 가장자리를 넘음(모델 자체의 구도), 프레임 0 대 합성 MAE 54.4, 너비 +24.0 pts. 테이크 2 76.0–76.2% / 56.2–56.7%, MAE 3.4, 너비 0.0테이크 2에는 모델이 만든 0.6 s 정지 꼬리가 있어 중앙값 단계를 낮추고 이음매 비율을 부풀린다
P3재생성 침대, 시작 이미지만 대 시작 및 끝 이미지같은 합성 프레임을 끝 이미지로도 전송 (수동 설정)Kling 4 1080p 10 s + 2 s 정지 구간, 두 번째 침대 모델, 판 80 / 4 / 58, 스튜디오 그레이, 프롬프트는 보고된 대로0.803 대 0.996; 16.08 대 0.50; 10.4 대 0.41시작 이미지만: 0 s에 80.1%, 이후 프레임 양쪽 가장자리를 넘음, 중심 58.1 → 63.2%. 시작 및 끝: 79.7–80.1% / 57.5–59.2%. 프레임 0 대 합성 MAE 4.09 대 3.17, 프레임 E 대 합성 14.57 대 3.17 (합성 이미지는 추정, 그림 22)시작 및 끝: E보다 1.17 s 전에 정면 유사 임곗값 도달
P4프롬프트 v8 암체어 시험 T4 대 T4b참조 세트: 사진 5장(다섯 번째는 별도 참조로 전송) 대 요소 안의 사진 4장Kling 4 720p 10 s, 프롬프트 v8, 초록 암체어0.969 대 0.941; 1.51 대 2.30; 0.55 대 0.91두 판 모두 프레임 가장자리를 넘음 (해당 없음)T4는 후면에서 시작해 후면에서 끝나므로(3.1절) 더 나은 끝점 수치가 시작 자세를 확인해 주지 않는다
P5프롬프트 v8 파란 소파, Kling 3.0 Omni 대 Kling 4모델 (그리고 그에 따른 출력 크기 960 대 940 px, 모델별 사운드)프롬프트 v8, 파란 소파, 사진, 720p, 10 s0.849 대 0.879; 11.72 대 5.89; 12.9 대 3.0두 판 모두 프레임 가장자리에 걸림 (해당 없음)어느 쪽도 정면 유사 임곗값으로 돌아오지 않음
P6암체어 쌍, 시작 이미지만 대 시작 및 끝 이미지합성 프레임을 끝 이미지로도 전송 (자동. 시작 이미지만 쓴 클립에서의 부재는 추론, 7.6절)Kling 4 720p 10 s + 1 s 정지 구간, 초록 암체어, 사진 5장, 크기 50, 판 80 / 4 / 70, 스튜디오 그레이, 회전 자동0.832 대 0.993; 24.68 대 1.89; 11.8 대 4.05 (중앙값 단계 2.09 대 0.47이므로 1.89 레벨 이음매가 비율로는 높게 나옴)시작 이미지만: 0 s에 80.1%, 1 s에 91.2%, 1.25 s부터 프레임 양쪽 가장자리를 넘음, 중심 70.2 → 83.1% (범위 70.2–83.3%). 시작 및 끝: 41개 샘플 모두에서 80.1% / 70.1–70.2%. 합성 이미지는 저장되지 않음시작 이미지만은 정면 유사 임곗값으로 끝내 돌아오지 않음. 시작 및 끝은 E보다 0.42 s 전에 도달하며 클립 중간의 정면 유사 샘플은 없음

그 밖의 모든 비교는 기록된 요인 둘 이상에서 다르다. 로컬 테이크 2 대 테이크 3(접지 그림자, 새 Motion 줄, 브라우저 정지 구간이 한꺼번에 바뀜), 앵커 조건 B 대 C(연쇄, 구간 프롬프트, 끝 앵커, 길이), 제품별 기준선 대 실제 운영(합성 시작 프레임, 프롬프트 레이어, 배경, 크기, 판, 길이, 정지 구간), 제품별 실제 운영 대 재생성(배경, 두께, 중심, 크기, 정지 구간, 그림자, 프롬프트 상태), 시작 이미지만 쓴 재생성 클립끼리(제품만 다르지만 제품당 n = 1이므로 차이를 테이크 간 변동과 분리할 수 없음), 고객의 크림색 소파 클립 2개(모델, 길이, 사운드), 프롬프트 v8 시험 대 조건 A(제품, 사진, 모델, 요청 구성), 조건 A/B 대 시작 및 끝 이미지를 쓴 재생성 침대(모델, 해상도, 제품, 합성기, 배경, 프롬프트), 그리고 숨은 레이어 테이크끼리(레이어 버전, 제품, 해상도, 회전 모드)가 그렇다.

판독(수치가 보여 주는 것에 한정). 끝점 유사도만으로는 문제를 분리할 수 없다. 180°에서 역회전한 것으로 기록된 숨은 레이어 테이크는 끝점 SSIM이 0.989(MAE 1.17)로 합성 프레임 그룹 밖에서 가장 높다. 후면에서 시작해 후면에서 끝나는 T4는 모든 끝점 수치에서 T4b를 앞선다. 정면으로 돌아오는 스윙 클립은 루프처럼 점수가 나온다. 끝점 SSIM과 MAE는 마지막 움직임 프레임이 첫 프레임과 닮았는지만 확인할 뿐, 회전에 대해서는 아무것도 확인하지 않는다. 관찰된 클립 안에서, 모델이 따른 합성 시작이 있는 클립(조건 B와 C, 로컬 테이크 2–3, 실제 운영, 시작 이미지만 쓴 침대를 제외한 재생성 클립, 시작 및 끝 암체어 클립. n = 17)은 끝점 SSIM 0.986–0.997, MAE 0.41–4.69이고, 프롬프트만 쓴 클립(고객, 프롬프트 v8 시험, 숨은 레이어 테이크, 기준선, 네 시점 참조 세트 클립, 조건 A. n = 24)은 SSIM 0.717–0.989, MAE 1.17–21.65이다. 이 그룹들 사이에서는 제품, 모델, 해상도, 프롬프트, 날짜가 모두 다르므로, 이는 표본을 기술한 것이지 효과가 아니다. 구도 드리프트는 합성 프레임이 없을 때(조건 A 클립 하나는 제품 윗면이 15포인트 움직이고, 다른 하나는 판이 프레임 밖에 있음)와 있을 때(P3와 P6의 시작 이미지만 쓴 조건) 모두 관찰되었다. 판 판독이 유효한 클립 20개 중 16개는 움직임 구간 동안 판 너비를 0.8포인트, 중심을 1.7포인트 이내로 유지한다. 실제 운영 소파 2개는 너비가 2.3–2.5포인트, 중심이 2.1–4.0 움직이는데, 측면 시점에서 소파가 판의 가장 넓은 줄을 가리기 때문일 가능성이 있다(검출기의 한계이며 카메라 움직임으로 입증되지 않음). 재생성의 시작 이미지만 쓴 침대(판이 프레임을 벗어나기 전 너비 20.7포인트, 중심 5.1)와 시작 이미지만 쓴 암체어(19.9와 13.1, 1.25 s부터 프레임을 넘음)가 채점한 클립 중 카메라가 다가간 두 클립이며, 두 쌍 모두에서 시작 및 끝 짝 클립은 판을 유지했다. 이음매 비율은 클립이 얼마나 빨리 움직이는지에 따라 달라진다. 연쇄된 조건 C 클립(중앙값 단계 약 0.7)은 이음매 3.5–4.7 그레이 레벨에서 4.9–6.0으로 나오고, 로컬 테이크 2의 모델이 만든 정지 꼬리는 4.16을 내므로, 비율과 이음매 절대 MAE는 함께 읽어야 한다. 이른 도착(E보다 최소 1 s 전에 정면 유사 임곗값 도달)은 재생성의 시작 및 끝 침대(1.17 s), 재생성 푸프(1.75 s), 숨은 레이어 테이크 하나(1.00 s)에서 나타난다. 자동 시작 및 끝 암체어는 E보다 0.42 s 전에야 도달하므로, 시작 및 끝 클립 2개 중 하나는 일찍 도착했고 하나는 그렇지 않았다.

이 수치가 이 보고서의 다른 곳에 있는 수치와 다른 지점. 앞선 값은 어느 것도 대체되지 않는다. 각 값은 자신의 프로토콜에 속하며, 프로토콜이 다르면 값을 서로 바꿔 쓸 수 없다.

  • 재생성 클립, 프레임 0 대 프레임 240: 이 프로토콜(512 px, Rec.709 회색에 대한 위의 SSIM 구현)은 시작 및 끝 침대, 소파, 푸프, 코너 소파에 0.996, 시작 이미지만 쓴 침대에 0.803을 준다. 7.6절의 확인(ffmpeg ssim, Y, 1440 px, 프레임 240)은 0.994 / 0.994 / 0.997 / 0.995 / 0.845를 준다. 운영자의 값(프로토콜 기록 없음)은 시작 및 끝 침대가 0.993, 시작 이미지만 쓴 클립들이 0.993–0.996 이내다.
  • 재생성 클립, 프레임 0 대 프레임 240, MAE: 여기서는 납품된 클립 4개가 0.44–0.79, 시작 이미지만 쓴 침대가 16.08이며, 7.6절과 그림 21(그림 세트의 그레이스케일 디코딩)에서는 0.48–0.89와 16.54다.
  • 침대 합성 프레임 대 출력: 여기서는 프레임 0 MAE가 4.09(시작 이미지만)와 3.17(시작 및 끝), 프레임 E가 14.57과 3.17이며, 그림 22(그림 세트 자체 크기에서의 비교)에서는 3.08 / 2.13과 15.20 / 2.11이다.
  • 암체어 쌍: 시작 및 끝 클립의 프레임 0 대 프레임 240 SSIM은 여기서 0.993, 운영자의 값은 0.991(프로토콜 기록 없음). 시작 이미지만 쓴 클립에서 판이 프레임 가장자리를 넘는 시점은 여기서 1.25 s부터, 운영자의 0.5 s 샘플에서는 약 3 s부터.
  • 납품된 재생성 클립 4개의 판 기하: 이 검출기로는 회전 동안 너비 79.3–80.1%, 중심 57.0–59.2%이며, 운영자의 값은 모든 샘플에서 80.1% / 58.1%다(7.6절).
  • 이른 도착: 여기서는 시작 및 끝 침대가 E보다 1.17 s 전, 푸프가 1.75 s 전이며, 운영자와 7.6절의 지점 SSIM 값으로는 약 1 s와 1.5 s다.
  • 실제 운영 끝점 MAE: 여기서는 코너 소파 0.62, 푸프 0.41이며, 7.3절(프로토콜 기록 없음)에서는 0.92와 0.57이다. 7.3절에서 개별 기록되지 않은 암체어(0.70)와 소파(1.24)는 여기서 측정했으므로, 네 클립의 범위는 이 프로토콜로 0.41–1.24, 내부 보고 값으로는 0.57–1.79다.
  • 기준선 끝점 SSIM: 여기서는 0.860–0.988(소파가 0.988)이며, 7.2절(기준선 자체의 프로토콜)에서는 0.85–0.97이다.
  • 로컬 테이크 3: 여기서는 0.996, 7.3절에서는 0.98.
  • 앵커 실험 MAE: 그 실험 자체의 끝점 차이와 0.2 그레이 레벨 이내(위).
  • T4와 T4b 이음매 비율: 여기서는 0.55와 0.91이며, 앵커 실험의 보정에서는 0.49와 0.88(전체 프레임), 이전 분석(3.1절)에서는 1.0과 1.5(중앙 크롭)다.

유의 사항. 이 비교는 관찰적이다. 모든 클립은 프로토콜보다 먼저 만들어졌고, 이를 검증하기 위해 만든 클립은 없다. 그룹들은 교란되어 있다. 제품, 모델, 해상도, 프롬프트 버전, 구도, 배경, 날짜가 그룹 사이에서 함께 바뀌므로, 그룹 간 차이를 합성 프레임이나 다른 어떤 것에도 귀속할 수 없다. 끝점 SSIM만으로는 오도된다. 역회전한 테이크가 0.989를 받고, 후면에서 시작한 테이크(T4)가 짝을 앞서므로, 끝점 수치는 구도, 이음매, 회전 판독, 그리고 프레임 자체와 함께 읽는다. 칸은 작다. P1은 조건당 n = 3, P2–P6는 조건당 n = 1(끝 이미지 변경에는 이런 쌍이 두 제품에 걸쳐 둘 있다), 7.6절의 시작 및 끝 클립은 각각 n = 1, 재생성의 시작 이미지만 쓴 그룹은 제품당 클립 하나다. 판 검출기는 빛 받은 윗면을 측정하므로 음영이 있는 판에서는 몇 포인트 좁게 읽을 수 있고, 판의 가장 넓은 줄을 가리는 제품은 선택되는 줄을 옮긴다. 회전 판독은 방향을 측정하지 않는다. 이 보고서에서 다룬 클립 중 2개는 로컬 사본이 없어 채점하지 않았으며(숫자 Layout 클립과 재생성 암체어), 실제 운영 클립과 재생성의 시작 이미지만 쓴 클립은 합성 시작 이미지가 저장되지 않아 레이아웃 판독을 할 수 없다. 이 수치 중 어느 것으로부터도 인과적 주장을 하지 않는다.

8. 대안과의 비교

8.1 시도한 접근 방식 (세부 사항은 3절)

접근 방식R1 크기R2 판 위 유지R3 끝점역회전움직이는 구간을 모델이 생성현황
프롬프트 문구와 숨은 레이어 (Kling 3.0 Omni, Kling 4)제어되지 않음코너 소파에서 실패SSIM 0.85–0.97, 정면에 못 미침—예폐기
숫자 Layout 줄만 (Kling 4, 클립 1개)무시됨———예폐기
합성 시작 = 끝 프레임 (Kling 3.0 Omni, 클립 3개)3/3 3% 이내3/3, 육안으로 16프레임3/3 ≤ 4 그레이 레벨1/3 지나쳤다가 되돌아옴예중단
연쇄 90° 클립 4개 (Kling 3.0 Omni, 클립 3개, 제공자 호출 12회)3/33/3, 육안으로 16프레임2/3 ≤ 4 그레이 레벨1/3 역회전예중단
생성한 네 시점 참조 세트 (Kling 4, 클립 1개)—샘플 프레임에서 보이지 않음끝점이 정면에 가깝지만 일치하지 않음—예. 구조적 드리프트폐기
3D 렌더링올바르게 구성한 장면에서 명시적으로 제어 가능제어 가능 (장면과 궤적)제어 가능 (주기적 궤적)제어 가능아니요실행 안 함
합성 시작 프레임 (Kling 4, 배포됨)사용자가 프레임 0에서 설정. 레이아웃은 6/6에서 대략 따름, 배경은 실제 운영 클립 3/4에서 유지. 재생성 실행: 프레임 0은 5/5에서 따랐고, 이후 1/5(침대)에서 판이 프레임을 벗어날 때까지 구도가 드리프트4/4 샘플 프레임에서 보이지 않음MAE 0.57–1.79, 4/4 (내부 보고). 재생성 SSIM 4/5에서 0.993–0.996, 침대는 끝에서 25% 더 큼기본 방향에서 0건 관찰. 기본이 아닌 방향은 1/1 무시됨예운영 중
합성 프레임을 시작 및 끝 이미지로 사용 (Kling 4, 클립 2개: 침대는 수동 설정, 암체어는 자동)두 클립 모두 평가 가능한 모든 샘플에서 구도 유지 (침대의 가려진 측면 시점 2개 제외)따로 평가하지 않음SSIM 침대 0.993 (운영자), 암체어 0.993 (7.7절 프로토콜), 일부는 조건부 입력 자체에 기인. 침대는 약 1 s 일찍 정면에 도달한 뒤 거의 멈춤. 암체어는 일찍 도착하지 않음두 클립 모두 완전한 회전, 사용한 샘플링에서는 보이지 않음. 측정하지 않음예같은 날 저녁부터 자동 / 360°에서 자동. 자동 경로 클립 1개 기록 (암체어)

행마다 임곗값과 제품이 다르므로 이 표는 통제된 비교가 아니다. Kling 3.0 Omni의 시작 = 끝 조건은 자체 임곗값 기준으로 클립 3개 모두에서 명시된 세 결함을 해결했다. 실패 원인은 추가된 역회전 기준이었으며, 해당 모델에 대한 작업은 중단되었다. 사용자 지정 구도와 컷아웃을 쓰면 이제 요청 경로가 세 가지다. 합성 시작 프레임을 시작 이미지로만 보내는 경로(270°와 스윙, 또는 끝 이미지가 없는 모델), 합성 시작 프레임을 시작 이미지로 보내고 같은 프레임을 자동 끝 이미지로도 보내는 경로(자동과 360°), 합성 시작 프레임을 시작 이미지로 보내고 사용자가 제공한 끝 이미지를 함께 보내는 경로다. 마지막 경로도 끝 이미지 조건부 입력을 포함하지만 자동 끝점을 덮어쓰며, 여기서는 테스트하지 않았다. 사용자가 설정한 첫 프레임은 합성 시작 프레임을 완전히 대체한다. 배포한 방법은 공학적 절충으로 선택했다. 더 새로운 모델, 클립당 한 번의 생성, 사용자가 볼 수 있는 미리보기, 기본 방향에서 관찰된 역회전 없음을 얻는 대신 측정되지 않은 비율을 감수했다.

8.2 3D 렌더링 턴테이블

3D 플랫폼은 3D 모델로부터 회전을 렌더링한다. Cylindo의 글은 "32 frames of the product rotating 360 degrees while the camera remains static"을 렌더링한다고 설명한다[25]. 정확한 모델이 있으면 축척, 판 위 유지, 루프 연결, 범위, 구도를 명시적으로 제어할 수 있게 되지만, 이는 렌더링만으로 따라오지 않는다. 공통 물리 축척과 각 제품의 실제 치수를 쓰고, 제품을 배치해 판의 바닥 면적과 대조해 확인하며(어떤 각도에서도 판 가장자리를 넘는 부분이 없도록), 마지막 샘플 각도가 첫 각도보다 한 단계 모자라 이어지는 지점이 연속되는 주기적 궤적을 갖춘, 올바르게 구성된 장면에서만 성립한다. 비용은 모든 제품을 재질과 함께 모델링하는 것이다. 이 경로는 설계만 했고 테스트하지 않았다(3.1절). 이 고객에 대해서는 3D 파일을 확보하지 못했으며, 사진에서 3D를 만드는 생성기는 보이지 않는 표면을 추측한다.

8.3 촬영한 회전 세트

카메라와 동기화된 전동 턴테이블, 예컨대 PhotoRobot의 Turning Platform[26]은 고정된 카메라로 고정된 각도에서 실제 제품을 촬영한다. 그 페이지는 가구를 포함한 제품에 대해 "ensure smooth turntable rotation in sync with precise camera capture"하는 "software-driven controls"를 설명한다. 이 방식은 SKU마다 실물, 스튜디오, 취급이 필요하다. 그 페이지는 동기화된 촬영을 뒷받침하지만, 그 자체로 픽셀 단위로 정확한 루프를 입증하지는 않는다.

8.4 기타 AI 영상 도구

근거의 종류는 구분해 둔다. 문서화된 기능: Photoroom의 Product Animator 도움말 페이지[22, 23]는 최대 4장의 참조 이미지, 템플릿으로 선택하는 움직임, 화면비, 그리고 "designed for adding extra details or making minor changes"된 프롬프트를 설명하며, 사진은 선택한 형태에 맞춰 중앙 크롭된다. 우리가 읽은 페이지는 크기, 위치, 턴테이블, 범위, 루프 제어를 설명하지 않지만, 이것이 해당 제품에 그런 기능이 없음을 입증하지는 않는다. Kling의 Kling 4 사용자 가이드[20]는 Keyframes 항목에서 첫 프레임, 마지막 프레임, 시작 및 마지막 프레임, 중간 프레임을 참조 에셋과 별도로 설명한다. 이는 fal의 결합형 reference-to-video 엔드포인트의 명세가 아니다. 공급업체 주장: Higgsfield의 글[24]은 자사 엔진이 "inherits the exact product geometry and lighting from the uploaded hero frame"한다고 밝힌다. 이는 공급업체의 주장이며 같은 메커니즘이나 충실도를 검증한 것이 아니다. 검토하지 않음: Runway, Pika, Kling 및 기타 제품 영상 도구의 웹 인터페이스. 검색 결과 스니펫은 비교 근거로 사용하지 않았다. RefVid가 이 제어 기능을 가진 유일한 도구라고 주장하지 않는다.

9. 관련 연구

이미지 조건부 영상 생성. Stable Video Diffusion[1]은 이미지-영상 생성을 위해 잠재 영상 확산 모델을 학습한다. DynamiCrafter[2]는 입력 이미지를 텍스트 정렬 컨텍스트 표현을 통해, 그리고 초기 노이즈와의 연결을 통해 주입한다. 이들은 합성 이미지를 레이아웃의 전달 수단으로 쓰는 동기가 되지만, 시작 이미지가 피사체 참조와 경쟁하는 상용 reference-to-video 엔드포인트에 대해서는 아무것도 말해 주지 않으며, 우리의 평면 원판 실패는 그런 환경에서 준수가 자동으로 이루어지지 않음을 보여 준다.

키프레임 및 루프 조건부 입력. Generative Inbetweening[3]은 사전 학습된 이미지-영상 모델의 순방향 및 역방향 패스를 융합해 두 키프레임 사이의 프레임을 생성한다. 앵커 사이의 움직임은 여전히 모델이 합성한다. Mobius[4]는 잠재 변수를 순환으로 다루어 이음매 없는 루프를 만들고, DreamLoop[5]는 시네마그래프를 위해 입력 이미지를 첫 프레임과 마지막 프레임 조건으로 모두 사용한다. 둘 다 샘플링이나 학습을 바꾸므로 우리가 사용하는 엔드포인트에서는 쓸 수 없다. 우리는 첫 프레임 대 마지막 프레임 오차를 루프 척도로 쓰는 방식을 차용하되, 끝점 오차만으로는 이음매의 연속성을 측정하지 못한다는 점(7.3절)을 밝혀 둔다.

새로운 시점, 궤도 및 다중 시점 피사체 일관성. Zero-1-to-3[6], Zero123++[7], SV3D[8]는 한 장의 이미지로부터 물체의 새로운 시점이나 궤도를 생성하며, 보이지 않는 면은 추론된다. SV3D의 공개 모델은 576 × 576에서 21프레임을 출력하는데, 이는 필요한 해상도보다 낮다. MV-S2V[9]는 3D 일관성 있는 영상을 위해 피사체의 여러 참조 시점을 사용한다(공개 모델은 480p). OmniShowcase[10]는 표면 법선 조건부 입력과 합성 궤도 학습을 추가했으며, 검토 시점에 추론 코드는 공개 예정으로 표시되어 있었다. 둘 다 실행하지 않았다. 둘 다 모든 실제 사진을 계속 참조로 보내고 합성 시작 프레임은 끝점(시작, 그리고 완전한 회전에서는 끝도)에만 사용한다는 우리의 선택과 부합한다.

공간 및 카메라 제어. CameraCtrl[11]과 MotionCtrl[12]은 학습된 카메라 또는 움직임 제어 모듈을 추가한다. CamTrol[13]은 학습이 필요 없다. 입력 이미지의 레이아웃을 3D 포인트 클라우드 공간에서 다시 렌더링하고, 그 결과로 사전 학습된 영상 확산 모델의 노이즈 잠재 변수를 구성한다. ViewCrafter[14]는 새로운 시점 합성을 위해 계획된 카메라 궤적을 따라 포인트 기반 3D 렌더를 영상 확산 모델의 조건으로 준다. I2VControl[15]은 이미지-영상 생성을 위한 카메라, 드래그, 모션 브러시 제어를 통합한다. VACE[16]는 참조, 편집, 마스크 입력을 확산 트랜스포머용 하나의 조건 단위로 구성한다. Wan 기반 ComfyUI 워크플로에서는 참조 이미지를 깊이나 기타 제어 영상과 결합할 수 있어, 첫 프레임 이후에도 구조를 부과하는 후보 경로가 되지만 적합한 제어 영상이 필요하다. 턴테이블은 카메라 궤도와 다르다. 조명, 카메라, 배경이 세계 좌표에 고정된 채 물체가 회전한다. 물체가 드리우는 그림자는 고정되어 있지 않다. 고정된 조명 아래에서 그림자의 형태는 물체의 방향에 따라 바뀌며, 물체와 함께 단순히 회전하지도 않는다. 따라서 궤도 방법은 그대로 옮겨 쓸 수 없다.

이 방법들은 세 가지 별개의 질문에서 다르다. 방법이 어떻게 개발되었는지, 공개된 가중치나 추론 코드가 있는지, 실무자가 이를 쓰려면 어떤 접근 권한이 필요한지다. CameraCtrl, MotionCtrl, I2VControl, SV3D, MV-S2V, OmniShowcase는 모듈이나 모델을 학습하거나 미세 조정해 개발되었다. 가중치가 공개된 경우(예: SV3D와 MV-S2V) 재학습 없이 추론 시 사용할 수 있지만, 새로운 기반 모델이나 도메인에는 미세 조정이 필요할 수 있다. CamTrol은 학습이 필요 없지만, DynamiCrafter 방식의 조건부 입력과 마찬가지로 모델의 잠재 변수에 작용한다. VACE는 공개 모델 가중치에서 동작한다. 이들 모두 일반적으로 적합한 모델 가중치와 추론 파이프라인에 대한 접근이 필요하다. 우리의 환경은 블랙박스 API로, 시작, 중간, 끝 이미지, 참조, 텍스트만 바꿀 수 있다. 입력 합성은 그 수준의 접근에서 쓸 수 있는 공간 조건부 입력의 형태다.

3D 재구성. 3D Gaussian Splatting[17]은 보정된 다중 시점 촬영으로부터 장면을 재구성한다. 카탈로그 사진 3–4장은 이 방법이 가정하는 커버리지를 제공하지 못한다.

평가. VBench[18]는 영상 품질을 별개의 차원(피사체 일관성, 움직임 부드러움, 시간적 깜박임 등)으로 분해하고 인간 선호도로 검증한다. 이는 충실도, 부드러움, 시간적 일관성을 따로 평가하는 동기가 되지만, 판 위 유지나 끝점 자세 같은 작업 특화 기하 확인을 대신하지는 않는다.

10. 한계

  • 탐색적 표본. 실제 운영 클립 4개(제품당 1개, 각각 설정이 다름), 성공한 로컬 Kling 4 클립 2개, Kling 3.0 Omni 앵커 클립 6개, 공통 설정을 쓴 재생성 클립 6개(시작 이미지만 5개, 시작 = 끝 1개, 7.6절). 블라인드 처리하지 않았고, 적응적이며, 별도로 남겨 둔 검증용 제품이 없다. 어떤 비율도 주장할 수 없다.
  • 재현성. 실제 운영 끝점 값 2개와 실제 운영 당일의 측정 프로토콜은 기록되지 않았다. 실제 운영 암체어 클립은 이후의 기록으로만 특정된다(7.3절). 앵커 실험 실행기는 현재의 프롬프트 빌더와 요금을 사용하므로, 지금 다시 실행해도 과거의 요청이 재현된다는 보장이 없다. 앵커의 원본 출력은 보관되지 않았고 보관된 클립은 재인코딩한 사본이어서, 작은 픽셀 차이에 영향을 준다. 이후의 실제 운영 생성에서 서버 측 프롬프트 레이어가 프롬프트 v9의 일부를 덮어썼는지는 기록되지 않았다(3.1절). 제공자 모델은 재현 가능한 체크포인트 없이 바뀔 수 있다.
  • 축척. 크기 규칙은 형태별로 점유율을 정규화한다. 제품 간 비율은 사용자의 설정에 달려 있다(4.3절).
  • 일반적인 바닥 면적. 각 형태는 바닥 면적 하나를 쓰며, 제품의 실제 W × D는 쓰지 않는다.
  • 단일 시점 컷아웃. 정면 사진만 합성한다. 그려 넣은 원판은 14°에서 본 모습인 반면 사진은 눈높이에 가깝게 찍혀 있으므로, 높거나 깊은 가구는 원근 불일치를 보일 수 있다. 2D 컷아웃의 접지점은 찾지 않으며 카메라는 보정하지 않는다.
  • 실패 시 차단(fail-closed)이 아님. 합성이나 업로드가 실패하면 조건부 입력 없는 생성으로 넘어가고, 정지 구간 추가가 실패하면 원본 클립이 남는다.
  • 방향. 시계 방향만 제공한다. 반시계 방향 요청 하나는 무시되었다.
  • 느린 시작. 정지된 합성 프레임에서 시작하므로, 검사한 클립에서는 첫 1초 동안 느리게 회전한다.
  • 프레임 0 이후의 구도 드리프트. 프레임 0에서 합성된 레이아웃을 따른다고 해서 그것이 유지되지는 않는다. 시작 이미지만 쓴 클립 6개 중 2개(침대와 암체어)는 판이 프레임을 벗어날 때까지 다가갔고(7.6절), 프롬프트의 Camera 줄은 이를 막지 못했다. 드리프트가 제품에 따른 것인지 무작위 변동인지는 알 수 없으며, 어떤 제품이 위험한지도 알 수 없다. 드리프트하지 않은 시작 = 끝 클립 2개는 두 제품에서의 단일 테이크다. 효과는 입증되지 않았고, 시작 이미지와 끝 이미지가 같으면 회전이 억제될 수 있다는 위험은 완전한 회전 두 번으로 배제되지 않았다. 그럼에도 시작 = 끝은 자동과 360°에서 기본값이므로, 이 위험들은 이제 배포된 경로에 적용되며, 그 경로에서 기록된 클립은 지금까지 하나다.
  • 이른 도착. 납품된 재생성 클립 5개 중 2개(끝 이미지를 쓴 침대, 쓰지 않은 푸프. 드리프트한 시작 이미지만 쓴 침대는 평가하지 않음)는 회전이 끝나기 1–1.5 s 전에 정면 자세에 도달해 거의 멈춰 있었으므로, 2 s 정지 구간을 더하면 눈에 보이는 정지는 침대가 약 3 s, 푸프가 3.5 s였다(7.6절). 원인과 빈도는 알 수 없다. 정지 구간을 잘라 내는 것은 가능한 해결책이지만 구현하지 않았다.
  • 시험하지 않았거나 거의 시험하지 않은 것. 침대(두 번째 침대 모델의 클립 2개, 조건당 하나, 7.6절. 컬렉션 침대의 수정된 사진은 받지 못함), 9:16과 16:9, 비대칭 물체, 까다로운 재질, 클립 2개를 넘는 합성 end_image_url(수동 설정 하나와 자동 경로 하나, 각각 n = 1. 자동과 360°에서는 자동 경로에 연결됨. 270°에는 적용 불가. 스윙 ±90°는 시도하지 않았고 제외됨), Kling 4에서의 middle_image_urls(현재 구현은 중간 이미지를 전달하지 않음), 프레임별 판 위 유지 자동 검사.
  • 재생성 측정은 재확인할 수 없음. 7.6절의 판 너비, 중심, SSIM 값은 운영자가 보고한 것이며 측정 파일은 확보할 수 없다. 다운로드한 파일과 이름으로 연결된 클립은 3개뿐이고, 침대 파일 2개는 내용으로 연결했다. 재생성 암체어에는 다운로드 사본이 없다.
  • 수정된 프레임 0은 비교하지 않음. 재생성 클립 6개는 스튜디오 그레이 배경을 사용했다. 그 프레임 0에 사진에서 추출한 그림자도 들어 있었는지는 기록되지 않았고, 음영 변형의 비교는 수행하지 않았다. 그 이전에는 배경 선택, 그려 넣은 바닥 면적 타원의 제거, 사진에서 추출한 그림자(5절)가 어떤 생성에도 사용되지 않았다. 7.3–7.5절의 Kling 4 합성 프레임 클립(로컬 테이크와 실제 운영 클립)은 그림자 모양을 그려 넣은 이전 프레임으로 만들었고, 앵커 프레임은 별도 스크립트로 합성했으며, 기준선(7.2절)에는 합성 프레임이 없었다. 추출한 그림자 자체의 한계는 5.6절에 정리했다.
  • 고객 수용 대기 중. 첫 납품에 대한 고객의 회신은 네 가지 조정을 요청했다(3.1절). 스튜디오 그레이 배경과 고정 설정으로 만든 재생성 클립 5개를 같은 날 보냈다(운영자 보고). 고객의 판정은 아직 받지 못했다.
  • 카탈로그 도구. 대규모 카탈로그를 위한 이름 붙인 프리셋과 일괄 처리는 구현하지 않았다.

11. 계획된 평가 (향후 작업)

이 절의 어떤 내용도 실행하지 않았다.

설계. 개발에 사용하지 않고 남겨 둔 다양한 제품 20–30개(소파, 암체어, 코너 소파, 푸프, 침대, 그리고 비대칭 물체와 광택, 투명, 미세 질감 품목 같은 까다로운 재질) × 주요 조건당 3–5회 반복으로 하며, 최종 수치는 파일럿 분산에 대한 검정력 분석으로 정한다. 분석은 제품 단위로 군집화하며, 프레임은 독립 표본이 아니다. 판 위 유지, 구조적 충실도, 이음매 가시성은 블라인드 처리된 독립 주석자가 평가한다.

기준선과 제거 실험, 입력, 예산, 설정을 맞춘 조건에서:

  1. 같은 최종 프롬프트를 쓴 참조 전용 기준선.
  2. 합성 시작 이미지 없이 숫자 Layout 프롬프트.
  3. Layout 줄이 있을 때와 없을 때의 합성 시작 이미지.
  4. 평면 대 음영 합성, 나머지는 모두 고정하고 순서는 무작위화.
  5. Kling 4에서 시작 이미지만 대 시작 = 끝, 합성 시작 프레임을 start_image_url과 end_image_url 모두로 보냄(7.6절). 가장 깊고 가장 높은 가구를 포함해 모든 제품 유형에 걸쳐 제품당 최소 3–5회 반복하며, 설정과 프롬프트는 동일하게 한다. 측정 항목: 모든 프레임에서의 판 너비와 중심(제품이 판의 가장 넓은 줄을 가리는 경우 "평가 불가" 표시), 드리프트한 클립의 비율. 회전하지 않거나 일부만 돌았다가 돌아오는 클립을 포함해 전체 프레임 레이트에서의 완전한 회전 및 역회전 검출. 끝점 유사성은 시작 = 끝 조건부 입력이 끝점 일치를 유도하는 목표(보장이 아니며 기여도는 측정되지 않음)라는 단서와 함께 보고하므로, 이어지는 지점의 움직임 연속성은 따로 점수화한다. 그리고 정면 자세에 도달하는 시각과 회전이 끝나기 전 정지 구간의 길이(이른 도착, 7.6절). 시작 = 끝이 이제 자동과 360°의 기본값이므로, 시작 이미지만 쓰는 조건은 의도적으로 만들고 그렇게 표시해야 한다. 검출된 이른 정지 구간을 정지 구간을 붙이기 전에 잘라 내는 변형은 구현될 경우 같은 측정 항목으로 평가한다. 선택적으로 middle_image_urls를 통한 합성 중간 앵커, 그리고 시작 = 끝에서의 스윙 ±90°.
  6. 시작 이미지 단독 대 시작 이미지와 다중 시점 참조.
  7. 호환되는 두 번째 영상 모델과 관련 상용 워크플로 하나.
  8. 프레임 0의 제품 그림자: 없음 대 사진에서 추출(그리고 참고용으로 그려 넣은 타원), 나머지는 모두 고정, 직사각형에 가까운 바닥 면적과 L자형 바닥 면적을 가진 제품에서. 제품과 판 사이의 그럴듯한 접촉, 고정 조명과 일관된 조명, 판 위의 원치 않는 잔여 자국, 레이아웃 준수로 측정한다. 제품과 함께 강체처럼 회전하는 그림자나 고정된 채로 남는 그림자는 관찰된 동작으로 기록하며, 통과로 집계하지 않는다.
  9. 배경: 밝게 대 스튜디오 그레이, 배경 유지(출력 첫 프레임의 배경 대 합성된 배경)로 측정하며 레이아웃 준수와 별도로 보고한다.
  10. 추출한 그림자의 가장자리 품질: 렌더링된 부드러운 alpha 예시, 색이 있는 가장자리 오염, 영역 잘림, 판 경계 클리핑을 전체 프레임 평균이 아닌 가장자리 영역 지표(컷아웃의 부드러운 가장자리 주위의 띠)로 평가한다.

추가 실험. 제품 간 너비 비율을 측정하는 고정 물리 축척 변형(공통 판 지름, 실제 SKU 치수). 슬라이더 응답 테스트(출력 크기가 s를 단조적으로 따르는가). 9:16과 16:9. 소수 단위 정지 구간과 앞쪽 정지 구간. 오디오가 있는 정지 구간 클립.

측정 항목, 이전 클립과 새 클립에 똑같이 적용하는 버전 관리된 하나의 프로토콜: 명시된 색 공간과 해상도에서 전체 프레임 및 제품 영역의 MAE와 SSIM. 끝점 자세 오차. 이어지는 지점의 움직임 불연속을 정지 구간을 제외한 클립 자체의 인접 프레임 분포와 클립별로 비교. 정의된 가시성 제외 조건과 "평가 불가" 범주를 갖춘 판 위 유지 위반, 모든 프레임에서 또는 근거 있는 샘플링으로 검토. 완전한 회전 및 역회전 검출. 지연 시간. 재시도와 운영자 시간을 포함한 수용 가능한 클립당 비용. 원본 파일과 정지 구간 파일을 따로 식별하고, 모든 클립에 대해 실제로 전송된 요청(채워진 프롬프트 포함), 합성 이미지와 참조 이미지, 개별 점수를 보관한다.

12. 결론

이 과제에서 텍스트는 기하를 모델에 전달하지 못했다. 문구, 숫자 레이아웃 지시, 프롬프트의 숨은 레이어는 우리가 수행한 시험에서 크기, 판 위 유지, 끝점 자세를 제어하지 못했다. 합성 시작 이미지 — 사용자가 설정한 매개변수로 사진처럼 음영을 넣은 턴테이블 위에 올린 제품 자신의 컷아웃 — 는 우리가 관찰한 음영 원판 사례 모두에서 Kling 4가 제품과 플랫폼 레이아웃을 육안으로 대략 따랐다. 합성된 배경은 실제 운영 클립 4개 중 3개에서 유지되었으므로, 레이아웃 준수는 프레임 전체의 준수가 아니다. 이 네 클립에서는 샘플 프레임에서 어느 부분도 가장자리를 넘는 것이 보이지 않았고, 보고된 끝점 차이는 낮았다. 정지 구간은 브라우저 처리가 성공하면 생성 후 결정론적으로 추가된다. 시스템이 제어하는 것은 입력 프레임과 제품 간 턴테이블 배치의 일관성이다. 제품 간 비율은 사용자에게, 프레임 0 이후의 모든 것은 모델에 맡긴다. 이후의 클립 2개는 이로써 무엇이 열려 있는지를 보여 주었다. 프레임 0은 따랐지만 그 뒤 카메라가 다가가 판이 프레임을 벗어났다(침대, 그리고 자동 끝 이미지가 운영자의 페이지에 반영되기 전에 시작 이미지만으로 만들어진 것으로 추정되는 암체어. 이는 추론이지 기록이 아니다). 각 경우 같은 합성 프레임을 끝 이미지로도 쓴 테이크는 드리프트하지 않았다. 개입의 효과와 변동의 원인은 여전히 알 수 없다. 이후 끝 이미지는 공학적 결정으로 자동과 360°에서 기본값이 되었다. 이는 클립의 양 끝을 합성 프레임으로 조건부 입력하며, 정면에 이른 도착과 완전한 회전을 포함한 그 사이의 움직임은 모델에 맡긴다. 스튜디오 그레이 배경에서는 재생성 클립 6개 모두에서 회색 스튜디오가 운영자에 의해 보고되었고, 이 보고서에서는 다운로드한 파일과 연결된 5개에서 확인되었으며, 측정한 지점에서는 맞춘 참조에 가까웠다. 이 세트는 앞선 4개 중 3개와 따로 보고한다. 재생성 클립은 고객에게 가 있으며, 판정은 대기 중이다. 관찰된 동작이 비율로서, 제품과 형식 전반에 걸쳐, 그리고 더 단순한 기준선에 대해서도 성립하는지는 계획된 평가의 대상이다.

참고 문헌

  1. [1]A. Blattmann, T. Dockhorn, S. Kulal, D. Mendelevitch, et al. "Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets." arXiv:2311.15127, 2023. https://arxiv.org/abs/2311.15127 (read 2026-11-13)
  2. [2]J. Xing, M. Xia, Y. Zhang, H. Chen, W. Yu, et al. "DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors." arXiv:2310.12190, 2023. https://arxiv.org/abs/2310.12190 (read 2026-11-13)
  3. [3]X. Wang, B. Zhou, B. Curless, et al. "Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation." ICLR 2025; arXiv:2408.15239. https://arxiv.org/abs/2408.15239 (read 2026-11-13)
  4. [4]X. Bi, J. Yuan, B. Liu, et al. "Mobius: Text to Seamless Looping Video Generation via Latent Shift." arXiv:2502.20307, 2025. https://arxiv.org/abs/2502.20307 (read 2026-11-13)
  5. [5]A. Mahapatra, L. Mai, C. Ham, F. Liu. "DreamLoop: Controllable Cinemagraph Generation from a Single Photograph." arXiv:2601.02646, 2026. https://arxiv.org/abs/2601.02646 (read 2026-11-13)
  6. [6]R. Liu, R. Wu, B. Van Hoorick, et al. "Zero-1-to-3: Zero-shot One Image to 3D Object." arXiv:2303.11328, 2023. https://arxiv.org/abs/2303.11328 (read 2026-11-13)
  7. [7]R. Shi, H. Chen, Z. Zhang, et al. "Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model." arXiv:2310.15110, 2023. https://arxiv.org/abs/2310.15110 (read 2026-11-13)
  8. [8]V. Voleti, C.-H. Yao, M. Boss, A. Letts, et al. "SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion." arXiv:2403.12008, 2024. https://arxiv.org/abs/2403.12008 (read 2026-11-13); model card https://huggingface.co/stabilityai/sv3d (reviewed 2026-11-11)
  9. [9]Z. Song, X. Gong, B. Liu, Z. Zhao. "MV-S2V: Multi-View Subject-Consistent Video Generation." arXiv:2601.17756, 2026. https://arxiv.org/abs/2601.17756 (read 2026-11-13); code https://github.com/Szy-Young/MV-S2V (reviewed 2026-11-11)
  10. [10]J. Ahn, G. Kim, K. Kim, et al. "OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images." arXiv:2610.35684, 2026. https://arxiv.org/abs/2610.35684 (read 2026-11-13)
  11. [11]H. He, Y. Xu, Y. Guo, et al. "CameraCtrl: Enabling Camera Control for Text-to-Video Generation." arXiv:2404.02101, 2024. https://arxiv.org/abs/2404.02101 (read 2026-11-13)
  12. [12]Z. Wang, Z. Yuan, X. Wang, T. Chen, M. Xia, et al. "MotionCtrl: A Unified and Flexible Motion Controller for Video Generation." SIGGRAPH 2024; arXiv:2312.03641. https://arxiv.org/abs/2312.03641 (read 2026-11-13)
  13. [13]C. Hou, Z. Chen. "Training-free Camera Control for Video Generation" (CamTrol). arXiv:2406.10126, 2024. https://arxiv.org/abs/2406.10126 (abstract read 2026-11-13)
  14. [14]W. Yu, J. Xing, L. Yuan, W. Hu, et al. "ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis." arXiv:2409.02048, 2024. https://arxiv.org/abs/2409.02048 (abstract read 2026-11-13)
  15. [15]W. Feng, T. Qi, J. Liu, M. Sun, et al. "I2VControl: Disentangled and Unified Video Motion Synthesis Control." ICCV 2025; arXiv:2411.17765. https://wanquanf.github.io/I2VControl (project page read 2026-11-13)
  16. [16]Z. Jiang, Z. Han, C. Mao, J. Zhang, et al. "VACE: All-in-One Video Creation and Editing." arXiv:2503.07598, 2025. https://arxiv.org/abs/2503.07598 (abstract read 2026-11-13); code https://github.com/ali-vilab/VACE (reviewed 2026-11-11)
  17. [17]B. Kerbl, G. Kopanas, T. Leimkühler, G. Drettakis. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Transactions on Graphics 42(4), 2023; arXiv:2308.04079. https://arxiv.org/abs/2308.04079 (read 2026-11-13)
  18. [18]Z. Huang, Y. He, J. Yu, F. Zhang, et al. "VBench: Comprehensive Benchmark Suite for Video Generative Models." arXiv:2311.17982, 2023. https://arxiv.org/abs/2311.17982 (abstract read 2026-11-13)
  19. [19]fal.ai, Kling 4 reference-to-video API and llms.txt. https://fal.ai/models/kling/v4/reference-to-video/api and https://fal.ai/models/kling/v4/reference-to-video/llms.txt (read 2026-11-13)
  20. [20]Kling AI, "Kling 4 model user guide." https://kling.ai/quickstart/kling-4-model-user-guide (read 2026-11-13, first 100,000 characters)
  21. [21]fal.ai, Bria background removal (RMBG 2.0). https://fal.ai/models/fal-ai/bria/background/remove (read 2026-11-13)
  22. [22]Photoroom Help, "How to use Product Animator." https://help.photoroom.com/en/articles/16013315-how-to-use-product-animator (read 2026-11-13)
  23. [23]Photoroom Help, "Troubleshooting Product Animator videos." https://help.photoroom.com/en/articles/17704481-troubleshooting-product-animator-videos (read 2026-11-13)
  24. [24]Higgsfield, "Best way to create a cinematic 360-degree orbit shot with AI." https://geo.higgsfield.ai/blog/best-way-create-cinematic-360-degree-orbit-shot-ai (read 2026-11-13)
  25. [25]Cylindo blog, "3D product visualization for furniture e-commerce." https://blog.cylindo.com/3d-product-visualization-furniture-ecommerce (read 2026-11-13)
  26. [26]PhotoRobot, "Turning Platform." https://www.photorobot.com/robots/turning-platform (read 2026-11-13)
  27. [27]Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli. "Image Quality Assessment: From Error Visibility to Structural Similarity." IEEE Transactions on Image Processing 13(4), 600–612, 2004. https://doi.org/10.1109/TIP.2003.819861

부록 A. 구성된 프롬프트(v9, Kling 4, 사용자 지정 구도, 회전 자동, 시계 방향)

{…}는 설정에서 채워지며, Scene 줄에는 사용자의 말(기본값은 템플릿의 텍스트)이 들어간다.

Scene: {name}, matching the reference appearance and proportions, is on a circular white studio turntable against a light grey seamless background, under soft even studio light, with the entire product in sharp focus.
Layout: Use these layout settings throughout: the turntable's full projected horizontal width is {plate}% of frame width. Its top-surface centre is {position}% of frame height down from the top edge. It is a low, flat, solid disc of uniform vertical thickness, {thickness}% of its physical diameter, with a plain white top and nothing rising from it except the product's own legs. The product's farthest point horizontally from the disc's centre is {size}% of the disc's radius. At 0°, align the midpoints of the product's full frame-left/frame-right and camera-near/camera-far spans with the disc's centre.
Rotation: Frame 1 shows the product at exactly 0°, the first reference orientation, front facing the camera, before any rotation. Product and disc spin in place together as one rigid body about the disc's centre. During the first quarter-turn, the frame-right half moves toward the camera and the frame-left half moves away. Keep the same direction throughout; never reverse. Each quarter of the clip covers 0° to 90°, 90° to 180° (full rear view), 180° to 270°, then 270° to 360°, respectively. At exactly 360° in the final frame, the product exactly matches frame 1 in pose, position, size and shape.
Camera: One uninterrupted shot; camera position, aim, focal length, focus, aperture and crop stay constant.
Motion: Frame 1 is already turning at full speed: constant angular speed from first to final frame, with no ease-in at the start and no ease-out at the end; never stop, accelerate or slow down.
Product: The product is rigid: no stretching, bending, morphing, melting, or parts appearing or disappearing. Shape, dimensions, parts, materials, colours and disc-relative pose stay unchanged. The disc stays level, flat and in place.

"The video is silent."는 사운드가 꺼져 있을 때만 Product 줄에 덧붙는다. 270°와 스윙의 회전 문장은 여기에 싣지 않았다. Camera와 Motion 줄, 그리고 Product 줄의 기본 텍스트는 사용자의 말이 주제 키워드 패턴과 일치하면 빠지며, 사운드가 꺼져 있으면 무음 문장은 남는다(4.6절). 모델의 길이 한도를 넘는 경우에도 줄이 빠지며, Layout이 가장 마지막에 빠진다. 서버 측 프롬프트 레이어가 프로덕션에서 실제로 전송된 회전 및 움직임 문장을 바꾸었는지는 기록되어 있지 않다(3.1절).

부록 B. 평가한 클립의 설정

프로덕션 클립(Kling 4, 1080p, 1:1, 사운드 켬, 밝은 배경):

제품길이크기화면 속 턴테이블두께위에서부터 중심회전 후 정지
안락의자(이후 기록으로 식별, 7.3절)10 s60%80%4%58%2 s
코너 소파10 s90%80%4%70%2 s
소파(반시계 방향 요청)8 s80%80%10%50%1 s
푸프9 s51%80%5%60%3 s

재작업 클립(7.6절): 모든 제품에 대해 Kling 4 reference-to-video, 1080p, 1:1, 10 s + 2 s 정지 구간, 턴테이블 80%, 두께 4%, 중심 58%, 스튜디오 그레이. 전달됨: 합성 시작 프레임을 끝 이미지로도 쓴 두 번째 침대 모델, 안락의자, 소파, 코너 소파, 푸프(그림 26에는 안락의자를 제외한 전부가 나온다). 전달되지 않았고 공개 링크도 없음: 시작 이미지만 쓴 침대 클립. 실제로 사용한 제품별 크기 값은 기록되어 있지 않다(계획상의 값은 안락의자 60, 코너 소파 90, 소파 80, 푸프 51, 침대 90).

기준선 클립(7.2절): Kling 4, 1080p, 1:1, 10 s, 회전 자동, 합성 시작 프레임 없음, 정지 구간 없음: 안락의자, 소파, 푸프, 코너 소파(그림 19).

확정 레시피와 함께 기록된 권장 사항: 모든 제품에 하나의 중심 높이 값(55–60%, 키가 큰 제품이나 크기 ≥ 70%이면 58–62%)을 쓰고, 제품마다 크기만 바꾼다.

로컬 테이크, 앵커 실험 클립, 4시점 참조 클립, 수치 Layout 클립에는 공개 링크가 없다.

저자 주

재현성 패키지(전송한 그대로의 클립별 요청, 합성 및 참조 이미지, 원본 및 정지 구간 출력, 개별 점수와 측정 명령)는 계획되어 있으며 아직 제공되지 않는다.

예시 영상은 고객이 공개를 승인하면 링크할 예정이다.

연구