RefVid
研究

商用動画モデルにおけるユーザー構図の製品ターンテーブル動画のための合成した開始フレーム:探索的事例研究

著者
RefVid
公開日

位置づけ: 探索的なエンジニアリング事例研究である。対照評価は実施していない(計画中の評価は11節に記す)。

要旨

本稿では、正規化したフットプリントのレイアウト、参照写真の切り抜き、商用動画モデル(fal.ai経由で利用するKling 4 reference-to-video)の最初のフレームによる条件付け、決定的な端点の静止を組み合わせた、ブラウザベースの製品フレーミング用インターフェースについて述べる。課題は、約2,000製品のカタログを持つ欧州の家具メーカーから寄せられたものである。同社は3〜4枚の通常の製品写真から360°のターンテーブル動画を生成することを望み、導入を阻む三つの欠陥を挙げた:台の上での製品の大きさと位置を制御できないこと、回転中に製品の一部が台の縁を越えること、ループが再開する箇所で目に見える飛びが生じることである。このインターフェースでは、ユーザーが四つのレイアウトパラメーターを設定し、構図をプレビューし、それを(UIのガイドを除いて)ラスタライズしてクリップの開始画像とし、生成後にブラウザで回転の前後に静止フレームを付加する。それに先立ち、テキストのみによる制御、数値によるレイアウト指示、以前のモデルでの開始・終了アンカーを試した(3節)。盲検化していない探索的テストでは、出力の最初のフレームはKling 4の7クリップ中6クリップで合成した製品と台のレイアウトにおおよそ従った(写真のような陰影を付けたターンテーブルでは6クリップすべて、平面的に描いた円盤では1クリップ中0)。これはレイアウト追従であって、フレーム全体の追従ではない。本番の4クリップでは描画した背景は4クリップ中3で保持され、アームチェアのクリップではモデルが背景を置き換えた。意図的に設定を変えたこの4クリップでは、サンプルしたフレームで製品のどの部分も台の縁を越えるのは確認されず、報告された最初と最後のフレームの差は小さかった。これらの観察は有望だが、規模が小さく、適応的で、一部は独立に再現できず、成功率、製品間の物理スケール、回転中ずっと台上に収まること、継ぎ目のないループのいずれも立証しない。大きさの制御は各製品のフットプリントを台に対して正規化するものであり、共通の物理スケールを課すものではない。その後、顧客が4クリップについてコメントした(背景、台の厚みと位置、コーナーソファの下の丸い影)。フレーム0は、合わせ込んだスタジオ背景と、描画した楕円の代わりに白背景の写真から抽出した製品自身の床の影を用いて改訂した(5節)。合わせ込んだグレーの背景と固定設定による後の6クリップ(7.6節)からは、さらに一つの観察が得られた:開始画像のみでは、あるベッドのクリップでカメラが一定のペースで寄っていき、台がフレームから外れたのに対し、他の4製品は0.5 sごとにサンプルしたすべてのフレームで合成した構図を保った(オペレーターの測定)。同じ合成したフレームを終了画像としても送ったベッドの再実行では、構図が保たれ、一周した。開始のみのテイクはドリフトし、開始と終了で条件付けたテイクはドリフトしなかった。介入の効果とばらつきの原因は不明のままである。それでも、合成したフレームを終了画像として送る機能は同じ晩に構築・デプロイされた(4.4節):回転が「自動」または360°のとき、現在は自動的に送られる。これは工学的な判断であって、効果の実証ではない。その後に作った、おおよそ対応の取れた二つ目のペアは、緑のアームチェアを720pで、他は同一の設定とし、終了画像を自動の経路で付加したものだが、同じ違いを示した:開始画像のみを持つと推定されるテイク(終了画像がないことはタイミングとページの状態から推定したもので、リクエストから読み取ったものではない)は台がフレームから外れるまで寄っていき、開始と終了のテイクは構図を保って一周した。各群1テイクのペア二つでは効果は立証されない。終了画像あり・なし各1の2クリップは、正面の姿勢に1–1.5 s早く達し、その後ほぼ静止したため、見かけの静止が長くなった。開始 = 終了の2クリップのうち一つは早い到達のしきい値に達し、一つは達しなかったため、終了画像との関係は不確かなままである。6クリップのうち5クリップを顧客に送付したが、評価はまだ受け取っていない。5節の陰影のバリエーションは比較していない。

1. はじめに

1.1 課題と顧客のニーズ

入力:1つの製品を白背景で撮影したカタログ写真3〜4枚(正面を先頭とする)と、製品の種類(ソファ、アームチェア、コーナーソファ、プーフ、ベッド、その他)。出力:固定カメラで、丸いスタジオ用ターンテーブルの上で製品が一周する短い動画。比率は1:1、9:16または16:9。

顧客は欧州の家具メーカーであり、セルフサービス型のAI動画プラットフォームでターンテーブル動画を何本か作成していた。同社は、結果が一貫しており見せ方を制御できるなら、約2,000製品からなるコレクションのかなりの部分に利用を検討すると述べた。やり取りから要約した要件は次のとおりである:

  • R1. 生成前の大きさと位置の制御、およびコレクション全体での一貫性。 ユーザーが台の上での製品のスケールと位置をプレビューして調整でき、動画間で各製品の比率が一貫していること。顧客は、台に対して大きすぎて脚が縁からはみ出すソファ、小さすぎるソファ、単体では問題ないが他の動画のソファと並べると比率が合わないアームチェアについて述べた。この要望はその後2回のフィードバックでも繰り返された。
  • R2. 台上への収まり。 回転の間ずっと、製品のあらゆる部分が台の上にあること(回転の途中で後ろの脚が縁を越えたコーナーソファについて指摘された)。
  • R3. ループ。 回転が再開する箇所で目に見える飛びがないこと。任意で、回転後に約2 sの停止を入れること。
  • R4. 滑らかな回転であり、コマ送りのような段差がないこと。プレーヤー側のスロー再生(0.5×)に関して指摘された。一定の角速度は一度も要求されていない。
  • R5. 360°以外の回転範囲(270°、およびスイング:正面から片側へ90°、正面に戻り、反対側へ90°)。
  • R6. フォーマットごとの構図を9:16、16:9、1:1について用意し、クロップで済ませないこと。顧客はソファ、コーナーソファ、ベッドのような大型製品ではクロップでは不十分と判断した。

本稿はR1〜R3を扱い、R5とR6は設計に影響する範囲で取り上げる。

1.2 商用エンドポイントでこれが難しい理由

写真はシーンの画像としてではなく、参照としてモデルに渡される。ターンテーブル、その大きさと位置、カメラの距離、製品の大きさはモデル自身が描き、各クリップは独立に生成される。Kling 4 reference-to-videoのfalスキーマ[19]には prompt、multi_prompt、duration、start_image_url、middle_image_urls、end_image_url、image_urls、video_urls、elements、voice_ids、resolution、aspect_ratio が並ぶが、カメラ姿勢、回転方向、物理スケール、シード、ガイダンスを扱う公開パラメータはない。したがって幾何学的な要件は、言葉か画像でしか表現できない。独自モデルの内部機構については何も主張しない。

1.3 貢献

新しい動画生成手法ではなく、エンジニアリング上の統合と探索的な運用研究である:

  1. 製品自身の切り抜きを、写真のように陰影を付けて描いたターンテーブルの上に、ユーザーが設定する4つのパラメータで配置し、床の影は製品写真そのものから取り(5節)、それをプレビューしたうえで、多視点の参照と構造化したプロンプトとともにクリップの開始画像として送る(一周の場合は現在、終了画像としても送る。4.4節)ブラウザ上のコンポーザー。
  2. 生成されたクリップに静止した端点フレーム(静止)を付け足す、決定論的なブラウザ側の後処理。
  3. 失敗した代替案(プロンプトの言い回し、数値によるレイアウト文、別モデルでの開始・終了アンカーとクリップの連結、生成した多視点参照セット)と、未解決のまま残る信頼性の限界の記述。

2. 用語

  • 製品:1つのカタログ品目(SKU)。形状:UIで選ぶ製品の種類で、汎用のフットプリントW × D(cm)を持つ(4.3節)。
  • エレメント:被写体の参照としてモデルに送る、1つの製品の写真の束(正面画像1枚と参照画像)。
  • 合成した開始フレーム:ブラウザがコンポーザーから描画し、start_image_url として送るPNG。プレビュー:画面上の同じ構図で、合成した開始フレームには含まれない破線のガイドリングが付く。
  • 出力の最初のフレーム:モデルが返すクリップの、デコードした最初のフレーム。
  • 生クリップ:プロバイダーから返されたままのMP4。静止付きクリップ:ブラウザでの後処理(静止の付加、クリップ全体の再エンコード)を経たMP4。
  • 大きさ:スライダーの値(30〜100%)で、製品フットプリントの回転軸から最も遠い点の距離を円盤の半径に対する百分率で表したもの。式中では s = size / 100 とし、分数で表す。
  • レイアウト追従:出力の最初のフレームが、製品と台をおおむね合成時の大きさと位置で示していること。目視で判定する。背景の保持:出力の最初のフレームが合成した背景を保っていること。両者は別々に報告し、どちらもフレーム全体の一致を意味しない。
  • プロンプトv9:プロンプト文のバージョン。確定レシピ:3節のローカルテストの後に採用した、合成した開始フレーム、プロンプトv9、ブラウザでの静止の組み合わせ。
  • オペレーター:後半のクリップを生成・測定したチームメンバー。「オペレーター報告」は、測定ファイルが本稿で再確認できた証拠に含まれない値を示す。

3. 手法に至るまで

3.1 経緯

出発点。 顧客自身による最初の試みは、3つのモデルによる5クリップで、ウェブショップの携帯電話のスクリーンショット(ステータスバー、アドレスバー、ツールバーを含み、縦長の白い画像の中に家具が小さく写っている。2セットには細部のクローズアップも含まれていた)から作られていた。0.5 sごとに1フレームを確認したところ、Kling 4の3クリップのうち2クリップはすでにきれいに一周していた。問題は台の上での大きさ(台と同じかそれ以上の幅のソファ、ソファのようにフレームを埋めるアームチェア、大きな台の上の小さなベッド)、製品間の一貫性、片側にしか振れないベッド、そして1クリップでのアームレストのクローズアップへのカットと脚の本数の変化であった。クローズアップへのカットは細部写真によるものと考えたが、これは1クリップの解釈であって、検証した原因ではない。その後、入力はスクリーンショットを家具に合わせて約8%の余白を残してクロップし、細部のクローズアップを除いて準備した。プラットフォーム自身のテンプレート例では、プロンプトが360°一周を求めていたにもかかわらず、靴のクリップ(Kling 3.0 Omni)は約75°振れて戻り、フィギュアのクリップは約270°回ってクローズアップにカットした。確認したクリップでは、カメラの構図はクリップ内で安定しており(台の幅はフレームの80.9〜81.1%、製品の上端の移動は1.9%、中心は3.3%)、フレーム0が制御点になりうることを示唆した。1:1クリップを9:16で中央クロップすると、製品の最大28.3%が切れた(R6)。測定したクリップはすべて24 fpsであった(Kling 4、Kling 3.0 Omni、PixVerse C1)。当初は手動の大きさ・位置制御を作らず、プロンプトの既定値に頼るという判断をしたが、後にこれを覆した。

出発点:テンプレート例とクロップ
図1. プラットフォーム自身のターンテーブル用テンプレート例(靴、Kling 3.0 Omni、5 s)のフレーム0〜120:360°一周せず、約75°振れて戻る。下段は1:1クリップのフレーム111を9:16と16:9で中央クロップしたもので、9:16のクロップでは靴のかかとと爪先が切れている。

プロンプトv1:回転設定と構図の既定値。 回転の設定と、サーバーで組み立てる既定文(「the whole product stands fully on the turntable … centred … fills most of its surface; the camera is locked off」)を、対照テストなしでデプロイした。「fills most of its surface」はすべての製品に台を埋めさせるもので、R1の後半と矛盾する。この段階の当初の提案は、すでに最初のフレームを合成することであり、別のオプションとして共通の物理スケール(cm単位の固定した台の幅と各製品の実寸幅)も挙げていた。後者は作られなかった。

編集による滑らかなスロー再生と回転範囲(ローカルテスト)。 フレーム補間(ffmpeg minterpolate)は、単純な半速再生と比べて除外したフレームの誤差を約4分の1に減らしたが、部品が交差する箇所でアーティファクトが生じた。補間した出力は却下され、R4への回答はモデル本来のフレームレートでより長いクリップを作ることになった。R5については、新たな生成なしに既存の360°クリップからスイングと270°を切り出した。折り返しのつなぎ目はきれいだった(通常のフレーム間変化の0.90〜0.91×)が、正面に戻るつなぎ目は通常の2.28×の飛びがあり、最もよく一致するフレームと2〜3フレームのブレンドが必要になる。また、範囲の切り出しは本当に連続して360°回るクリップでしか機能せず、モデルはそれを保証しなかった。そこで回転範囲はプロンプトの一文として実装し、以来、動いている部分はモデルが生成している。

プロンプトv2〜v8。 v2〜v7は提案と下書きで、生成はしていない。v8は本番環境でテストした:スイングのベッド(Kling 3.0 Omni)、青いソファ(Kling 3.0 OmniとKling 4)、クリーム色のソファと緑のアームチェア(Kling 4)、720p、10 s、1:1(図2)。数値による指示(台との隙間5%、フレームの余白5%)は、どちらのモデルも従わなかった。Kling 3.0 Omniは大きな台を描き、Kling 4はフレームより幅の広い台を描いた。同じ「first reference orientation as 0°」の文は、青いソファ(Kling 4)では守られ、アームチェアでは守られず、椅子の背面から始まった。クリーム色のソファの6枚の参照写真は同じソファの2つの構成を写しており、動画は回転の途中で構成が切り替わった。参照の不一致は、こうした変化の要因としてありうる。アームチェアのフォローアップのテイク(T4b)では、写真を5枚から4枚(正面、側面、斜め後ろ、背面)に減らし、正面を正面画像としてすべてエレメントに入れたところ、正面から始まり、連続して一周して正面に戻った。当時記録された暫定的な説明は、先のテイクでは5枚目(背面)の写真がエレメントではなく別の参照画像として渡されていた、というものだった。1組のクリップにすぎず決定的ではないが、文への準拠だけでなく参照の渡し方も開始姿勢に影響したことを示唆する。

プロンプトv8のテスト
図2. プロンプトv8の6本のテストクリップ(720p、10 s、1:1、合成した開始フレームなし)の0、1.5、3、4.5、6、7.5、9 sとフレーム240:Kling 3.0 Omniは大きな台の上に小さな製品を描き、Kling 4の台はフレームの端まで達する。T4(写真5枚)はアームチェアの背面で始まり背面で終わり、T4b(写真4枚)は正面で始まり正面で終わる。クリーム色のソファ(T3)のクッションは正面の視点と終わりとで変わる。

顧客のコレクション。 その後、顧客は5点(アームチェア 85 × 85 × 82、ソファ 240 × 94 × 82、プーフ 105 × 60 × 47、コーナーソファ 240 × 200 × 82、ベッド 210 × 163 × 123 cm)について各3〜4枚、計16枚の写真と寸法表を送ってきた。すべて約1200 × 800 pxの白背景の切り抜きである。プーフの写真は3Dレンダリングで、プーフはフレームの約45%しか占めていない。アームチェア、ソファ、ベッドには真後ろからの視点がない(アームチェアとソファには斜め後ろの視点があり、ベッドにはヘッドボードの背面の視点がない)。コーナーソファの写真は純白ではなく淡いグレーの周辺減光があり、どの視点でもシェーズが右側にある。ベッドの寝具は写真ごとにスタイリングが異なる。本稿でいう「通常の製品写真」とはこれらのカタログ画像を指し、忠実度に関する主張はそこに写っている範囲に限られる。4.3節の6つの形状のうち5つ(「その他」以外)の汎用フットプリントは、これらの製品の寸法である。

隠れたプロンプト層。 製品は本番環境(Kling 4、1080p、1:1、10 s)で生成し、その間にサーバー側のプロンプト層を編集した:v1「never reverse」。v2では、座面の下に白い支柱が出たテイクの後で「axis」を削除し、平らな円盤の文を追加した。v3「frame 1 shows the product at exactly 0°」。v4では新しいスイングの文。v3では、アームチェア、ソファ、プーフ、コーナーソファが正面から始まり、支柱なしで一周した。ベッドは2回失敗し、その写真同士は食い違っていた。顧客にはその少し前に、手動での大きさ調整は推奨しないと伝えていた。これらのうち4クリップを納品し、7.2節のベースラインとなっている。顧客の返信は、スケール、終わりの飛び、縁からはみ出したコーナーソファを指摘した。

機構の分析、過大な約束とその訂正。 そのフィードバックへの返信では、一致する最後のフレーム、停止、大きさを変えたターンテーブル、新しいバージョンを約束した。見直したところ、いずれも利用可能な機構によって保証されるものではなく、製品間の正確な比率、回転全体での台上への収まり、最初と同一の最後のフレームは保証できないと述べる訂正を送った。2つの作業ルールを定めた:満たせない要件には、試行テイクを増やすのではなく機構を見つけて対応すること、そして結果は顧客自身の言葉に照らしてのみ判断すること。分析では2つの経路を整理した:3Dモデルからレンダリングする(経路A)、または合成した画像で動画を拘束する(経路B)。独自の確信度ラベル付きの内部評価は、テキストではスケール、台上への収まり、正確なループを保証できない(高)、合成した開始フレームはフレーム0を固定できる(高)、フレーム0以降のスケールはモデルの挙動による(中、未検証)、正確な静止には後処理が必要、と結論した。顧客はテストの継続を求め、ユーザーが調整できる大きさと2 sの停止を改めて求めた。こちらの返信は両方を約束した:製品がフレームのどれだけを占めるかを設定するオプションにより、各製品が一貫した大きさで始まること(ただし回転中に大きさが変わる可能性があるという注意書きと、再生成すれば通常はより良い結果になるという主張を付けた)、そして一周後の2 sの停止である。これらはやり取りの中での約束であり、検証された技術的結論ではない。特に再生成に関する主張は、いかなる測定された割合によっても裏付けられていなかった。

生成した4視点の参照セット。 Kling 4 reference-to-video(720p、10 s、1:1)での本番生成で、コーナーソファの多角度画像4枚を生成して1つの被写体参照セットとして用いた(1枚目を正面画像、残りを参照画像とし、開始・終了・中間フレームはなし)。元のリクエスト本文は入手できず、保存された記録と現在のコードから再構成した。保存されたプロンプトは、すでに4分の1周ごとに90°、一定速度、逆回転なし、構造を変えないこと、正面への復帰を求めており、同時に「the spin never stops」と「zero dwell」とも述べていて、要求された停止と矛盾する。8 s付近で、長い座面とシェーズの継ぎ目に目に見える折れ曲がりが生じ、正面の視点に向かうにつれてまっすぐに戻った。すなわち構造のドリフトである(角度の測定ではない)。最初と最後のフレームはどちらも正面に近かったが、シェーズの外側の縁と前脚は一致せず(フレーム全体の平均絶対グレー差2.1)、検証された継ぎ目のないループではない。サンプリングしたフレームでは、台の縁を越える脚は見られなかった。入力の4視点は幾何学的な整合性を確認していなかったため、入力の不整合とモデルのドリフトは切り分けられない。これとは別に、画像モデルで生成した4枚のキーフレーム画像は角度間で比率と細部に違いがあり、動画モデルには送らなかった。

生成した4視点の参照セットと出力
図3. 生成したコーナーソファの4つの参照視点、出力クリップの1秒ごと(8 s以降は0.5 sごと)のフレーム、および最初と最後のフレームとその差:どちらも正面に近いが、シェーズと前脚は一致しない(フレーム全体の平均2.1グレーレベル)。

Kling 3.0 Omniでの合成アンカーと4分の1周の連結。 一貫した5枚の写真がある緑のアームチェア(Kling 3.0 Omni、720p、無音、1:1)で、3条件を各3クリップで試した:A、本番のリクエスト(ベースライン)。B、Aに加えて合成した正面フレームを start_image_url と end_image_url の両方に用いる。C、3 sのクリップ4本の連結で、各クリップは前のクリップの最後のフレームで始まり、次の面の合成した視点で終わる(270°の視点は側面写真を反転したもの)。新たなクリップを作る前に、既存の9クリップ(モデル、プロンプト、製品が混在)を採点した:9本中8本は一周したが、通常のフレーム間変化の2×以内でつながったのは9本中3本のみ(中央クロップでの継ぎ目比)で、回転、正面からの開始、継ぎ目、変化なしをすべて満たしたのはT4bのみだった。採点器はT4とT4bで較正した:回転の均一性の指標は、T4bの均一な回転(最大の間隔0.36 s)とT4の背面から始まる回転(1.38 s)を区別した。フレーム全体での継ぎ目比は0.49と0.88で、同じクリップに対する先の分析の中央クロップの値(1.0と1.5)より低く、2つの測定は互換ではない。また、Kling 4はアームチェアをフレーム幅の約73〜75%で描いたが、150 cmの台の上での実寸では45%である。最終的な9本の動画は18回のプロバイダー呼び出し(A 3、B 3、C 12)、生成96秒から得た。合格ラインは最初の段階の前に書いたが、絶対的な継ぎ目の閾値と逆回転の指標は後から追加した(7.4節)。結果:フレーム0での製品幅は、BとCの6クリップすべてで合成値の0.7%以内だった一方、Aは−21%から+18%までばらつき、Aの1クリップは回転中に44%大きくなった。最初のフレームに対する最後のフレームの差は、Bで1.9〜2.1グレーレベル、Cで3.5〜4.5で、Aの7.2〜21.8と対照的だった。9本すべてで、目視の16フレームにおいて縁を越える脚はなかった。各条件の3クリップに1本が逆回転または行き過ぎた(ストリップでは視点が順序どおりに並ばない:ベースラインの1クリップは5 sで正面に戻り、背面で終わる。Bの1クリップとCの1クリップは、正面に近い視点の後に側面の視点が現れてから正面で終わる)。このモデルでの作業は中止した。提案されていた第3段階(各セグメントで方向を指定)は実施していない。製品をすべてのフレームで台に貼り付ける、あるいはフレームを置き換えることで動画を「モデル生成でない」ものにする案は除外した。

アンカー実験、第1段階
図4. アンカー実験の第1段階(Kling 3.0 Omni、720p):上段は合成した4つのアンカー視点(正面、側面、背面、反転した側面)、下段は各条件1クリップを均等な11時点で示す。条件A(本番のリクエスト)は回転中に大きくなる。条件B(合成した正面フレームを開始画像と終了画像に用いる)と条件C(3 sのクリップ4本の連結)は合成時の大きさを保ち、正面で終わる。
アンカー実験、第2段階の逆回転
図5. 逆回転の指標で検出された第2段階の3クリップ(各条件1本)を均等な13時点で示す:条件Aのクリップは5 sで正面に戻り、背面で終わる。条件Bのクリップは6.66 sに正面に近い視点、7.49 sに側面の視点を示し、条件Cのクリップは7.99 sに正面に近い視点、8.99 sに側面の視点を示す。どちらも正面で終わる。このサンプリングでは、ストリップが示すのは視点が順序どおりに並ばないことであって、動きの方向そのものではない。

3D経路(設計のみ、未実施)。 検討した素材は、顧客自身の3Dモデル、または少額のデモ予算で写真から画像→3D生成を行うことであった。3Dファイルの依頼を下書きしたが、送付はしなかった。実施しなかった理由として記録されたのは、レンダリングが実際の生地と一致しないこと、写真から生成したモデルは推測による形状と焼き込まれた照明を伴うこと、そして別の製品ラインになることである。

数値のレイアウト行のみ、Kling 4。 切り抜きのコストを避けるため、まずプロンプトのみの経路を試した:4つの設定を数値で記したLayout行である。1回の本番テイクでは、数値は守られなかった。静止を付け足すためのサーバー側のffmpeg合成ステップは静止フレームを落としたため、静止はブラウザに移した。

プロンプトv9。 v9は、ラベル付きの行による下書き(Scene、Layout、Rotation、Camera、Motion、Product。レイアウトは常に送る。一定速度。最後のフレームはフレーム1と同じ。剛体の製品)と、本番環境で稼働していたサーバー側の層v4(フレーム1は0°で正面向き、円盤の中心を軸とする剛体の回転、逆回転しない、半分の時点で背面を見せる4分の1ごとのタイミング、スイングでは背面を見せない、何も突き出さない平らな円盤、円盤は水平で定位置)を統合したものである。本番環境に保存されたv4層はv9の回転と動きの文を上書きするため、デプロイ直後に空の層バージョンを保存する必要があった。そのリセットが行われたかどうか、またいつ行われたかは記録されていない。それが確定するまでは、後の各本番生成(7.3節と7.6節)が実際にどの回転と動きの文を受け取ったかは不確かである。付録Aの文はコードが組み立てるv9であって、送信内容の記録ではない。

Kling 4での合成した開始フレーム(ローカル、3テイク)。 実際のAPIを呼び出すローカル環境で、顧客のアームチェア写真3枚(正面を先頭)から作ったエレメントを用い、Kling 4 reference-to-video 720p、10 s、1:1、大きさ50%、ターンテーブル76%、中心56%、厚さ3%、時計回りとした:

  • テイク1(平面的に描いた楕円と影)。プロバイダーのリクエストログでは、画像は elements と並んで start_image_url として受け取られていた。出力の最初のフレームはモデル自身の構図(大きな円盤の上の大きな椅子)だった。回転自体は完全だった。
  • テイク2(視覚的な介入1つのみ:円盤をスタジオ写真のように描き直し、縁に陰影、上面に照明、暗くなっていく背景、フットプリントの陰影を付けた。エンドポイント、プロンプト、設定は同じ)。出力は合成した開始フレームで始まり、アームチェアは回転を通じて大きさを保ち、正面で終わった。
  • テイク3(まとめての改訂で、3つの変更を同時に行った:密着した接地影、フレーム1から一定速度を求める新しいMotionプロンプト行、ブラウザで作る静止)。合成した開始フレームで始まり、大きさを保ち、5 sで背面、終わりに正面、最初と最後のSSIM 0.98。静止付きファイルは12.12 s(コンテナの長さ)で、最後の2 sは静止。テイク3の結果は、3つの変更のどれか1つに帰することはできない。

テイク3を確定レシピとして採用し、顧客が求めていなかったため、回転速度の均一性は目標から外した。

ローカルのテイク1〜3
図6. ローカルのテイク1〜3(Kling 4、720p、アームチェア、大きさ50%):合成したフレーム0、出力のフレーム0、2.5、5、7.5 s、および回転の終わり。平面的に描いた円盤(テイク1)では、出力は大きな円盤の上の大きな椅子で始まる。陰影を付けた円盤(テイク2と3)では、合成した小さな椅子で始まり、回転を通じてその大きさを保つ。

リリース、本番クリップ、フィードバック。 リリース前のウォークスルーレビューにより、Kling 4に紐づくカスタム構図、製品ごとの形状の記憶、ステージ上の切り抜きボタン、切り抜きを明記したコスト表示、停止を含む長さラベル、静止を付加している間の通知、より明確なラベルが導入された。名前付きプリセットとバッチキューは見送った。ある本番クリップでは反時計回りを求めたのに時計回りに回ったため、方向の選択は非表示にした。静止付きクリップが同じプレーヤー内で生クリップを置き換えたときに再生が止まる問題があり、これは修正した。詳細ページには、以前の模式的な線画に代わり、クリップの実際の合成した開始フレームを重ねる表示が加わった。合成した開始フレームを用いた本番4クリップ(7.3節)とスタジオのチュートリアルを顧客に送った。顧客の返信は、特定の点について限定的に肯定的な評価(当方の要約では、結果は望むものに近い、台の直径は適切、2 sの停止は機能している)を示すとともに、4つの修正を求めた:コーナーソファの影が形に沿わず丸い。すべての動画で同じ薄い台を使うべき。すべての動画で製品を画面上の同じ位置に置くべき。アームチェアのクリップの背景をコレクション全体で使うべき。また、2つ目のベッドモデルの写真を送り、その動画を求めた。これは承認ではなく、後のクリップに関するものでもない。

フレーム0の陰影と撮り直しクリップ。 同日午後、フレーム0を改訂した(5節):アームチェアのクリップに合わせ込んだ選択式のスタジオ背景、描画した楕円の削除、写真から抽出した床の影。続いて、固定設定と合わせ込んだ背景で撮り直しクリップを6本作った(7.6節)。計画では新しいクリップ4本(2つ目のベッド、コーナーソファ、ソファ、プーフ)を各1テイクで作り、アームチェアは撮り直さないことになっていたが、実際には6本作った:計画の4本、アームチェア、2つ目のベッドのもう1テイクである。ベッドの撮り直しは最初のベッドのテイクのドリフトを受けたもので、条件を1つ(終了画像)変えた。アームチェアを撮り直した理由は記録されていない。ドリフトしたベッドのテイクは生成されたが納品されず、テイク間の選択がコストを増やした。ベッドの組の後、一周の場合に合成した開始フレームを終了画像として送る機能を実装・デプロイし(4.4節)、5クリップをセルフサービスの手順とともに顧客に送った。評価は保留中である。

3.2 時系列

日付(2026年)段階種類結果
11-05〜11-06顧客自身の5クリップ、要件R1〜R6、クリップの確認と入力の準備顧客のクリップ、フィードバック、ローカルでの確認主な問題は大きさと一貫性。Kling 4の2クリップはすでに一周していた
11-06テンプレートクリップの測定、補間と範囲切り出しのテスト、回転設定付きのプロンプトv1ローカルテスト、リリース構図はクリップ内で安定。補間は却下。切り出しには真の360°が必要
11-07プロンプトv2〜v8、v8のテストとT4bの組生成(6クリップ)数値の文は守られず。参照の渡し方が開始姿勢に影響
11-09コレクションの受領と確認、隠れたプロンプト層v1〜v4生成4点は正面から一周。ベッドは失敗
11-10ベースラインの納品、顧客のフィードバック、機構の分析、4視点参照のクリップ生成、フィードバック、分析スケール、終わりの飛び、台上への収まりを指摘される。生成した視点で構造のドリフト
11-11Kling 3.0 Omniでのアンカー実験生成(動画9本)アンカーでフレーム0の大きさは保持。各条件で3本に1本が逆回転。中止
11-12以前の約束の訂正、要望の再提示、数値のLayout行、プロンプトv9、ローカルのテイク1〜3、合成した開始フレームをリリース生成、リリース数値は守られず。陰影付きの合成した開始フレームは守られ、平面的なものは守られず
11-13 午前本番4クリップ、チュートリアル送付、顧客の修正要望生成、フィードバックレイアウトは追従、背景は4本中3本。修正要望4件
11-13 午後背景の合わせ込み、楕円の削除、抽出した影リリースこの段階では生成なし
11-13 夜撮り直しクリップ6本、自動の終了画像、5クリップを送付生成、リリース開始画像のみで1本ドリフト。開始 = 終了の撮り直しはドリフトせず。評価は保留中

4. 最終的な手法

4.1 概要

最終的な手法のパイプライン:製品写真からエレメントと、抽出した床の影付きの切り抜きを作る。ブラウザがユーザー設定からフレーム0を合成する。合成した開始フレームをアップロードし、エレメントとプロンプトv9とともにfal上のKling 4 reference-to-videoに送る。生クリップには所有者のブラウザで静止フレームが付け足され、静止付きクリップがそれを置き換える。

4.2 ユーザーフロー

ターンテーブルのテンプレートでユーザーがカスタム構図にチェックを入れると、モデルはKling 4に切り替わる。空のステージは、選んだ形状の汎用シルエットを載せたターンテーブルのライブ描画になる。ユーザーが切り抜きを実行すると(写真1枚ごとに1回課金、失敗時は返金、以後は再利用)、切り抜きがシルエットに置き換わる。数値入力欄付きの4つのスライダーがプレビューをリアルタイムで変える:ターンテーブル上の大きさ、フレーム内のターンテーブルの幅、ターンテーブルの厚さ、ターンテーブルの中心の高さ。背景の選択で「明るい」と「スタジオグレー」を切り替える(5.1節)。回転と静止はカスタム構図の外にあり、費用はかからない。切り抜きなしでカスタム構図にチェックが入っており、ユーザーが自分の最初のフレームも以前のクリップからの続きも指定していない場合、生成は拒否され、切り抜きの実行を促すメッセージが出る。自分の最初のフレームか続きがある場合は、合成した開始フレームなしで進む。スタジオの写真の行には常に「最初のフレーム」と「最後のフレーム」のタイルが表示される:空のタイルはアップロードボタンになる。カスタム構図と切り抜きがある場合、「最初のフレーム」のタイルには「自動・最初」のタグ付きで合成した開始フレームが表示され、回転が「自動」または360°のときは「最後のフレーム」のタイルにも「自動・最後」のタグ付きで表示される。自動のタイルをタップすると、代わりに自分の画像を選べる。生成後、詳細ページには送信した設定が一覧表示され、実際の合成した開始フレームを動画に重ねる表示が用意されているため、実際の切り抜きと出力を比較できる(図10)。図7、8、10は、背景の選択ができる前に録画したスタジオのチュートリアルから取ったものである。

カスタム構図を表示したスタジオの設定パネル
図7. チュートリアルでのスタジオの設定パネル:カスタム構図にチェック、形状はアームチェア、4つのスライダー(大きさ91、ターンテーブル76、厚さ3、中心56)、破線のガイドリング付きのライブプレビュー。プロンプトの文はぼかしてあり、下部の字幕はチュートリアルに焼き込まれている。
ライブプレビューの連続画像
図8. スタジオのチュートリアルにおけるステージのプレビューの7つの瞬間:形状のシルエット、切り抜きの実行中、切り抜きの配置後、続いて大きさ、ターンテーブルの幅、厚さ、中心の高さを変更(ラベルの大きさ / 幅 / 厚さ / 中心は%で、ステージ下の要約行から読み取った値)。
自動の最初と最後のフレームのタイルがある写真の行
図9. スタジオの写真の行(スマートフォン幅のレイアウト、行全体を表示、2×)。ターンテーブルのテンプレートでカスタム構図をオンにし、緑のアームチェアの写真5枚を読み込んだ状態:エレメントとアップロードのボタン、続いて合成したフレーム0で埋まった「自動・最初」と「自動・最後」のタイル。
詳細ページの設定オーバーレイ
図10. 詳細ページの設定オーバーレイ:合成した開始フレームを、開始時のクリップ(プレーヤー 0:00)に重ね、回転途中の向きを変えた椅子(0:07)に半透明で重ね、回転の終わり(0:09)に重ねたもの。

数値入力。 本番クリップを納品した日の朝に修正されるまで、数値入力欄はキー入力ごとに値を範囲内に丸めていたため、大きさ(30〜100)に「60」と入力すると100になった。7.3節の本番クリップは修正前に作られた。記録された設定は送信された値であるため、この欠陥が影響しえたのはユーザーが意図した値であって記録の内容ではない。また、それらの値のいずれかがドラッグではなく入力されたものかどうかは記録されていない。

設定はアカウントに保存される:ターンテーブルのパラメータはすべての形状で共有され、大きさと静止は形状ごとに、各製品の形状はエレメントごとに保持される。

4.3 構図

  • ステージ。 円盤の中心はSVG単位で(300, 400)、半径 r = 210、上方14°から見下ろす(tilt = sin 14°。モデル自身のターンテーブルクリップに基づいて選んだ)。
  • ビュー。 フレームの幅 = 2r × 100 / (ターンテーブルの幅 %)、高さ = 幅 / アスペクト比。円盤の上面の中心は、フレームの中心の高さの百分率の位置に置く。アスペクト比ごとに独自の構図を作る(R6)。
  • 円盤。 縁の高さ = 厚さ % × 2r × cos 14°。陰影を付けた縁、前方にハイライトのある照らされた上面、背景(明るい:床に向かって暗くなるグラデーション。スタジオグレー:5.1節)、床に落ちる円盤自身の影。当初は接地影として、ぼかしたフットプリントの楕円も製品の下に描いていたが、これは削除し、現在は利用できる場合、製品の床の影をその写真から抽出している(5節)。
  • 製品のスケール。 k = r × s / sweep(sは分数)で、sweep = √((W/2)² + (D/2)²) は軸からフットプリントの最も遠い角までの距離、W × D は形状の汎用フットプリントである(ソファ 240 × 94、アームチェア 85 × 85、コーナーソファ 240 × 200、プーフ 105 × 60、ベッド 163 × 210、その他 100 × 60 cm)。切り抜きは幅 W·k で、軸を中心に、下端をフットプリントの前縁に合わせて描く。

スケール規則がすること、しないこと。 形状ごとに固有の1センチメートルあたりのピクセル係数kを持つため、この規則が制御するのは正規化したフットプリントの占有率である:s = 100%では、どの形状でも、フットプリントの最も遠い角が回ってきたときにちょうど円盤の縁に届く。製品間の物理的なスケールは保たない。WとDをともに2倍にしても、同じスライダー値では描かれる幅は変わらない。同じsでは、アームチェア、プーフ、ソファの描かれる幅は297 : 365 : 391 SVG単位(1 : 1.23 : 1.32)の比になるが、実際の幅は85 : 105 : 240 cm(1 : 1.24 : 2.82)である。したがって製品間の比率(R1の「一貫した比率」)は、ユーザーが形状ごとにsを手動で選ぶことに委ねられる。真のカタログスケールには、共通の物理的な台の直径、または共通の1センチメートルあたりのピクセル係数と各SKUの実寸が必要であり、製品ごとの寸法を同じ正規化に入れるだけでは実現しない。

  • 出力。 SVGをガイドリングなしで複製してシリアライズし、長辺1,280 pxのキャンバスに描いてPNGとして書き出す。したがって合成した開始フレームは、UIのガイドを除き、ラスタライズの違いを別にすればプレビューと同じ構図を持つ。これをアップロードし、start_image_url として送る。

4.4 合成した開始フレームを送る条件

開始画像として。 カスタム構図がオンで、切り抜きがあり、ユーザーが自分の最初のフレームも以前のクリップからの続きも指定していない場合にのみ送る(この2つが優先される)。描画またはアップロードに失敗した場合は、エラーを記録し、開始画像なしで生成を続ける。失敗時に停止する(fail-closed)方式は今後の課題である。

終了画像として(7.6節のペア比較の後に追加。オペレーターの報告によれば同じ晩にデプロイ)。 アップロードした同じ合成したフレームは、次の条件がすべて満たされる場合に end_image_url としても送られる:合成したフレームが開始画像として送られていること(上記の条件)、ユーザーが自分の最後のフレームを設定していないこと、モデルが終了画像を受け付けること(Kling 4 は受け付ける)、回転が「自動」または360°であること。終了時の姿勢が開始時と異なる270°では送らず、0°に戻るが終了画像との組み合わせを試していない「スイング ±90°」でも送らない。これをリリースすることは工学的な判断であり、終了画像が構図のドリフトを防ぐという証拠ではない。この自動の経路による生成は1件記録されている:開始のみの対になるクリップが寄っていったのに対し、構図を保ったアームチェアのクリップである(7.6節)。自動チェックは2種類ある:ユーザーインターフェースについては、適用条件が記述どおりに書かれていることを確かめる静的チェックで、タイルの状態の描画やアップロードとリクエストの経路の実行は行わない。リクエストビルダーについては、それを実行するユニットテストで、終了画像が Kling 4 と Kling 3.0 Omni の両ティアで end_image_url として渡され、終了画像に対応しないモデルでは決して渡されないことを確認する。ローカル環境では切り抜きを作れなかったため、開発中に動作中のインターフェースで自動のタイルを目にすることはなかった。

4.5 パラメータ

設定範囲既定値適用範囲
ターンテーブル上の大きさ(フットプリントの最遠点 / 円盤の半径)30〜100%70%形状ごと
フレーム内のターンテーブルの幅40〜95%76%全形状
ターンテーブルの厚さ(縁 / 直径)1〜12%3%全形状
上端からのターンテーブルの中心30〜80%56%全形状
背景明るい、スタジオグレー明るい全形状
回転自動、360°、270°、スイング ±90°自動クリップごと
回転前 / 回転後の静止0〜5 s、0.1 s刻み0 s / 2 s形状ごと
方向時計回りのみ時計回り—

範囲外の値は、範囲内に丸められるのではなくサーバーによって拒否される。1本の本番クリップでKling 4が反時計回りを無視した後、反時計回りは非表示にした。方向はプロンプトの一文としてのみ存在する。

4.6 プロンプト

サーバーはグループごとにラベル付きの行を1行ずつ組み立てる:Scene(ユーザーの言葉)、Layout(4つの設定を言葉で記したもので、カスタム構図の場合のみ)、Rotation、Camera、Motion、Product。全文は付録Aにある。実装上の重要な点が2つある:

  • 長さのフォールバック。 プロンプトがモデルの上限を超える場合、決まった順序で行を外した候補を試す:ユーザーの追加テキスト、Product、Motion、Camera、Rotation、最後にLayout。最後の手段はScene行のみである。したがってLayoutとRotationは、通常は送られるが常に送られるわけではない。
  • 既定文の抑制はキーワード照合である。 Camera行とMotion行、およびProduct行の既定文は、ユーザー自身の言葉が話題のパターン(例:「camera」、「zoom」、「orbit」)に一致すると外される。音声オフの場合、Product行には無音の文(「The video is silent.」)が残る。これは矛盾の意味的な検出ではない:行の内容に同意する言葉(「keep the camera fixed」)でも行を外し、矛盾する言い回しの一部は見逃す。

Layout行は、合成した開始フレームが示す内容を言葉で言い直したものである。以前のテストでは、数値によるレイアウト文だけでは守られなかった(3.1節)ため、レイアウトを伝える主な担い手は画像である。

4.7 静止

静止はモデルには求めない。生クリップはブラウザでWebCodecsを使ってデコードされる。ブラウザは、回転前の静止としてデコードした最初のフレームの複製、デコードしたクリップ、回転後の静止としてデコードした最後のフレームの複製を書き出し、それに応じて音声をずらし、静止部分を無音で埋め、H.264 + AACで再エンコードして結果をアップロードする。これが生クリップを1度だけ置き換える。クリップはBフレームを使っており、ブラウザはエディットリストによる停止を尊重しないため、MP4のエディットリストではなくデコードを用いる。ffmpeg合成サービスを通るサーバー側の経路は、静止フレームを落としたため無効のままである。

特性と制限:

  • 条件付き。 クリップが表示されたときに、クリップ所有者のブラウザで実行される。取得、デコード、エンコード、アップロードのいずれかに失敗した場合、生クリップは変更されず、後の訪問時に再試行される。ブラウザのコーデック対応とデバイスのリソースに依存する。
  • フレーム単位に量子化された静止の複製。 各静止の複製には1フレーム分の長さが与えられ、開始時刻が要求された終了時刻を下回る間は複製が追加されるため、繰り返されるサンプルの名目上の長さの合計は、要求された秒数をフレーム単位に切り上げた値になる:24 fpsで2 sはちょうど48フレームだが、0.1 sでは複製が3つになり、名目上の範囲は0.125 sになる。タイムラインの残りの部分は、この丸めに同じようには従わない。先頭の静止では、動くフレームと音声は丸めた値ではなく要求値(0.1 s)だけずらされるため、最後の静止の複製の名目区間(0.083〜0.125 s)は最初の動くフレーム(0.1 sから)と重なる。末尾の静止では、複製は最後の動くフレームの終わりから始まるが、音声を無音で埋める終了位置は要求値だけ進められる。静止の値がフレーム単位であれば両者は一致する。端数のある静止については、デコード後の出力のタイムスタンプと音声・映像の同期は測定していない。
  • ロスレスではない。 クリップ全体を再エンコードするため、動く部分も静止したフレームも、デコードした生クリップとピクセル単位で同一ではない。

納品した撮り直しクリップ4本の、ダウンロードした静止付きコピーでの測定(7.6節)。いずれも24 fpsで289の映像フレーム、映像ストリーム12.041667 s、コンテナの長さ12.120816 s(AAC音声ストリームの方が長い)である。ダウンロードした10 sのKling 4クリップのように241フレームの10 sの生クリップでは、フレーム0〜240がデコードしたソースフレーム、フレーム241〜288が10.041667 sから始まる48の複製(2 s)であり、10.000 sのフレーム240が最後のソースサンプルである。生ファイルは保存していないため、この境界は生のメディアから読み取ったものではなく、フレーム数と手法から推定したものである。エンコーダーは48フレームごとにキーフレームを置く(0、48、…、240)。グレースケール(Rec. 601輝度)、1440 pxのフル解像度で:最初の複製(フレーム241)に対して、以降のすべての静止フレームの差は、フレームごとの平均絶対差で最大0.010〜0.022グレーレベル(範囲は4クリップにわたる)、ピクセルごとの最大で5〜11である。フレーム240に対しては、フレームごとの平均の最大が0.10〜0.12、ピクセルごとの最大が12〜50(コーナーソファで50)である。これは、この比較が最後のソースフレームから最初の再エンコードされた複製への段差を含むためである。ソファのクリップでは、平均絶対グレー差はフレーム239から240で0.43、240から241で0.11、241から288で0.02であった。したがって静止は視覚的には静止しているが、ピクセル単位で同一ではない。ピクセルごとの残差は、エッジに集中するエンコードノイズである。

回転後の静止
図11. 撮り直したソファのクリップにおける回転後の静止:フレーム239と240(最後の2つのソースフレーム)、241(最初の静止の複製)、288(最後の複製)と差分マップ(×8、反転):239→240は平均0.43、240→241は0.11、241→288は0.02グレーレベル。静止は視覚的には静止しているが、ピクセル単位で同一ではない。

未検証:端数のある静止、回転前の静止、音声付きの静止付きクリップにおける音声の同期、処理が中断された場合。

4.8 クリップあたりのコスト

ステッププロバイダーの定価(2026-11-13に確認)ユーザーへの請求
切り抜き(Bria RMBG 2.0)[21]画像1枚あたり$0.018固定のクレジット料金、失敗時は返金、再利用
Kling 4、720p [19]$0.157 / s標準のクレジット規則
Kling 4、1080p [19]$0.235 / s標準のクレジット規則
構図と静止$0(ブラウザ)無料

これらはプロバイダーの価格であって小売のクレジット価格ではなく、再試行、選別、オペレーターの作業時間を含まない。

5. フレーム0の陰影:背景と製品の影

本番4クリップに対する顧客のフィードバックを受けて、フレーム0を3つの点で変更した:選択式のスタジオ背景、製品の下に描いていた影の削除、製品自身の写真から抽出した床の影。3つとも変わるのは合成した開始フレームのみで、プロンプトv9とリクエストは変わらない。変更した時点では、どの生成もこれらを使っていなかった。その後、7.6節の撮り直しクリップ6本は、描画した楕円なしでスタジオグレーの背景を使った。それらのフレーム0に抽出した影も含まれていたかどうかは記録されていない。それらの観察は5.1節と5.7節に加えている。それ以外の部分では、本節は機構とその失敗モードを記述するものであり、観察されたモデルの挙動を記述するものではない。

5.1 背景

本番4クリップには、すべて同じ描画した明るい背景を送った(フレーム0のピクセル値は上部、中部、下部で243 / 234 / 221)。モデルはコーナーソファ、ソファ、プーフのクリップではそれを保持し(出力の最初のフレームで244 / 234 / 222)、アームチェアのクリップでは最初のフレームから、より暗いグレーのスタジオ(壁は四隅で約150、製品の背後で約200、床は約222)に置き換えた。その後、顧客はアームチェアのクリップの背景をコレクション全体で使うよう求めた。その背景は1テイクでのモデル自身の選択だったため、それを再現する設定はなかった。現在、カスタム構図には背景の選択があり、明るい(従来の描画、既定)またはスタジオグレーを選べ、ターンテーブルの設定とともにアカウントに保存される。スタジオグレーは、壁の放射状グラデーション、より平坦な床の放射状グラデーション、その間の直線的なブレンドからなり、製品と台を除外したうえでアームチェアのクリップの最初のフレームに合わせ込んだ。合わせ込みの精度は、Chromeでの描画時に平均誤差1.7グレーレベル(0〜255)と内部で報告されている(描画前の合わせ込んだモデルでは1.5)。Chromeでの測定のプロトコル(チャンネル変換、マスク、解像度、ブラウザのバージョン)は記録されておらず、独立に再現されてもいない。保存された720 pxの画像(参照フレーム、合わせ込んだモデル、マスク、フレーム0のSVG)による独立した確認では、マスクを > 127 で二値化し(ピクセルの73.4%を残す)、参照に対するマスク内の平均絶対グレー差を求めると、合わせ込んだモデル画像(もともとグレースケール)で1.63、librsvg 2.58.4で720 × 720に描画したフレーム0のSVGでは、Rec. 601輝度変換で1.48、エンコード値にRec. 709の重みを用いると1.43となった。いずれのプロトコルも標準的なものではなく、どれもChromeの数値を裏付けも反証もしない。SVGの描画には、プレビューのガイドなしのシルエットの輪郭も含まれており、その一部は残したマスクの内側にある。マスクした誤差マップでは、誤差は壁から床へのブレンド帯と壁の外側に集中している。この合わせ込みは、フレーム0で要求された見た目を再現することを目的としている。

スタジオグレー背景の合わせ込み
図12. 720 pxでのスタジオグレーの合わせ込み:本番のアームチェアのクリップのフレーム0、合わせ込んだ壁と床のグラデーション画像、マスクした誤差マップ(製品と台はグレーで除外。誤差は壁から床へのブレンド帯と壁の外側に集中。マスク内の平均1.63)、librsvgで描画したフレーム0のSVG。

合わせ込んだ形状。 アームチェアのクリップのフレーム0から製品と台をマスクしたピクセルに、2つの放射状グラデーションと直線的なブレンドを当てはめた。位置は台の奥の縁(y = cy − r · tilt)を基準とするため、背景は台の大きさと高さに追従する。1:1でターンテーブル80%、中心58%のとき、奥の縁はフレームの高さの約48%にあり、アームチェアのクリップと同じである。壁のグラデーションは奥の縁から0.133 h上(この設定では上端から35%)を中心とし、楕円パラメータは0.40 w × 0.30 h(グラデーションの半径はその1.71倍で、最後の停止点はおおよそ四隅に来る)、グレーの停止点は216、215、211、199、188、175、166、145である。床のグラデーションは奥の縁から0.067 h下(55%)を中心とし、0.80 w × 0.30 h(×1.62)、停止点は231 → 219である。壁は、奥の縁の0.063 h上から0.037 h下まで(42% → 52%)の直線的な垂直ブレンドで床の上にマスクされる。それ以前に手作業で作ったバージョン(推測による垂直グラデーションと、曲線状にぼかした床の線)は、合わせ込みを測定する前に目視で不適切と判断された(オペレーターの説明による。それらのバージョンは保存されていない)。

保持、2つの別々のセット。 明るい背景、7.3節の本番4クリップ: 4本中3本で保持(上記)。スタジオグレー、7.6節の撮り直しクリップ6本(異なる背景、異なる設定、異なる参照):オペレーターは6本すべての出力でグレーのスタジオを報告している。本稿のために、名前または内容によって生成と結び付けられたダウンロード済みの5クリップ(ソファ、プーフ、コーナーソファ、ベッドの両クリップ)でグレーのスタジオを確認した。撮り直したアームチェアのクリップに結び付けられるダウンロードファイルはなく、その保持はオペレーターの報告のみに基づく。オペレーターは、出力のグレーレベルを、背景を合わせ込んだアームチェアのクリップと比較した:壁の隅 147〜150 対 150、壁の中央 204〜206 対 208、床 229 対 231 および 220〜221 対 220(各範囲がどのクリップを対象とするか、およびサンプル点はオペレーターの報告による。測定ファイルは入手できない)。本稿のために、ダウンロードした静止付きコピーのデコードした最初のフレーム(上部の2隅と下部の1隅、4%の正方形、グレースケール)でスポットチェックを行ったところ、ソファ、プーフ、コーナーソファ、開始 = 終了のベッドで上部の隅147〜149、下部の隅218〜220であり、本番のアームチェアのクリップと推定される(証明はされていない)ダウンロードコピーでは151〜154と221であった。したがって2つ目のセットでの保持は、オペレーター報告では6本中6本、本稿では帰属可能なダウンロード済み5クリップで確認され、そのうち4本では測定した点で数値的にも近い。2つのセットは合算しておらず、明るい背景とスタジオグレーは条件をそろえて比較していない(11節、アブレーション9)。

5.2 製品の床影:問題

切り抜きは、背景と一緒に、白背景のカタログ写真が持つ床影も除去する(図15では座面とシェーズの下にそのような影が見える)。当初、フレーム0は描画した接地面の楕円でこれを補っていた。黒20%でぼかしをかけ、半軸は形状の汎用接地面(4.3節)から求めた 0.92 × W/2 × k と 0.92 × D/2 × k × tilt である。アームチェア、ソファ、プフでは楕円はおおむね製品の下に収まっていた。コーナーソファ(汎用接地面 240 × 200 cm)では、ほぼ正方形の接地面から導いた塗りつぶしの楕円となり(画面上の軸比は (200/240) × sin 14° ≈ 0.20 であり、画面上では円ではない)、一方で製品はL字形であるため、楕円の多くがL字の空いた角に位置した(社内の記述ではおよそ半分)。顧客は影がコーナーソファの形に沿わず丸いと報告しており、本番のコーナーソファのクリップでは、回転中に台上に幅の広い灰色の斑が見える(図13)。

約3 s時点のコーナーソファのクリップ
図13. 本番のコーナーソファのクリップ(明るい背景、描画した接地面の楕円を含むフレーム0)の約3 s時点。ソファの周囲にある、背面から見たソファより幅の広い灰色の斑は、フレーム0に描画した接地面の影が残存したものと矛盾しない。ただし静止フレーム1枚では同じ楕円であることは確定できず、除去を比較する対照生成も行っていない(5.3節、最終行)。

5.3 うまくいかなかった代替案

代替案試したこと根拠結果
描画した接地面の楕円本番の4クリップで出荷したフレーム0コーナーソファの回転中に台上に灰色の斑があり、描画した接地面の影の残存と矛盾しない(図13)。顧客からの指摘削除
影を残すようプロンプトで指示した切り抜き影を残すよう求めるプロンプト(正確な文言は記録なし)を付けた Bria の切り抜き、製品写真5枚各製品の下の床が、半透明の影ではなく不透明でほぼ白のピクセルとして戻ってきた(目視による)。コーナーソファでは、ほぼ不透明なピクセル(alpha ≥ 95%)の割合が、通常の切り抜きのキャンバスの29.1%から35.6%に増え、中間のalphaのピクセル(5–95%)は1.6%であった(本報告のために保存済みPNGで測定。これらの割合だけでは、中間のピクセルが床影なのかセグメンテーションの縁なのかは判断できない)不採用
画像モデルによる、半透明の影付き透過PNGへの編集汎用の画像生成モデルで編集したコーナーソファの写真脚先の下の小さな跡を除いて影が失われた(目視による。中間のalphaのピクセルはキャンバスの0.7%で、通常の切り抜きでは0.8%)。画像は 1200 × 800 の写真から 1536 × 1024 で再生成されたため、写真とのピクセル対応、ひいては製品の忠実度は保証されない不採用
製品の影なし楕円を削除し、代わりに何も置かないフレーム0(1時間以内に置き換え)なし:これからはクリップを生成していない。懸念は、フレーム0にも参照写真にも影がなければモデルが影を落とさない可能性があることであったが、これは仮説であり検証していない。フレーム0の楕円がアームチェア、ソファ、プフの下に隠れていた本番クリップでは、それらが回転するにつれてモデルは影を落とした置き換え
コーナーソファの切り抜きの代替案
図14. alphaを示すため中間グレー(RGB 150)上に合成したコーナーソファの切り抜き。通常の Bria の切り抜きには床影がない。影を残すようプロンプトで指示した切り抜きは、座面とシェーズの下の床を不透明なほぼ白の斑として返す。画像モデルによる編集は脚先の下の小さな跡だけを残し、1536 × 1024 で再生成されている。割合は本図のために表とはわずかに異なるしきい値で測定した(alpha ≥ 242:29.1% / 35.6% / 29.3%、13 < alpha < 242:0.8% / 1.5% / 0.7%)。

5.4 手法:写真から抽出した影

カタログ写真は白背景であるため、製品の外側ではピクセルの暗さが影の強さの近似となる。本手法はその暗さを直接用いる。AIモデルは使わず、既に作成済みの切り抜き以外に費用はかからず、切り抜きアセット自体も変更しない(従来どおりレイヤーの上に描画される)。

  1. 同一キャンバス。 切り抜きサービスは写真のキャンバス全体の切り抜きを返すため、元写真と切り抜きはピクセル単位で対応すると想定される。確認するのは寸法の一致のみであり、位置合わせは検証していない。ブラウザは、以前に作成した切り抜きについても、元写真と切り抜きの両方を読み込む。
  2. 領域。 製品ボックスは切り抜きの不透明部分のバウンディングボックス(トリミング時と同じく alpha > 24)である。領域はそのボックスを左右それぞれ幅の5%ずつ広げ、下方向に高さの25%延長し、写真の範囲でクリップしたものであり、製品の上端から始まる。
  3. 強さ。 領域内の各ピクセルについて、8ビットsRGB値から明度 L = 0.2126 R + 0.7152 G + 0.0722 B を求める。写真は L ≥ 250 が白になるようレベル補正する:ℓ = min(255, 255 · L / 250)。影レイヤーは黒で、alpha は a = 1 − ℓ / 255(255 − ℓ を丸めて格納)とする。
  4. 合成。 フレーム0では、このレイヤーを円盤の後、切り抜きの前に描画し、切り抜きと同じ倍率(写真1ピクセルあたりのピクセル数)で拡大縮小・配置し、円盤上面の楕円でクリップする。その上に切り抜きを描画する。

どのような意味で乗算合成なのか。 この等価性は、不透明な台の上の影レイヤー単体について、以下の条件の下で成り立つ。

  • 透過率。 量子化を無視すると、レイヤーの透過率は q = min(1, L / 250) であり、ここで L = 0.2126 R′ + 0.7152 G′ + 0.0722 B′ は写真のエンコード済み8ビットsRGB値 R′、G′、B′ を用いる。したがって L はガンマエンコード値の加重平均(ルマに類するもの)であり、リニアライトの輝度ではない。
  • 量子化されたalpha。 格納されるalphaは A = round(255 · (1 − q)) であるため、実際に適用される透過率は q₈ = 1 − A / 255 である。
  • 不透明な台。 alpha A / 255 の黒を不透明な台のピクセル P に source-over で描画すると、以降のサンプリングと丸めの前の段階で (1 − A / 255) · P = q₈ · P となる。これは、合成処理が扱うエンコード値において、値 255 · q₈ の無彩色グレー画像との乗算と厳密に一致する(ブラウザの既定の Canvas 2D および SVG の合成は sRGB エンコード値で行われる)。
  • グレーとカラーの写真。 レベル補正したカラー写真を台に乗算することと等しくなるのは、その写真のレベル補正後の3チャンネルがすべてスカラー q に等しい箇所、たとえば無彩色グレーのピクセルや白に飽和したピクセルに限られる。色付きの影や張り地など有彩色のピクセルについては、写真のRGB乗算ではない。
  • これに当たらないもの。 レベル補正前の元写真との乗算ではなく、物理的なリニアライト減衰モデルでもない。別の乗算実装との比較は、作業色空間、被覆範囲、クリッピング、サンプリングが同じ場合に限り同条件の比較となる。

最終合成は別の問題である。 フレーム0では次にレイヤーの上に切り抜きを描画する。切り抜きのalphaを m、ストレートの切り抜き色を F、その下のレイヤーの結果を q₈ · P とすると、フレーム0のピクセルは C = m · F + (1 − m) · q₈ · P となる。m = 1 の箇所では切り抜きがレイヤーを完全に覆うため、完全に不透明な切り抜きピクセルは保たれる。0 < m < 1 の箇所(切り抜きのソフトエッジ)ではレイヤーが透けて見え、そこには写真がその位置に持つものが何でも含まれる。レイヤーに含まれる製品自身の暗さ(図16)、F に含まれる白や背景の混入、m のセグメンテーション誤差は、いずれも明るい、または暗い縁取りを生じうる。したがってこの導出は、アーティファクトのない製品の縁を保証するものではない。本手法が保証するのはより限られた事柄である。すなわち、製品の周囲に除外ギャップがないこと(後述の実装メモ)、そして検査した唯一の画像であるコーナーソファにおいて、縁が目視で許容範囲に見えたことである。ソフトalpha、色付きの縁、ブラウザでレンダリングした縁の確認は行っていない(5.5節)。

承認済みプレビューとの整合性。 抽出したレイヤーを用いたスタジオのレンダリングと、社内で承認されていた同じフレームの以前の乗算プレビュー(いずれも切り抜きを含むフレーム全体、いずれも Chrome ではなく librsvg により1,600 pxで)をラスタライズしたところ、平均絶対差は0.02グレーレベルであった(RGB平均 0.023 / 255、エンコード値の Rec. 709 加重グレー 0.023 / 255。本報告のために測定)。プレビューの作り方は記録されていないため、これは数式ではなくプレビューとの整合性を確認したものにすぎない。また、フレーム全体の平均は変化のない背景によって薄まるため、縁についてはほとんど何も示さない。縁領域の指標は11節に挙げている。

実装メモ。 以前の実装は、製品の縁から2 px離して領域を切り、250より暗いピクセルだけを残していた。その結果は製品の縁でギザギザになると判断された。最終的な手法ではどちらの切り取りも行わない。領域内のすべてのピクセルに上記のalphaを与え、製品の縁は切り抜きだけが決める。

コーナーソファの元写真
図15. 顧客のコーナーソファの写真、白背景で 1200 × 800。座面とシェーズの下にかすかな床影がある。これは表示用に再エンコードしたコピーであり、計算の入力ではない。元画像ではなくこのコピーからレイヤーを計算すると、alphaの差は平均約0.5レベル、最大16となる。
抽出した影レイヤー
図16. 手順3のレイヤー(alpha 1 − ℓ / 255 の黒)を明るいチェッカーボード上に表示したもの。製品の領域にもalphaがあり、張り地が明るい箇所では薄く、黒い脚ではほぼ不透明である。フレーム0では切り抜きがこれを覆う。座面とシェーズの下の灰色の帯が、見えたまま残る床影である。表示用JPEG。レイヤーのロスレスコピー(1200 × 485 px、計算したalphaを持つ黒、写真内の x = 0, y = 222 に配置)は、元のJPEGから独立した再実装で再計算したもので、保存済みのフレーム0のSVGに埋め込まれたレイヤーとalpha単位で一致する。
抽出した影を含むフレーム0
図17. スタジオグレーの背景と抽出した影を用いたコーナーソファの合成フレーム0、1,024 pxでラスタライズ。影は座面とシェーズの下でL字に沿い、台の上端で途切れる。

5.5 適用条件

レイヤーは以下のすべてが成り立つ場合にのみ作成される。そうでない場合、フレーム0には5.3節の最終行と同様に製品の影がなく、生成はそのまま進む。

  • 縁のサンプルによる明るさのヒューリスティック。 写真の四辺に沿ってサンプリングしたピクセルの明度の中央値が240以上であること。これは室内や色付きの背景を除外するためのものであり、そうした背景の暗いピクセルは影ではなく風景であって、台の上に写し込まれてしまう。これはヒューリスティックであり、白背景写真であることの検証ではない。背景の均一性も、暗さが影であるかどうかも測っておらず、たとえば白い縁のある室内写真や、明るい外周が暗い内部の風景を囲む画像も通過してしまう。
  • 同じサイズ。 写真と切り抜きのピクセル寸法が同じであること。これが唯一の位置合わせの確認であり、寸法が等しくてもピクセルの対応は証明されない。
  • 切り抜きの外側に暗いピクセルが少なくとも1つあること。 切り抜きのalphaが24以下の領域ピクセルのうち、少なくとも1つのレイヤーalphaが0でない(レベル補正後の明度が255未満)こと。これは意味的な影の検出器ではなく、影であろうとなかろうと、そうしたピクセルがあれば通過する。
  • 写真が読み込めること。 読み込みやデコードに失敗した場合に失われるのは影だけであり、切り抜きは失われない。

ユニットテストは、二値alphaの切り抜きを持つ 40 × 30 の画像に対する、合成データによる配列レベルのテストである。対象は、灰色の影ピクセルのalpha値、製品に隣接する影ピクセルがより離れたピクセルと同じalphaを得ること(レイヤーに除外ギャップがないこと)、領域の下限、そして一様に白でない背景ときれいな白い床に対して何も生成されないことである。フェザーのかかった切り抜きのalpha、色付きの縁、ブラウザでのレンダリング、寸法の不一致、縁による誤検出、拡張した領域の横方向の限界は扱っておらず、レンダリングされた縁の品質も検証していない。本手法は1枚の製品写真、コーナーソファで目視確認した。この写真では、縁の明度中央値は254.0、製品ボックスは (43, 222)、1106 × 388 px、領域は x ∈ [0, 1200)、y ∈ [222, 707) で、写真の左右両端でクリップされる。元のJPEGからレイヤーを再計算すると、保存済みのフレーム0のSVGに埋め込まれたレイヤーが厳密に再現される(alphaの差は平均・最大とも0)。

5.6 抽出した影の限界

  • カメラの幾何。 影は写真から見たもの(正面、やや上方から)であり、切り抜きとともに拡大縮小される。描画した円盤の14°の視点には再投影されず、形状の接地面も用いないため、台上での奥行きは円盤のものではなく写真のものである。これは切り抜き自体と同じ遠近の不一致である(10節)。
  • 影以外の暗さ。 切り抜きが除去した領域内の暗いものはすべて暗さとして残る。切り抜きが透明にした製品の部品間の隙間、見えている床や地平線、反射、汚れや修整の残りなどである。領域は製品の上端から始まるため、シルエット内部の隙間も含まれる。
  • 固定のしきい値。 白色点(250)と背景テスト(240)は定数であり、写真ごとに測定したものではない。240から250の間の背景はテストを通過するが、領域全体にかすかな一様の色かぶりを残し(L = 245 で約2%暗くなる)、領域の終わりに直線の縁が生じる。250より明るい影は失われる。
  • 限られた領域。 製品の下方に高さの25%を超えて、または側方に幅の5%を超えて伸びる影は、直線で切り落とされる。円盤上面の楕円の外側の影はクリップにより除かれる。
  • 一つの視点。 使うのは正面写真の影だけであり、フレーム0以降に製品が持つ影はすべてモデルが生成する。
  • 輝度のみ。 写真の影に含まれる色は再現されない(5.4節)。

5.7 未解決の問題

抽出した影を用いた生成は記録されていない。フレーム0に描画した楕円がなかった再生成クリップ(7.6節)から、二つの観察がある。

  • 楕円のないコーナーソファ。 再生成したコーナーソファのクリップ(図18、下段)では、0、2.5、5、7.5 sで台上の影がL字形に沿っており、丸い跡は見られない(オペレーターのフレーム。本報告のために0、3、5、7.5 sの台のクロップを見た結果とも矛盾しない)。本番のコーナーソファのクリップの斑(図13)と比べると、これは描画した楕円がその跡の原因であったことと矛盾しないが、条件ごとに1クリップであり、ほかの設定(背景、大きさ、中心)も変えているため、対照的な除去テストではない。このフレーム0に抽出した影が含まれていたかどうかは記録されていない。
  • 参照写真から写したとみられる影(仮説)。 オペレーターはアームチェアの側面と背面の参照写真を2.5 s時点のフレームと比較し、クリップ内の床影が写真自体の影に似ていると判断した。これは一つの製品についての目視の印象であり、出力から示すことはできない。回転中にモデルがどのように影を形成するかについての仮説として記録するものであり、知見ではない。
描画した楕円の有無によるコーナーソファの影
図18. 0、3、5、7.5 sにおけるコーナーソファの台のクロップ。本番クリップ(明るい背景、描画した楕円を含むフレーム0)では3 s時点でソファの横の台上に幅の広い灰色の斑がある。再生成クリップ(スタジオグレー、楕円なし)では同じ時点で影はソファの下にとどまっている。

モデルが回転中に製品の下に影を保つのか、製品とともに剛体として回転させるのか、台上に固定された跡として残すのか(描画した楕円についてコーナーソファのクリップが示唆するように)、あるいは独自の影に置き換えるのかは検証されていない。いずれも自動的に正しいわけではない。固定された照明の下では、実際の落ち影は物体の向きが変わるにつれて形を変えるため、固定された跡も、写真の影を剛体として回転させたコピーも、一般には物理的に正しくない。二つ目の未解決の問題は、フレーム0の影が開始画像への追従を変えるかどうかである(7.5節)。両者のアブレーションは11節に挙げている。

6. システムが決定するものとしないもの

記載した条件の下で、手法により決定されるもの:

  1. レンダリングとアップロードが成功し、ユーザー指定の最初のフレームや続きの生成がない場合、start_image_url として送られる合成した開始フレームは、設定したパラメーターにおけるプレビューの構図(ガイドリングを除く)を、クリップのアスペクト比で持つ。
  2. ターンテーブルの設定が同じであれば、すべての製品の合成した開始フレームでターンテーブルの幅、厚み、位置は同じになる。製品の大きさは4.3節の正規化占有率の規則に従い、共通の物理スケールには従わない。
  3. 合成した開始フレームは生成とともに保存され、出力に重ねて表示できる。
  4. 設定はアカウントに保存され、再利用される。
  5. ブラウザでの処理が成功した場合、静止付きクリップは、動く部分の後に(または前に)デコードした端点フレームを繰り返したものを含み、全体として再エンコードされる。フレーム単位の静止(本番で24 fpsにおいて使った1–3 sなど)では、コピーはちょうど要求した時間にわたる。一方、端数のある静止や先頭の静止のタイミングは4.7節に従い、検証されていない。
  6. 切り抜きは写真1枚につき1回課金され、失敗時には返金される。カスタム構図がオフの場合、切り抜きに関するものは何も送信も課金もされない。
  7. 5.5節の四つの条件(縁のサンプルの明るさ、ピクセル寸法の一致、切り抜きの外側の暗いピクセルが少なくとも1つ、読み込みの成功)をすべて満たす場合、フレーム0は製品周囲の領域に、円盤の上面でクリップされ切り抜きの下に置かれた、写真のレベル補正後の暗さを含む。そうでない場合、フレーム0には製品の影がない。条件を満たしても、写真が白背景で撮影されたこと、暗さが影であること、写真と切り抜きの位置が合っていることは検証されない。
  8. 合成した開始フレームが開始画像として送られ、回転が自動または360°で、ユーザーが最後のフレームを設定していない場合、同じ合成した開始フレームが終了画像としても送られる(4.4節)。モデルがそのフレームで終わるか、その間の構図を保つか、なお一周するかは、本手法によっては決定されない。

小規模な探索的サンプルで観察されたが、決定されてはいないもの: 出力の最初のフレームが、合成した製品と台のレイアウトに(おおよそ、目視で)従うこと。合成した背景を保つこと(明るい:本番4クリップ中3。スタジオグレー、別のセット:オペレーターの報告では再生成6クリップ中6、本報告ではダウンロードしたファイルと結び付いた5クリップで確認、5.1節)。フレーム0の構図がクリップの残りで保たれること(開始画像のみの再生成5クリップのうち1つでは保たれなかった、7.6節)。製品が回転中ずっと台上にとどまること。ループのつながり。回転中の大きさと比率。一方向の完全な回転。構造の忠実度。動く部分はモデルが生成したものである。任意の静止はデコードした端点フレームを繰り返すものであり、動画全体は再エンコードされる。これは、動きの間ずっと製品を台に合成することとは異なり、それは設計上除外した。

7. 探索的評価

7.1 証拠の位置付け

本報告のテストはすべて探索的なものである。大半は条件または製品ごとに1回の実行であり(アンカー実験は条件ごとに3回)、設定は意図的または適応的に変え、システムを構築した当人が盲検化せずに判定し、ホールドアウトの製品はない。指標は作業中に修正した(7.4節)。以下の結果はいずれも率ではなく、条件間の比較はいずれも製品、パラメーター、ランダムな変動を統制していない。

7.2 ベースライン:合成した開始フレームなしで納品したクリップ

顧客の製品の4クリップ(Kling 4、1080p、1:1、10 s、隠しレイヤー v3 によるテキストのみの制御)。台は4クリップとも画面上でほぼ同じ幅であり、各製品はフレームに合わせて収められていた(アームチェアは台の幅の約75%、ソファは約90%、プフは台を埋めてはみ出す)。最初と最後のSSIMは0.85–0.97で、各クリップは正面の10–15°手前で終わった。コーナーソファのシェーズの端と後脚の1本は、側面からの視点で台の縁を越えた。クリップは図19に示す。

合成した開始フレームなしのベースラインクリップ
図19. 4本のベースラインクリップ(テキストのみの制御、Kling 4、1080p、241フレーム)の0、1.5、3、4.5、6、7.5、9 sおよびフレーム240。各製品は同程度の幅の台の上でフレームに合わせて収められ、プフは台のほぼ全幅に及び、コーナーソファのシェーズは1.5 sで前方へ振れる際に台の縁に達する(シェーズの端は約6.5 sで縁を越えるが、この帯には含まれない)。最後のフレームはフレーム0を厳密には再現していない。

7.3 合成した開始フレームを用いた本番クリップ

本番サイトでカスタム構図を用い、Kling 4、1080p、1:1、音声ありで4クリップを生成した。各コントロールを試すため、製品ごとに設定を変えた(付録B)。確認項目は以下のとおりである。

  1. 合成した開始フレームに対する出力の最初のフレーム:目視による比較(同じオーバーレイを製品内で利用できる)。製品と台のおおよそのレイアウト追従と、それとは別に背景の保持。
  2. 台上への収まり:クリップごとに34–40フレームを目視し、脚とシェーズの端を円盤の縁と照らし合わせた。
  3. 端点の差:最初のフレームと静止前の最後のフレームとの平均絶対ピクセル差(0–255のスケール)。これらのクリップに用いた色空間、解像度、リサイズ方法、関心領域は記録されていない。アンカー実験のスクリプトはフレーム全体の 240 × 240 のグレースケール画像を用いたが、一方はエリアリサイズの前にグレーに変換し、他方はリサイズ(バイリニア)してから変換しているため、この二つさえ同一ではない。
  4. 動き:0.2 sごとにサンプリングしたフレーム差と、段付きや変形の目視確認。
  5. 静止:ファイルの長さと終端フレームの静止度。
製品クリップ長さ大きさターンテーブル / 厚み / 中心(%)後の静止レイアウト追従(おおよそ)背景の保持サンプルフレームでの縁越え端点の差
アームチェア図20(来歴の注記を参照)10 s60%80 / 4 / 582 sあり(報告による)なし:より暗いグレーのスタジオに置き換え確認されず(報告による)個別には記録なし
コーナーソファ図2010 s90%80 / 4 / 702 sありあり確認されず0.92
ソファ図208 s80%80 / 10 / 501 sありあり確認されず個別には記録なし
プフ図209 s51%80 / 5 / 603 sありあり確認されず0.57

社内メモには、4クリップ全体で0.57–1.79、回転中に0.2 s離れたフレーム間では1.5–5.5という範囲が記されている。ソファは反時計回りを指定したが時計回りに回転した。合成したターンテーブルの幅、厚み、中心の高さ、製品の大きさは、4クリップすべてで目視によりおおよそ従われていた。合成した背景は3クリップで保持された(5.1節)。これらの目視確認から、フレーム全体の厳密な一致数を導くことはできない。0、2.5、5、7.5 s、最後のソースフレーム、最後の静止フレームで見ると、大きさ、台の厚み、台の高さは設定どおり製品ごとに異なる。コーナーソファ、ソファ、プフは明るい背景を保ち、アームチェアはフレーム0からより暗いグレーのスタジオにある。

合成した開始フレームを用いた本番クリップ
図20. 合成した開始フレーム(明るい背景)を用いた本番の4クリップの、フレーム0、2.5、5、7.5 s、最後のソースフレーム、最後の静止フレーム。大きさ、台の厚み、台の高さは設定どおり製品ごとに異なり、コーナーソファ、ソファ、プフは明るい背景を保ち、アームチェアはフレーム0からより暗いグレーのスタジオにある。ローカルのコピーであり、製品、長さ、フレーム0に見える設定によって本番クリップと照合した。

来歴。 アームチェアとソファの個別の端点の値、比較したフレーム、前処理、スコアリングのコマンドは記録されていない。当初の評価メモはアームチェアのクリップを一意に特定していなかった(ローカルのテイクとリンクされた本番クリップは設定が異なる)。後の本番記録により、リンクされた本番クリップは特定されている。アームチェアの個別の端点の値は依然として記録されていないため、アームチェアの行と0.57–1.79の範囲は社内での報告値であり、独立に再現することはできない。これは来歴が未解決であるということであり、本番の4クリップが存在しなかったことの証拠ではない。

これらの確認が裏付けること。 サンプルしたフレームで台上への収まりの違反が目に見えなかったということであり、回転中ずっと台上に収まっていたということではない。脚は隠れることがあり、投影したシルエットが描画した楕円を越えることは、接地面が台から外れることと同じではない。目に見える構造の一貫性であり、観察されていない実際の表面への忠実度ではない。端点の差が小さいということであり、継ぎ目のないループではない。0.2 s離れたフレームは24 fpsで約5フレーム間隔に相当し、通常の1ステップではない。二つの範囲は重なっている(1.79 > 1.5)。さらに、端点の類似だけなら、ほとんど動かないクリップ、逆回転するクリップ、似ているが誤った姿勢で終わるクリップでも満たされる。折り返し部分をまたぐ動きの連続性は測定しておらず、継ぎ目の見え方について視聴者テストも行っていない。クリップを送付した際、やり取りの中でクリップは継ぎ目なくループするので静止は任意であると説明したが、それはやり取りの中での主張であり、測定結果ではない。

欠陥ベースライン(合成した開始フレームなし)本番(合成した開始フレームあり)
R1 大きさ製品はフレームに合わせて収められる。プフがソファと同じ幅大きさはユーザーが製品ごとに設定し、合成した開始フレームで確認できる。台の幅は4クリップとも同じで、厚みと位置は意図的に変えた
R2 台上への収まり側面からの視点でシェーズと後脚の1本が縁を越える90%のコーナーソファ:サンプルフレームでは確認されず
R3 端点SSIM 0.85–0.97、正面の10–15°手前端点のMAE 0.57–1.79(社内での報告値)。指標が異なる

ローカルのアームチェアのテイク3(3.1節)は、SSIMで測定して0.98であった。

7.4 開示する指標の修正

  • アンカー実験では、合格ラインは第1段階の前に書かれていたが、事前に定めた継ぎ目の比率がゆっくり動くクリップに不利に働いたため、第1段階の後に継ぎ目の絶対しきい値(最後と最初のフレームの差が4グレーレベル以下)を追加した。また、当初の指標が逆回転を見逃したため、第2段階の後に逆回転の指標(四つの合成ビューとの類似度から求める角度の軌跡)を追加した。
  • 本番の確認には、事前に書いた合格ラインはなかった。
  • ループのつながりは、ベースラインクリップではSSIMとして、本番クリップでは平均絶対差として測定した。両者は異なる指標であり比較できない。両方のセットに同じプロトコルを適用する必要がある(11節)。ローカルのすべてのクリップを一つのプロトコルで遡及的に再採点した結果を7.7節に示す。これは観察的なものであり、計画している評価に代わるものではない。

7.5 実行間での開始画像のレイアウト追従

実行モデル開始画像クリップ数製品と台のおおよそのレイアウト追従背景の保持
アンカー実験、BとCKling 3.0 Omni合成(開始 = 終了、または連結)66中6(フレーム0の製品幅が0.7%以内)評価せず
ローカルのテイク1Kling 4平面的に描画した円盤11中0なし(モデル独自の構図)
ローカルのテイク2–3Kling 4写真のように陰影を付けた円盤22中2個別には記録なし
本番Kling 4接地影付きの陰影を付けた円盤44中44中3
再生成、開始のみ(7.6節)Kling 4陰影を付けた円盤、スタジオグレーの背景5フレーム0で5中5(報告による)。その後、5中1で構図がドリフトグレーのスタジオはオペレーターの報告では5クリップすべて、本報告ではダウンロードしたファイルと結び付いた4クリップで確認。測定した点ではグレーレベルが合わせ込んだ参照に近い(5.1節)
再生成、開始 = 終了(7.6節)Kling 4同じ合成した開始フレームを開始と終了に手動で設定11中1グレーのスタジオを確認。測定した点では近い(5.1節)

ここでのレイアウト追従とは、製品と台がおおよそ合成した大きさと位置にあることを目視で判定したものであり、フレーム全体の一致ではない。Kling 4 でのレイアウトの成功6件は、構図、プロンプト、設定の異なるローカルの開発実行と本番の実行を合わせたものである。IIDを仮定すれば、6中6に対する正確な二項分布の95%下限は約54%となるが、この仮定はこの寄せ集めの開発サンプルには当てはまらない。平面的な円盤での失敗1件の後に陰影を付けた円盤での成功が続いたことは、合成した開始フレームの描画スタイルが追従に影響するという仮説の動機にはなるが、それを立証するものではない。ローカルのテイクでは、平面的に描画した円盤(テイク1)の場合、出力は大きな円盤の上の大きな椅子から始まり、陰影を付けた円盤(テイク2と3)の場合、合成した小さな椅子から始まってその大きさを回転中保った。再生成の行を別に報告するのは、オペレーターの測定が異なるプロトコルで行われたこと、異なる背景を用いたこと(明るいに対しスタジオグレー。二つのセットの背景の保持の件数は合算しない)、そしてフレーム0での追従がフレーム0以降の構図の維持を意味しないことが判明したため(7.6節)である。

7.6 回転中の構図のドリフトと、終了画像としての合成した開始フレーム

設定。 5節の陰影の改訂後、オペレーターがスタジオで作成した6クリップ。Kling 4 reference-to-video、1080p、1:1、10 sに後の静止2 sを追加、カスタム構図でターンテーブルはフレームの80%、厚み4%、中心は上端から58%、背景はスタジオグレー。すなわち、クリップより前に作られ、クリップ自体は記録していない再生成計画の固定パラメーターである。製品ごとの大きさの値、使用したフレーム0のPNG、フレーム0に抽出した影が含まれていたか(5節)、送信したとおりのプロンプト、クリップが本番とローカルのどちらで作られたかは記録されていない。2台目のベッドの写真は、白背景の正面と斜め前からの3枚で、背面や側面からの視点はない。

結果。 台の幅(フレーム幅に対する割合)、台の中心(上端からのフレーム高さに対する割合)、最初と最後のSSIMはオペレーターの測定値で、0.5 sごとにサンプリングしたものである。測定ファイルは入手できない。括弧内のSSIM値は、ダウンロードした静止付きのコピー(1440 × 1440、24 fps、289ビデオフレーム。ビデオストリーム12.041667 s、オーディオストリームの方が長いためコンテナは12.120816 s)に対して本報告のために行った確認である。ffmpeg ssim(Y、「All」)をフレーム全体のグレースケールに適用し、デコードしたフレーム0と、48枚の静止コピーの前の最後のソースサンプルである10.000 sのフレーム240とを比較した(4.7節)。代わりにフレーム239と比較すると、値は0.001–0.002変わる。オペレーターのプロトコルとこのプロトコルが同じであるかは分からない。

製品クリップ条件付けクリップを通した台の幅クリップを通した台の中心一周最初と最後のSSIM、報告値[本報告、フレーム0対240]
ベッド(2台目のモデル)開始のみのベッドのクリップ、納品せず、公開リンクなし開始のみ0 sで80.0%、5 sで89%、8 sで97.5%、9 s以降は100%超(フレームの両端を越える)58% → 67%回転した。最後のフレームは最初より約25%大きく、ループが飛ぶ記載なし[0.845、内容からこのクリップのものとしたダウンロード済みコピー]
ベッド(2台目のモデル)開始 = 終了のベッドのクリップ(図23、26)開始 = 終了(同じ合成した開始フレームを最初のフレームと最後のフレームに設定)評価可能なすべてのサンプルで80.0–80.1%。側面からの視点のサンプル2件は、ベッドが台の最も幅の広い行を隠し幅を評価できないため除外58.1%あり、360°0.993 [0.994]
アームチェア再生成したアームチェアのクリップ(図なし)開始のみサンプルしたすべてのフレームで80.1%58.1%あり0.993–0.996の範囲内[このクリップと特定できるダウンロード済みコピーなし]
ソファ再生成したソファのクリップ(図26)開始のみ80.1%58.1%あり0.993–0.996の範囲内[0.994]
プフ再生成したプフのクリップ(図26)開始のみ80.1%58.1%あり0.993–0.996の範囲内[0.997]
コーナーソファ再生成したコーナーソファのクリップ(図26)開始のみ80.1%58.1%あり0.993–0.996の範囲内[0.995]

納品したクリップと生成とは、製品名によってのみ結び付けられている。0–10 sを0.5 sごとにサンプリングすると1クリップあたり21サンプルとなるが、オペレーターのクリップごとの正確なサンプル数は記録されておらず、記録にあるのは開始 = 終了のベッドの2サンプルを除外したことだけである。納品した5クリップの静止は、静止フレーム間で「0–1 grey level」と静的であったと報告された。オペレーターのこの数値は、ピクセルごとの最大値ではなく、フレームごとの平均絶対差と矛盾しない。本報告のためにダウンロードした4クリップで再測定したところ(4.7節)、最初のコピー以降、フレームごとの平均は最大でも0.010–0.022、ピクセルごとの最大値は5–11グレーレベルであった。アームチェアには結び付くダウンロード済みコピーがない。同じ午後の別のダウンロード済みアームチェアのファイルは上記の確認で0.982となるが、納品したアームチェアのクリップと結び付けることができないため用いない。

本報告のために、帰属の分かるダウンロード済みの5クリップのフレーム0とフレーム240も直接比較した(グレースケール、平均絶対差)。納品した4クリップの差は主に縁に沿ったもので(0.48–0.89)、開始のみのベッドは目に見えて大きくなって終わる(16.54)。ベッドの合成した開始フレームを開始のみのクリップの作成後に再レンダリングしたもの(したがって、せいぜいそのクリップに送ったフレームの再レンダリングであり、開始 = 終了のクリップで最初のフレームと最後のフレームに設定したPNGであると推定されるにすぎない)は、両クリップの出力フレーム0と一致する(平均絶対グレー差3.08と2.13、差は縁にある)。フレーム240では、開始 = 終了のクリップは依然として一致する(2.11)が、開始のみのクリップは一致しない(15.20:ベッドと台が大きい)。1秒ごとに見ると、開始のみのベッドは回転中に大きくなり、8 sからは明らかに大きく、9.95 sで台がフレームの両端に達する。一方、開始 = 終了のベッドは毎秒、台の大きさと位置を保っている。

再生成クリップの最初と最後のフレーム
図21. 再生成した5クリップのフレーム0とフレーム240(最後のソースフレーム)、および差分マップ(×4、反転)。納品した4クリップの差は主に縁に沿ったもので(平均0.48–0.89グレーレベル)、開始のみのベッドは目に見えて大きくなって終わる(平均16.54)。
ベッドの合成した開始フレームと出力フレーム
図22. ベッドの合成した開始フレーム(開始のみのクリップの作成後に再レンダリング)と、二つのベッドのクリップの出力フレーム0および240。フレーム0は両方で一致する(平均3.08と2.13グレーレベル、差は縁にある)。フレーム240では開始 = 終了のクリップは依然として一致し(2.11)、開始のみのクリップは一致しない(15.20:ベッドと台が大きい)。
ベッドの構図のドリフト
図23. 同じ合成したフレーム0を用いたベッドの、0–9 sの毎秒、9.95 s、最後の静止フレーム。開始画像のみ(上段)では回転中に大きくなり、8 sからは明らかに大きく、9.95 sで台がフレームの両端に達する。同じフレームを開始画像と終了画像に用いた場合(下段)、台は毎秒その大きさと位置を保つ。
ベッドの構図のドリフト、拡大
図24. 同じ組を0、5、8、9.95 sで拡大したもの。

これらのクリップが示すこと。 開始のみのベッドのクリップでは、出力の最初のフレームは合成したレイアウトに従っており、フレーム0でのレイアウト追従(7.5節)は成り立っていたが、その後構図が失われた。回転を通してカメラが一定のペースで寄っていったのである。プロンプトの Camera 行(「camera position, aim, focal length, focus, aperture and crop stay constant」、付録A)は報告によればリクエストに含まれていたが、これを防げなかった。開始のみの他の4クリップは、サンプルしたすべてのフレームで合成した構図を保っており、ドリフトは現れなかった。ドリフトが現れたのは一度だけで、セットの中で最も奥行きがあり最も背の高い製品であった(オペレーターの記述)。それがその形状と関係しているのか、どの製品にも起こりうるランダムな事象なのかは、製品ごとに1クリップでは判断できず、したがってこの実行からはどの製品にリスクがあるかは分からない。合成した開始フレームなしでのクリップ内の大きさの変化は以前にも見られており(Kling 3.0 Omni のベースラインクリップの一つは回転中に44%大きくなった、3.1節)、作業開始時に調べたクリップは構図が安定していた。それ以前の合成した開始フレームを用いたクリップは、回転中の大きさを目視でのみ確認しており、本作業でこれまで合成した開始フレームでのこのようなドリフトは記録されていなかった。

合成した開始フレームを end_image_url としても送った再実行(Kling 4 はこれを受け付ける)ではドリフトは起きず、台は評価可能なすべてのサンプルで合成した幅と位置を保った(隠れた側面視点のサンプル2件は除外)。これは一つの製品についての各群1テイクであり、終了フレームを用いた実行がドリフトしなかったことを示すにすぎず、終了画像がドリフトを防ぐことを示すものではない。開始のみの群では5クリップ中1つがドリフトしたため、ドリフトしない開始 = 終了のクリップ1本は、開始のみのレシピを変えなくてもしばしば得られる結果でもある。端点の条件付けは最後と最初のフレームの一致を促す目的関数であって、それを保証するものではなく、観察されたSSIM 0.993(確認では0.994)への寄与は測定されていない。開始のみの4クリップは端点の条件付けなしで同程度の値に達している。高い値は、その間の不自然な、または不連続な回転とも両立しうるため、それだけでは継ぎ目のないループを示さない(端点の類似で示せないことは7.3節に挙げている)。

未解決のリスク:回転しないこと。 開始画像と終了画像が同一の場合、始まった位置で終わるという条件は、回転しない製品や、途中まで回転して戻る製品でも満たされる。ベッドは1回のテイクで一周し、自動の開始 = 終了のアームチェアのクリップ(下記、図27)も一周した。0.5 sごとのサンプリングでは、サンプル間の短い行き過ぎや逆回転は排除できない。逆回転の指標(7.4節)は適用していない。二つの設定でそれぞれ一度観察されたにすぎず、成り立つことは示されていない。

開始 = 終了のアンカー条件との関係。 その実験では Kling 3.0 Omni を720pで用い、緑のアームチェアと、別のスクリプトで合成したアンカーフレームを使った。開始 = 終了の3クリップのうち一つは行き過ぎて戻り、そのためにこのモデルでの作業は中止された。今回のクリップは、モデル(Kling 4)、解像度(1080p)、製品(ベッド)、構図(スタジオ背景「スタジオグレー」を用いたスタジオ自身のコンポーザー)、目的(ループを閉じることではなく構図を保つこと)が異なる。両者は比較できず、このクリップは以前の失敗と矛盾しない:開始 = 終了の条件付けはこれまでに、一方のモデルで3クリップ中1つに逆回転を、もう一方のモデルで2クリップのそれぞれに一周を生じさせた(一つは手動設定、一つは自動、7.6節および下記)が、これはどちらのモデルについても率ではない。

早い到達と長い静止(未解決の観察)。 開始 = 終了のベッドのクリップでは、ベッドは10 sの回転の終わりではなく約9.0 sで正面の姿勢に達した:最初のフレームに対するSSIMは8 sで0.904、8.5 sで0.929、9 sで0.993であり、9から10 sまでベッドはほぼ静止していた(フレーム間の変化は約0.05で、回転中の約1.0と比べて小さい。単位はオペレーターの測定による)。したがって2 sの静止を付加すると、見かけの静止は要求した2 sではなく約3 sとなった。終了画像なしで作ったプフも同様で、約8.5 sで正面に達したため、見かけの静止は約3.5 sであった。コーナーソファ、ソファ、アームチェアは10 sになってようやく正面に達した。到達時刻はおおよそのもので、フレーム0との姿勢の類似度に基づく。回転終了前の静止は、オペレーターのフレーム間の数値であって、測定した静止区間ではない。これらの数値はオペレーターのものであり、測定ファイルは入手できない。ダウンロードした静止付きのコピーに対して本報告のために行った確認(各時刻でデコードしたフレームとデコードしたフレーム0とのグレースケールSSIM、シークによる)では、開始 = 終了のベッドが8、8.5、9 sで0.920、0.931、0.992、プフが8、8.5 sで0.987、0.996、コーナーソファが9、9.5、10 sで0.961、0.978、0.995となり、パターンはオペレーターの値と一致するが、プロトコルは異なる。本報告のために計算したフレームごとの系列(フル解像度でのフレーム0に対するSSIM、480 pxのグレースケールでのフレーム間の平均変化)はこれらのスポット値を再現する。ベッドでは、フレーム間の変化は1–8 sの平均1.30から9–10 sの0.054へ下がり、オペレーターの「約1.0に対して0.05」と、スケールは異なるが同じパターンである。開始のみのベッドのフレーム0に対するSSIMは最後まで0.84–0.85付近にとどまる。終了画像のないクリップの一つが同じ早い到達を示し、自動の開始 = 終了のアームチェアのクリップ(下記)は早く到達しなかった(終わりの0.42 s前)。つまり開始 = 終了の2クリップのうち一つは早い到達のしきい値に達し、一つは達しなかったため、終了画像との関係は不確かなままである。各1クリップでは、それがどの程度の頻度で起こるかは分からない。考えられる対策は、回転終了前の静止区間を検出して切り詰め、付加した静止が唯一の静止となるようにすることだが、構築していない。

早い到達
図25. 再生成した5クリップについて、各フレームのフレーム0に対するSSIM(上)とフレーム間の平均変化(下、対数スケール)。開始 = 終了のベッドは8.5から9 sの間にSSIM 0.992へ跳ね上がり、プフは8.5 sまでに0.996に達し、その後はいずれもほとんど動かない。コーナーソファとソファは10 sに向けてようやく上昇する。開始のみのベッドは最後まで0.84–0.85付近にとどまる。

状況。 測定したクリップでは、終了画像は手動で設定された:合成したフレームのPNGをスタジオの「最初のフレーム」と「最後のフレーム」の枠に入れたもので、これは合成したフレームの自動アップロードではなく、ユーザーの最初のフレームの経路をたどる。このクリップの後、合成したフレームを終了画像として自動的に送る機能が構築・デプロイされた(4.4節):回転が「自動」または360°のとき、現在はカスタム構図での既定となっている。終了時の姿勢が開始時と異なる270°の回転には適用されない。「スイング ±90°」は0°に戻るため利用できるはずだが、試しておらず、対象外としている。リリースの判断は、この一つのペア比較と製品上の判断に基づくものであり、効果の証拠ではない。上記のリスク(回転しないこと、早い到達)は、自動の経路で作られるすべてのクリップに当てはまる。そのようなクリップはこれまでに1本記録されている(下記のアームチェア):一周し、早く到達せず、構図を保った一方、開始のみの対になるクリップは寄っていった。

納品。 オペレーターの報告によれば、これらのうち5クリップ(ドリフトした開始のみのベッドを除くすべて)を、セルフサービスの手順とともに公開リンクとして顧客に送付した。顧客の評価はまだ受け取っておらず、本報告のいかなる記述も受け入れとして読まれるべきではない。

納品した再生成クリップ
図26. 納品した再生成5クリップのうち4クリップ(終了画像ありのベッド、ソファ、コーナーソファ、プフ)の0、2.5、5、7.5、10 s。4クリップとも台の幅、厚み、高さが同じで、同じグレーのスタジオにある。アームチェアは示していない(結び付けられるダウンロード済みコピーがない)。

自動の経路で作った二つ目のペア。 自動の終了画像がデプロイされて間もなく、オペレーターはスタジオで、アンカー実験(3節)の緑のアームチェアのクリップを同一の設定で2本作った:Kling 4 reference-to-video、720p、1:1、10 sに1 sの静止、大きさ50%、ターンテーブル80%、厚み4%、中心は上端から70%、スタジオグレー、回転「自動」、写真5枚(製品エレメントに4枚、通常の参照に1枚)。1本目は、デプロイ前に読み込まれ再読み込みされていないスタジオのページで作られたと推定される(ページの読み込み時刻は記録されていない)。2本目は再読み込みの後で、自動の最初と最後のフレームのタイルが表示されていたため、合成したフレームが開始画像と終了画像として送られた。1本目のクリップに終了画像がなかったことは、タイミングとページの状態から推定したもので、リクエストから読み取ったものではない。生成記録には終了画像が送られたかどうかが示されないためである。ダウンロードした出力(940 × 940、265フレーム = 10 sのソースのフレーム0–240に静止のコピー24枚を加えたもの)は、まず7.7節で帰属不明として採点され、その後セッションの記録からこの2件の生成と結び付けられた。1本目のクリップの開始のみという条件は推定に基づくため、これはおおよそ対応の取れたペアであり、条件の帰属は一部推定に基づく。7.7節のプロトコル(E = フレーム240)で測定した:

製品クリップ条件付けクリップを通した台の幅クリップを通した台の中心一周フレーム0対240:SSIM / MAE
緑のアームチェア開始のみのアームチェアのクリップ(図27)開始のみ(推定)0 sで80.1%、1 sで91.2%、1.25 sから最後までフレームの両端を越える70.2% → 83.1%(範囲70.2–83.3%)カメラがクローズアップまで寄る間に回転した。7.7節の正面に近いしきい値には一度も戻らない0.832 / 24.68
緑のアームチェア開始 = 終了のアームチェアのクリップ(図27)開始 = 終了(自動)41サンプルすべてで80.1%(0.25 sごと)70.1–70.2%あり、目視で正面 → 側面 → 背面 → 側面 → 正面0.993 / 1.89

当時のオペレーターの測定(0.5 sごと、プロトコルは記録なし)は方向が一致している:開始のみのクリップでは81%で、約3 sまでにフレームの両端を越えて上昇。開始 = 終了のクリップでは終始79.9%と70%、最初対最後のSSIMは0.991、1 sの静止は静的であった。台が初めてフレームの両端を越える時刻は異なる(約3 sに対し、ここでは1.25 s)。7.7節では表の値を用いる。開始 = 終了のクリップは最後のソースフレームの0.42 s前に正面に近いしきい値に達したため、早く到達したとはいえない(7.7節では1 s以上を数える)。継ぎ目比は4.05で、継ぎ目の絶対値は1.89グレーレベルである。これは小さなアームチェアのフレームごとの動きが小さい(ステップの中央値0.47)ためで、7.7節が求めるように両者を合わせて読むと、比は飛びを過大に示している。

これはベッドのペアでの一変数の変更を、二つ目の製品、二つ目の解像度(1080pに対し720p)、二つ目の台の高さ(58%に対し70%)で、しかも手動ではなく自動の経路で繰り返したものであり、結果は同じであった:開始のみの群は寄っていき、開始 = 終了の群は合成した構図を保った。依然として各群1テイクである。ここでの開始のみのドリフトはベッドのものより早く始まり、より強かった。これらのクリップ全体では、開始のみのレシピは6クリップ中2(ベッドとこのアームチェア)でドリフトし、4クリップで保たれた。

緑のアームチェア、開始画像のみと開始・終了画像の比較
図27. 同一の設定と合成したフレーム0による緑のアームチェアの、0から10 s(フレーム240、最後のソースフレーム)までの毎秒と静止中(11.0 s)。各コマの下に7.7節の台の幅を示す。開始画像のみ(上段。終了画像なし、推定)では、約1.25 sから台がフレームの両端を越え、クリップは正面のクローズアップで終わる。同じ合成したフレームを開始画像と終了画像に用いた場合(下段、自動)、台は80.1%にとどまり、アームチェアは一周して10 sで正面に戻る。

解釈(この二つのペアに限る)。 構図は幾何学的な制約である(同じ場所に同じ大きさで)。開始のみのベッドのテイクは、プロンプトの言葉に加えて合成した開始画像をすでに持っていたにもかかわらずドリフトした。その後の、開始と終了に同じ画像で条件付けたテイクはドリフトしなかった。緑のアームチェアでも720pで自動の経路により同じことが起きた。介入の効果とばらつきの原因は不明のままである:各群1テイクのペア二つでは、終了画像の効果とテイクごとのばらつきを切り分けられない。これは、レイアウトはテキストではなく画像を通じてモデルに伝わるという本報告の主要な観察(12節)と矛盾しないが、それを検証するものではない。統制された検証は11節のアブレーション5である。

7.7 遡及的比較

状況。 7.2–7.6節の執筆後、本研究でローカルに入手可能なターンテーブルのクリップをすべて、ローカルのファイルのみから、新たな生成も有料サービスも用いずに、一つのプロトコルで再採点した。この比較は遡及的かつ観察的なものである。クリップはプロトコルが存在する前に、意図的または適応的に変えた設定の下で作られ、大半は条件ごとに1クリップである。本節のいずれの値も率、効果量、因果的な結果ではなく、n = 1 の条件では数値はそのクリップのみを記述する。本節は7.4節で挙げた、セット間で一つのプロトコルを用いる必要性に応えるものであり、11節の統制された評価に代わるものではない。

プロトコル(すべてのクリップで同一)。 デコード:ffmpeg、デコードしたすべてのフレーム(passthroughのタイミング、複製なし)、512 × 512 pxへエリア縮小(クリップはすべて正方形)、ファイルのタグにかかわらずYUV→RGB行列をBT.709リミテッドレンジに固定(タグのないファイルもある)、8-bit RGB。グレー = 0.2126 R′ + 0.7152 G′ + 0.0722 B′(ガンマ符号化した値に適用したRec.709の輝度の重み)、浮動小数点、0–255。合成した開始画像:白の上にアルファ合成し、512 pxへエリア縮小、同じ重み。動きの終わり:動きの区間はフレーム0…Eで、Eは付加した静止の前の最後のソースフレームである。Eは記録されたファイル構造から取る(生の出力:最後のフレーム。静止付きのファイル:10 sのソースではフレーム240、本番のソファとプフでは192と216)。検出器はすべてのクリップで実行するが、何も記録がない場合にのみ用いる(最終的なセットでは該当クリップなし):静止とは、隣接フレーム間のMAEが0.03グレーレベル未満となる末尾のフレームの連続であり(0.25未満のキーフレームの小さな跳ねは1回まで許容)、Eはその連続の直前のフレームである。静止付きのファイルでは記録と1フレーム以内で一致するが、本番のプフでは外れ(216ではなく240、キーフレームの跳ね2回で連続が途切れる)、生で静止なしのローカルのテイク2では、モデル自身が作った16フレームの静止した末尾を検出してしまう。したがって静止の連続を探す検出器では、付加した静止とモデル自身の停止を区別できない。領域:フレーム全体と、固定した中央の枠(行20–80%、列25–75%。すべてのクリップで同じで、製品のマスクではない)。指標:(1) 端点のSSIM [27](ガウス窓 11 × 11、σ 1.5、K1 0.01、K2 0.03、L 255、反射パディング、領域全体の平均)と、フレーム0対フレームEのMAE。(2) 継ぎ目のMAE = MAE(フレームE → フレーム0)、すなわち動きの区間がループするときに視聴者が見るステップ。0…E内の隣接ステップの中央値。継ぎ目比 = 継ぎ目のMAE ÷ ステップの中央値(1 = 通常のステップ。アンカー実験の合格線は ≤ 2.0)。静止付きのファイルでは、これは静止付きファイルのループではなく、動きの区間のループである。(3) 構図のドリフト:6フレームごと(0.25 s)とEでの台の検出器で、台の照らされた上面を測る(幅はフレーム幅に対する%、中心はフレーム高さに対する%)。幾何が既知の合成画像で検証した(76 / 56に設定したフレームは76.0 / 56.0–56.2と読み、80 / 58は80.1 / 58.1、80.0 / 77.9は80.3 / 79.0と読む)。各クリップの最初と最後の動きのフレームを目視で確認し、ok(20クリップ)、縁(台がフレームの縁に達するため、幅は下限値。20)、信頼できない(7)に分類し、幅はokについてのみ報告する。加えて、検出器を用いない製品上端の行を求め、有効な場合はクリップを通したその範囲を報告する。(4) 合成した開始画像が保存されている場合の、それに対するレイアウト:出力フレーム0に対するMAEとSSIM、台の幅と中心の差、フレームEに対するMAE。(5) 部分的な回転の読み取り:2フレームごとの中央の枠のフレーム0に対するSSIMから、類似度が最小となる時刻、正面に近いしきい値(min + 0.8 (1 − min))、クリップがEの何秒前に再びそれに達するか(早い到達)、クリップ中盤でそれを上回るサンプル、動きの区間内の静止した末尾を求める。読み取り(5)は方向を測らない:正面を通過しない逆回転はこの読み取りでは見えず、アンカー実験自身の逆回転の指標は引用するのみで、再計算していない。

クリップ。 バイト単位で同一の重複を除いた後、本報告のグループに結び付く46クリップを採点した(そのうち2クリップ、すなわち7.6節のアームチェアのペアは、まず帰属不明として採点され、その後で生成と結び付けられ、終了フレームはその設定から取った)。記録された生成と結び付けられなかったファイルは、すべての比較から除外した。アンカー実験については、後の再エンコード版ではなく、プロバイダーの生の出力を採点した。

グループn端点のSSIM、フレーム全体:中央値[最小–最大]端点のMAE、フレーム全体継ぎ目比
プラットフォームのテンプレートの例20.514 [0.183–0.846]52.04 [6.30–97.78]31.84 [3.06–60.62]
顧客自身の最初のクリップ50.906 [0.717–0.989]6.52 [1.46–16.46]3.11 [0.96–8.24]
プロンプトv8のテスト60.910 [0.849–0.969]4.16 [1.51–11.72]2.40 [0.55–12.92]
隠しレイヤーのテイク50.904 [0.775–0.989]3.75 [1.17–16.21]1.01 [0.34–5.67]
ベースライン、合成したフレームなし(7.2節)40.930 [0.860–0.988]4.21 [1.54–5.51]1.99 [0.91–2.24]
生成した4視点の参照セット10.9671.932.49
アンカー実験、条件A(プロンプトのみ)30.899 [0.784–0.919]7.61 [7.08–21.65]10.55 [5.26–14.10]
アンカー実験、条件B(開始画像と終了画像)30.996 [0.986–0.996]1.79 [1.73–1.93]1.98 [1.56–2.20]
アンカー実験、条件C(連結)30.994 [0.993–0.994]4.06 [3.47–4.69]5.52 [4.90–6.00]
合成した開始を用いたローカルのテイク30.995 [0.985–0.996]1.36 [1.12–1.58]3.29 [0.70–4.16]
本番、合成した開始(7.3節)40.995 [0.994–0.997]0.66 [0.41–1.24]1.15 [1.09–1.43]
再生成、開始画像のみ(7.6節)40.996 [0.803–0.996]0.69 [0.44–16.08]1.29 [0.96–10.39]
再生成、開始画像と終了画像(7.6節)10.9960.500.41
アームチェアのペア、開始画像のみ(7.6節)10.83224.6811.78
アームチェアのペア、開始画像と終了画像、自動(7.6節)10.9931.894.05

各グループは、製品、モデル、解像度、プロンプト、設定が異なるクリップをまとめたものである(図28)。アンカー実験のMAE値は、デコードと大きさは異なるものの、その実験自身の端点の差(21.8 / 7.7 / 7.2、2.1 / 1.9 / 1.9、3.5 / 3.9 / 4.5)を0.2グレーレベル以内で再現している。

グループ別の遡及的比較
図28. 採点した46クリップの端点のSSIM(フレーム0対最後の動きのフレーム、フレーム全体、512 pxのRec.709グレー)と継ぎ目比(対数スケール。アンカー実験の合格線2.0を表示)。1点が1クリップで、グループ別に示す。グレー = 合成したフレームを送らず、青 = 合成した開始フレーム(または連結したアンカー)、オレンジ = 同じ合成したフレームを開始画像と終了画像に使用。テンプレートのクリップ1本(SSIM 0.183)は左の軸の範囲外にある。グループは複数の要因で異なり、比較可能な条件ではない。

ほぼ対応の取れたペア。 セット全体で、記録された要因が一つだけ異なる比較は六つしかない。アンカー実験の比較(各群 n = 3)を除き、いずれも各群 n = 1 である。P3とP6は同じ変更、すなわち合成したフレームを終了画像として追加することを、二つの製品と二つの解像度で、手動設定と自動で検証している。記録されていない違い(シード、プロバイダー側の状態)は、どのペアでも統制されていない。

#ペア異なる唯一の記録された要因同一に保ったもの端点のSSIM / MAE / 継ぎ目比構図とレイアウト回転の読み取り
P1アンカー実験、条件A対条件B(n = 3 + 3)合成した正面フレームを開始画像と終了画像として送信(リクエストは他は同一)Kling 3.0 Omni 720p 無音 10 s、緑のアームチェア、写真5枚、プロンプト文A:0.784 / 0.920 / 0.899;21.65 / 7.61 / 7.08;14.1 / 10.5 / 5.3。B:0.986 / 0.996 / 0.996;1.93 / 1.79 / 1.73;2.20 / 1.98 / 1.56Bの台はすべてのサンプルで80.1% / 79.0%。Aの台は信頼できない(2クリップ)またはフレームの縁を越える(1クリップ)。製品上端の範囲はA 15.0 / 2.7 / 3.1ポイント、B 2.0 / 1.2 / 1.2。フレーム0対合成した正面のMAEはA 24.7 / 24.2 / 24.2(正面は未送信)、B 2.4 / 2.8 / 3.1Bの1クリップにはクリップ中盤に正面に近いサンプルが2つあり、記録された行き過ぎと矛盾しない。Aの1クリップで記録された振り戻しは、この読み取りでは見えない
P2ローカルのテイク1対テイク2合成した円盤を平面的に描画 対 陰影付きKling 4 720p 10 s、アームチェア、大きさ50 / 台76 / 中心56 / 厚み3、エンドポイント、プロンプト、設定0.985 対 0.995; 1.12 対 1.58; 0.70 対 4.16テイク1の台はフレームの縁を越える(モデル自身の構図)、フレーム0対合成のMAE 54.4、幅 +24.0ポイント。テイク2は76.0–76.2% / 56.2–56.7%、MAE 3.4、幅0.0テイク2にはモデルが作った0.6 sの静止した末尾があり、ステップの中央値を下げ、継ぎ目比を押し上げている
P3再生成のベッド、開始画像のみ 対 開始画像と終了画像同じ合成したフレームを終了画像としても送信(手動設定)Kling 4 1080p 10 s + 2 sの静止、2台目のベッドのモデル、台80 / 4 / 58、スタジオグレー、プロンプトは報告どおり0.803 対 0.996; 16.08 対 0.50; 10.4 対 0.41開始のみ:0 sで80.1%、その後フレームの両端を越え、中心58.1 → 63.2%。開始と終了:79.7–80.1% / 57.5–59.2%。フレーム0対合成のMAE 4.09 対 3.17、フレームE対合成 14.57 対 3.17(合成画像は推定、図22)開始と終了:Eの1.17 s前に正面に近いしきい値に到達
P4プロンプトv8のアームチェアのテスト、T4対T4b参照セット:写真5枚(5枚目は別の参照として送信)対 エレメント内の写真4枚Kling 4 720p 10 s、プロンプトv8、緑のアームチェア0.969 対 0.941; 1.51 対 2.30; 0.55 対 0.91両方の台がフレームの縁を越える(該当なし)T4は背面で始まり背面で終わる(3.1節)ため、端点の数値が良くても開始時の姿勢の確認にはならない
P5プロンプトv8の青いソファ、Kling 3.0 Omni対Kling 4モデル(およびそれに伴う出力サイズ、960 対 940 px、モデルごとの音声)プロンプトv8、青いソファ、写真、720p、10 s0.849 対 0.879; 11.72 対 5.89; 12.9 対 3.0両方の台がフレームの縁にかかる(該当なし)どちらも正面に近いしきい値に戻らない
P6アームチェアのペア、開始画像のみ 対 開始画像と終了画像合成したフレームを終了画像としても送信(自動。開始のみのクリップでの不在は推定、7.6節)Kling 4 720p 10 s + 1 sの静止、緑のアームチェア、写真5枚、大きさ50、台80 / 4 / 70、スタジオグレー、回転「自動」0.832 対 0.993; 24.68 対 1.89; 11.8 対 4.05(ステップの中央値2.09 対 0.47のため、1.89レベルの継ぎ目は比としては高く出る)開始のみ:0 sで80.1%、1 sで91.2%、1.25 sからフレームの両端を越え、中心70.2 → 83.1%(範囲70.2–83.3%)。開始と終了:41サンプルすべてで80.1% / 70.1–70.2%。合成画像は保存されていない開始のみは正面に近いしきい値に一度も戻らない。開始と終了はEの0.42 s前に到達し、クリップ中盤に正面に近いサンプルはない

それ以外の比較はすべて、記録された要因が複数異なる。ローカルのテイク2対テイク3(接地影、新しいMotion行、ブラウザでの静止をまとめて変更)、アンカーの条件B対C(連結、区間ごとのプロンプト、終了アンカー、長さ)、製品ごとのベースライン対本番(合成した開始フレーム、プロンプト層、背景、大きさ、台、長さ、静止)、製品ごとの本番対再生成(背景、厚み、中心、大きさ、静止、影、プロンプトの状態)、開始のみの再生成クリップ同士(異なるのは製品のみだが、製品ごとに n = 1 のため、差をテイクごとのばらつきと切り分けられない)、顧客のクリーム色のソファの2クリップ(モデル、長さ、音声)、プロンプトv8のテスト対条件A(製品、写真、モデル、リクエストの組み立て)、条件A/B対開始・終了画像を用いた再生成のベッド(モデル、解像度、製品、コンポーザー、背景、プロンプト)、そして隠しレイヤーのテイク同士(レイヤーのバージョン、製品、解像度、回転モード)である。

読み取り(数値が示すことに限る)。 端点の類似度だけでは問題を切り分けられない:180°で逆回転したと記録された隠しレイヤーのテイクは端点のSSIMが0.989(MAE 1.17)で、合成したフレームのグループ以外では最も高い。背面で始まり背面で終わるT4は、端点のすべての数値でT4bを上回る。正面に戻るスイングのクリップはループと同じように採点される。端点のSSIMとMAEは、最後の動きのフレームが最初のフレームに似ていることを確かめるだけで、回転については何も確かめない。観察したクリップの範囲では、モデルが従った合成した開始を持つクリップ(条件BとC、ローカルのテイク2–3、本番、開始のみのベッドを除く再生成クリップ、開始と終了のアームチェアのクリップ。n = 17)は端点のSSIMが0.986–0.997、MAEが0.41–4.69であり、プロンプトのみのクリップ(顧客、プロンプトv8のテスト、隠しレイヤーのテイク、ベースライン、4視点の参照セットのクリップ、条件A。n = 24)はSSIMが0.717–0.989、MAEが1.17–21.65である。これらのグループ間では製品、モデル、解像度、プロンプト、日付がすべて異なるため、これはサンプルの記述であって効果ではない。構図のドリフトは、合成したフレームなしでも(条件Aのあるクリップでは製品上端が15ポイント動き、別のクリップでは台がフレームを越えている)、ありでも(P3とP6の開始のみの群)見られた。台の読み取りが使える20クリップのうち16クリップは、動きの区間を通して台の幅を0.8ポイント以内、中心を1.7ポイント以内に保つ。本番の2本のソファは幅で2.3–2.5ポイント、中心で2.1–4.0動くが、これは側面からの視点でソファが台の最も幅の広い行を覆うためと考えられる(検出器の限界であり、カメラの動きであることは示されていない)。再生成の開始のみのベッド(台がフレームから外れる前に幅20.7ポイント、中心5.1)と開始のみのアームチェア(19.9と13.1、1.25 sからフレームを越える)が、採点したクリップの中で寄っていった2本であり、どちらのペアでも開始と終了の対になるクリップは台を保った。継ぎ目比はクリップの動きの速さに依存する:連結した条件Cのクリップ(ステップの中央値約0.7)は、継ぎ目が3.5–4.7グレーレベルで4.9–6.0となり、ローカルのテイク2のモデルが作った静止した末尾は4.16となる。したがって比と継ぎ目の絶対MAEは合わせて読む必要がある。早い到達(Eの少なくとも1 s前に正面に近いしきい値に到達)は、再生成の開始と終了のベッド(1.17 s)、再生成のプフ(1.75 s)、隠しレイヤーのテイク1本(1.00 s)に見られる。自動の開始と終了のアームチェアはEの0.42 s前にようやく到達するため、開始と終了の2クリップのうち一つは早く到達し、一つは到達しなかった。

本稿の他の箇所の数値と異なる点。 以前の値はいずれも置き換えない。各値はそれぞれのプロトコルに属し、プロトコル間で互換ではない。

  • 再生成クリップ、フレーム0対フレーム240:このプロトコル(512 px、Rec.709グレーに対する上記のSSIMの実装)では、開始と終了のベッド、ソファ、プフ、コーナーソファが0.996、開始のみのベッドが0.803となる。7.6節の確認(ffmpeg ssim、Y、1440 px、フレーム240)では0.994 / 0.994 / 0.997 / 0.995 / 0.845となる。オペレーターの値(プロトコルは記録なし)は、開始と終了のベッドが0.993、開始のみのクリップが0.993–0.996の範囲内である。
  • 再生成クリップ、フレーム0対フレーム240、MAE:ここでは納品した4クリップが0.44–0.79、開始のみのベッドが16.08であり、7.6節と図21(図セットのグレースケールでのデコード)では0.48–0.89と16.54である。
  • ベッドの合成したフレーム対出力:ここではフレーム0のMAEが4.09(開始のみ)と3.17(開始と終了)、フレームEが14.57と3.17であり、図22(図セット独自の大きさでの比較)では3.08 / 2.13と15.20 / 2.11である。
  • アームチェアのペア:開始と終了のクリップのフレーム0対フレーム240のSSIMは、ここでは0.993、オペレーターの値は0.991(プロトコルは記録なし)。開始のみのクリップで台がフレームの両端を越えるのは、ここでは1.25 sから、オペレーターの0.5 sごとのサンプルでは約3 sから。
  • 納品した再生成4クリップの台の幾何:この検出器では回転を通して幅79.3–80.1%、中心57.0–59.2%であり、オペレーターの値はすべてのサンプルで80.1% / 58.1%である(7.6節)。
  • 早い到達:ここでは開始と終了のベッドがEの1.17 s前、プフが1.75 s前であり、オペレーターと7.6節のスポットSSIM値からは約1 sと1.5 sである。
  • 本番の端点のMAE:ここではコーナーソファが0.62、プフが0.41であり、7.3節(プロトコルは記録なし)では0.92と0.57である。7.3節で個別に記録されていないアームチェア(0.70)とソファ(1.24)はここで測定したもので、4クリップの範囲はこのプロトコルでは0.41–1.24、社内での報告値は0.57–1.79である。
  • ベースラインの端点のSSIM:ここでは0.860–0.988(ソファが0.988)であり、7.2節(ベースライン自身のプロトコル)では0.85–0.97である。
  • ローカルのテイク3:ここでは0.996、7.3節では0.98。
  • アンカー実験のMAE:その実験自身の端点の差と0.2グレーレベル以内(上記)。
  • T4とT4bの継ぎ目比:ここでは0.55と0.91であり、アンカー実験の較正では0.49と0.88(フレーム全体)、以前の分析(3.1節)では1.0と1.5(中央のクロップ)である。

注意点。 この比較は観察的なものである:すべてのクリップはプロトコルより前に作られており、それを検証するために作られたクリップはない。グループには交絡がある:製品、モデル、解像度、プロンプトのバージョン、構図、背景、日付がグループ間で同時に変わるため、グループ間の差を合成したフレームにも他の何にも帰することはできない。端点のSSIMだけでは誤解を招く:逆回転したテイクは0.989となり、背面から始まるテイク(T4)は対になるテイクを上回る。そのため端点の数値は、構図、継ぎ目、回転の読み取り、そしてフレームそのものと合わせて読む。セルは小さい:P1では各群 n = 3、P2–P6では各群 n = 1(終了画像の変更にはこうしたペアが二つ、二つの製品である)、7.6節の開始と終了の各クリップは n = 1、再生成の開始のみのグループは製品ごとに1クリップである。台の検出器は照らされた上面を測るため、陰影のある台では数ポイント狭く読むことがあり、台の最も幅の広い行を覆う製品は選ばれる行を動かす。回転の読み取りは方向を測らない。本稿で論じたクリップのうち2本はローカルのコピーがなく採点していない(数値の Layout のクリップと再生成のアームチェア)。また本番のクリップと再生成の開始のみのクリップについては合成した開始画像が保存されていないため、レイアウトの読み取りはできない。これらの数値のいずれからも因果的な主張は行わない。

8. 代替手法との比較

8.1 試した手法(詳細は3節)

手法R1 大きさR2 台上への収まりR3 端点逆回転動きの部分をモデルが生成状況
プロンプトの文言と隠しレイヤー(Kling 3.0 Omni、Kling 4)制御できずコーナーソファで失敗SSIM 0.85–0.97、正面の手前—はい不採用
数値の Layout 行のみ(Kling 4、1クリップ)無視された———はい不採用
合成した開始 = 終了フレーム(Kling 3.0 Omni、3クリップ)3/3 が3%以内3/3、目視で16フレーム3/3 が ≤ 4グレーレベル1/3 が行き過ぎて戻ったはい中止
連結した90°クリップ4本(Kling 3.0 Omni、3クリップ、プロバイダー呼び出し12回)3/33/3、目視で16フレーム2/3 が ≤ 4グレーレベル1/3 が逆回転はい中止
生成した4視点の参照セット(Kling 4、1クリップ)—サンプルしたフレームでは確認されず端点は正面に近いが一致しない—はい。構造のドリフトあり不採用
3Dレンダリング正しく構成したシーンでは明示的に制御可能制御可能(シーンと軌道)制御可能(周期的な軌道)制御可能いいえ未実施
合成した開始フレーム(Kling 4、リリース済み)ユーザーがフレーム0で設定。レイアウトは6/6でおおよそ追従、背景は本番クリップ3/4で保持。再生成の実行:フレーム0は5/5で追従、その後1/5(ベッド)で台がフレームから外れるまで構図がドリフト4/4 サンプルしたフレームでは確認されずMAE 0.57–1.79、4/4(社内での報告値)。再生成のSSIMは4/5で0.993–0.996、ベッドは終わりで25%大きい既定の方向では0件。既定外の方向は1/1で無視されたはい運用中
合成したフレームを開始画像と終了画像に使用(Kling 4、2クリップ:ベッドは手動設定、アームチェアは自動)両方で評価可能なすべてのサンプルにおいて構図を保持(ベッドの隠れた側面視点2件は除外)個別には評価していないSSIM ベッド0.993(オペレーター)、アームチェア0.993(7.7節のプロトコル)、一部は条件付けそのものによる。ベッドは約1 s早く正面に到達し、その後ほぼ静止。アームチェアは早い到達なし両方で一周、用いたサンプリングでは確認されず。測定はしていないはい同じ晩から「自動」/ 360°で自動。自動の経路によるクリップは1本記録(アームチェア)

しきい値と製品は行ごとに異なるため、この表は対照比較ではない。Kling 3.0 Omni での開始 = 終了条件は、独自のしきい値の下で3クリップすべてが名前を挙げた三つの欠陥を満たした。失敗したのは追加の逆回転の基準であり、そのモデルでの作業は中止された。カスタム構図と切り抜きを用いる場合、現在リクエストの経路は三つある。合成した開始フレームを開始画像としてのみ送る経路(270°とスイング、または終了画像に対応しないモデル)、合成した開始フレームを開始画像とし、同じフレームを自動の終了画像として送る経路(「自動」と「360°」)、そして合成した開始フレームを開始画像とし、ユーザー指定の終了画像を送る経路である。最後の経路でも終了画像による条件付けは行われるが、自動の端点は上書きされ、ここでは検証していない。ユーザーが最初のフレームを設定した場合は、合成した開始フレームが完全に置き換えられる。リリースした手法は工学的なトレードオフとして選んだものである。新しいモデル、クリップあたり1回の生成、ユーザーが見られるプレビュー、既定の方向で逆回転が観察されなかったことと引き換えに、率は測定されていない。

8.2 3Dレンダリングによるターンテーブル

3Dプラットフォームは3Dモデルから回転をレンダリングする。Cylindo の記事は「32 frames of the product rotating 360 degrees while the camera remains static」をレンダリングすると説明している [25]。正確なモデルがあれば、スケール、台上への収まり、ループのつながり、範囲、構図は明示的に制御可能になるが、これらはレンダリングするだけで得られるものではない。成り立つのは、共通の物理スケールと各製品の実寸を用い、製品を台の接地面に対して配置・確認し(どの角度でも台の縁を越える部分がない)、最後にサンプリングする角度が最初の角度の1ステップ手前となる周期的な軌道で折り返しが連続するよう、正しく構成したシーンにおいてのみである。費用は、すべての製品を素材込みでモデリングすることである。この経路は設計したが検証していない(3.1節)。この顧客の3Dファイルは入手しておらず、写真から3Dを作る生成器は隠れた面を推測する。

8.3 撮影によるスピンセット

カメラと同期した電動ターンテーブル、たとえば PhotoRobot の Turning Platform [26] は、家具を含む製品について「software-driven controls」が「ensure smooth turntable rotation in sync with precise camera capture」とページで説明しており、固定したカメラで実際の製品を一定の角度ごとに撮影する。SKUごとに実物、スタジオ、取り扱いが必要となる。このページは同期した撮影を裏付けるが、それだけでピクセル単位で正確なループを立証するものではない。

8.4 その他のAI動画ツール

証拠の種類は分けて扱う。文書化された機能:Photoroom の Product Animator のヘルプページ [22, 23] は、最大4枚の参照画像、テンプレートで選ぶ動き、アスペクト比、そして「designed for adding extra details or making minor changes」としたプロンプトを説明しており、写真は選んだ形に中央でトリミングされる。我々が読んだページには、大きさ、位置、ターンテーブル、範囲、ループの制御についての記述はないが、それは製品にそうした制御がないことを立証するものではない。Kling の Kling 4 ユーザーガイド [20] は、Keyframes の項目で最初、最後、最初と最後、中間のフレームを参照アセットとは別に説明している。これは fal の統合された reference-to-video エンドポイントの仕様ではない。ベンダーの主張:Higgsfield の記事 [24] は、そのエンジンが「inherits the exact product geometry and lighting from the uploaded hero frame」と述べている。これはベンダーの主張であり、同じ仕組みや忠実度の検証ではない。未調査:Runway、Pika、Kling、その他の製品動画ツールのウェブインターフェース。検索結果のスニペットは比較の証拠として用いていない。RefVid がこの制御を持つ唯一のツールであるとは主張しない。

9. 関連研究

画像条件付き動画生成。 Stable Video Diffusion [1] は画像から動画への生成のために潜在動画拡散モデルを学習する。DynamiCrafter [2] は入力画像を、テキストと整合したコンテキスト表現を通じて、また初期ノイズとの連結によって注入する。これらは合成画像をレイアウトの担い手として用いる動機となるが、開始画像が被写体の参照と競合する商用の reference-to-video エンドポイントについては何も述べておらず、我々の平面的な円盤での失敗は、そこでの追従が自明ではないことを示している。

キーフレームとループの条件付け。 Generative Inbetweening [3] は、事前学習済みの image-to-video モデルの順方向と逆方向のパスを融合して二つのキーフレーム間のフレームを生成するが、アンカー間の動きは依然としてモデルが合成する。Mobius [4] は潜在変数を循環として扱うことで継ぎ目のないループを生成し、DreamLoop [5] はシネマグラフのために入力画像を最初と最後のフレームの両方の条件として用いる。いずれもサンプリングや学習を変更するものであり、我々が用いるエンドポイントでは利用できない。我々は、最初と最後のフレームの誤差をループの指標として用いる点を借りているが、端点の誤差だけでは継ぎ目の連続性を測れないことにも留意している(7.3節)。

新規視点、軌道、多視点での被写体の一貫性。 Zero-1-to-3 [6]、Zero123++ [7]、SV3D [8] は1枚の画像から物体の新規視点や軌道を生成し、見えない面は推論される。公開されている SV3D のモデルは 576 × 576 で21フレームを出力し、必要な解像度に満たない。MV-S2V [9] は被写体の複数の参照視点を用いて3D的に一貫した動画を生成し(公開モデルは480p)、OmniShowcase [10] は表面法線による条件付けと合成した軌道での学習を加えており、調査時点では推論コードは予定として記載されていた。いずれも実行していない。どちらも、実際の写真をすべて参照として送り続け、合成した開始フレームは端点(開始、および一周の場合は終了も)にのみ用いるという我々の選択と矛盾しない。

空間とカメラの制御。 CameraCtrl [11] と MotionCtrl [12] は、学習したカメラまたは動きの制御モジュールを追加する。CamTrol [13] は学習を必要とせず、入力画像のレイアウトを3D点群空間で再レンダリングし、その結果を用いて事前学習済みの動画拡散モデルのノイズ付き潜在変数を構築する。ViewCrafter [14] は、新規視点合成のために、計画したカメラ軌道に沿った点ベースの3Dレンダリングで動画拡散モデルを条件付ける。I2VControl [15] は、image-to-video のためにカメラ、ドラッグ、モーションブラシの制御を統一する。VACE [16] は参照、編集、マスクの入力を拡散トランスフォーマーの一つの条件ユニットにまとめる。Wan ベースの ComfyUI ワークフローでは参照画像を深度などの制御動画と組み合わせることができ、最初のフレーム以降にも構造を課す経路の候補となるが、適切な制御動画が必要となる。ターンテーブルはカメラの軌道とは異なり、照明、カメラ、背景が世界の中で固定されたまま物体が回転する。その落ち影は固定されていない。固定された照明の下では影の形は物体の向きに応じて変わり、物体とともに単純に回転するわけでもない。したがって軌道の手法はそのままでは転用できない。

これらの手法は、三つの別々の問いに沿って異なる。手法がどのように開発されたか、公開された重みや推論コードがあるか、そして実務者が使うためにどのようなアクセスが必要か、である。CameraCtrl、MotionCtrl、I2VControl、SV3D、MV-S2V、OmniShowcase は、モジュールやモデルの学習またはファインチューニングによって開発された。重みが公開されている場合(たとえば SV3D や MV-S2V)、再学習なしで推論時に使えるが、新しいベースモデルやドメインではファインチューニングが必要となりうる。CamTrol は学習を必要としないが、DynamiCrafter 型の条件付けと同様にモデルの潜在変数に対して作用する。VACE はオープンなモデルの重みで動く。いずれも一般に、適切なモデルの重みと推論パイプラインへのアクセスを必要とする。我々の設定はブラックボックスのAPIであり、変更できるのは開始、中間、終了の画像、参照、テキストだけである。入力の合成は、そのレベルのアクセスで利用できる空間的な条件付けの形である。

3D再構成。 3D Gaussian Splatting [17] はキャリブレーションした多視点の撮影からシーンを再構成する。3、4枚のカタログ写真では、それが前提とする網羅性は得られない。

評価。 VBench [18] は動画の品質を別々の次元(被写体の一貫性、動きの滑らかさ、時間的なちらつきなど)に分解し、人間の選好で検証している。これは忠実度、滑らかさ、時間的一貫性を別々に評価する動機となるが、台上への収まりや端点の姿勢といったタスク固有の幾何学的な確認の代わりにはならない。

10. 限界

  • 探索的なサンプル。 本番の4クリップ(製品ごとに1本、それぞれ設定が異なる)、成功したKling 4のローカルの2クリップ、Kling 3.0 Omniのアンカーの6クリップ、共通の設定による再生成の6クリップ(開始のみ5、開始 = 終了1、7.6節)。盲検化しておらず、適応的で、ホールドアウトの製品はない。率を主張することはできない。
  • 再現性。 本番の端点の値のうち2つと、本番当日の測定プロトコルは記録されていない。本番のアームチェアのクリップは後の記録によってのみ特定されている(7.3節)。アンカー実験の実行スクリプトは現在のプロンプトビルダーと料金を用いるため、今再実行しても過去のリクエストが再現されるとは限らない。アンカーの生の出力はアーカイブされておらず、アーカイブしたクリップは再エンコードしたコピーであり、これは小さなピクセル差にとって重要である。後の本番の生成で、サーバー側のプロンプト層がプロンプトv9の一部を上書きしたかどうかは記録されていない(3.1節)。プロバイダーのモデルは、再現可能なチェックポイントなしに変わる可能性がある。
  • スケール。 大きさの規則は形状ごとに占有率を正規化する。製品間の比率はユーザーの設定に依存する(4.3節)。
  • 汎用のフットプリント。 各形状は一つのフットプリントを用い、製品の実際の W × D は用いない。
  • 単一視点の切り抜き。 合成するのは正面の写真のみである。描画した円盤は14°から見たものだが、写真はほぼ目の高さで撮られているため、背の高い製品や奥行きのある製品では遠近感の不一致が生じることがある。2Dの切り抜きの接地点は特定しておらず、カメラは較正していない。
  • フェイルクローズではない。 合成またはアップロードに失敗すると条件付けなしの生成にフォールバックし、静止の付加に失敗すると生クリップが残る。
  • 方向。 時計回りのみを提供している。反時計回りの要求が1件無視された。
  • 遅い立ち上がり。 静止した合成フレームから始まるため、調べたクリップでは最初の1秒の回転が遅い。
  • フレーム0以降の構図のドリフト。 フレーム0で合成したレイアウトに従っても、それが保たれるとは限らない:開始のみの6クリップのうち2クリップ(ベッドとアームチェア)は台がフレームから外れるまで寄っていき(7.6節)、プロンプトの Camera 行はそれを防げなかった。ドリフトが製品固有のものかランダムなばらつきかは不明であり、どの製品にリスクがあるかも分からない。ドリフトしなかった開始 = 終了の2クリップは、二つの製品でのそれぞれ1回のテイクである。効果は立証されておらず、開始画像と終了画像が同一であることで回転が抑えられるリスクは、2回の一周によって排除されたわけではない。それでも開始 = 終了は「自動」と360°で既定となっているため、これらのリスクは現在リリース済みの経路に当てはまり、その経路で記録されたクリップはこれまでに1本である。
  • 早い到達。 納品した再生成5クリップのうち2クリップ(終了画像ありのベッド、終了画像なしのプフ。ドリフトした開始のみのベッドは評価していない)は、回転終了の1–1.5 s前に正面の姿勢に達してほぼ静止したため、2 sの静止を付加すると見かけの静止はベッドで約3 s、プフで3.5 sとなった(7.6節)。原因と頻度は不明である。静止区間の切り詰めは考えられる対策だが、構築していない。
  • 未検証またはほとんど検証していないもの。 ベッド(2台目のベッドのモデルで条件ごとに1本の2クリップ、7.6節。コレクションのベッドの修正した写真は受け取っていない)、9:16と16:9、非対称の物体、難しい素材、2クリップを超える合成した end_image_url(手動設定1本と自動の経路1本、各 n = 1。「自動」と360°では自動の経路に組み込み済み。270°には適用不可。「スイング ±90°」は未試行で対象外)、Kling 4 での middle_image_urls(現在の実装は中間画像を渡さない)、フレームごとの台上への収まりの自動チェック。
  • 再生成の測定は再確認できない。 7.6節の台の幅、中心、SSIM値はオペレーターの報告によるもので、測定ファイルは入手できない。ダウンロードしたファイルと名前で結び付くのは3クリップのみで、ベッドの2ファイルは内容で結び付けた。再生成のアームチェアにはダウンロードしたコピーがない。
  • 改訂したフレーム0は比較していない。 再生成の6クリップはスタジオグレーの背景を用いた。それらのフレーム0に写真から抽出した影も含まれていたかは記録されておらず、陰影のバリエーションの比較も行っていない。それ以前は、背景の選択、描画したフットプリントの楕円の削除、写真から抽出した影(5節)は、どの生成にも用いられていなかった。7.3–7.5節のKling 4の合成したフレームのクリップ(ローカルのテイクと本番クリップ)は、影の形を描画した以前のフレームから作られ、アンカーフレームは別のスクリプトで合成され、ベースライン(7.2節)には合成したフレームがなかった。抽出した影自体の限界は5.6節に挙げている。
  • 顧客の受け入れは保留中。 最初の納品に対する顧客の返信では四つの調整が求められた(3.1節)。スタジオグレーの背景と固定設定による再生成の5クリップを同日に送付した(オペレーターの報告による)。顧客の評価はまだ受け取っていない。
  • カタログ向けのツール。 大規模なカタログのための名前付きプリセットとバッチ処理は構築していない。

11. 計画中の評価(今後の課題)

本節の内容はいずれも実施していない。

設計。 開発から除外した20–30点の多様な製品(ソファ、アームチェア、コーナーソファ、プフ、ベッドに加え、非対称の物体や、光沢、透明、細かいテクスチャといった難しい素材)× 主要な条件ごとに3–5回の反復とし、最終的な数はパイロットの分散に基づく検出力分析で決める。分析は製品ごとにクラスタリングする。フレームは独立したサンプルではない。台上への収まり、構造の忠実度、継ぎ目の見え方の評定は、盲検化した独立のアノテーターが行う。

ベースラインとアブレーション(入力、予算、設定をそろえる):

  1. 同じ最終プロンプトによる参照のみのベースライン。
  2. 合成した開始画像なしの数値の Layout プロンプト。
  3. Layout 行の有無による合成した開始画像の比較。
  4. 平面的な合成と陰影を付けた合成の比較。他はすべて固定し、順序は無作為化する。
  5. Kling 4 での開始のみと開始 = 終了の比較。合成した開始フレームを start_image_url と end_image_url の両方として送り(7.6節)、すべての製品タイプにわたって、最も奥行きがあり背の高い製品も含め、製品ごとに少なくとも3–5回、同一の設定とプロンプトで繰り返す。指標:全フレームでの台の幅と中心(製品が台の最も幅の広い行を隠す場合は「評価不能」のラベルを付ける)とドリフトするクリップの割合。回転しないクリップや途中まで回転して戻るクリップを含め、フルフレームレートでの完全な回転と逆回転の検出。端点の類似度は、開始 = 終了の条件付けが端点の一致を促す目的関数である(保証ではなく、寄与も測定されていない)という注記付きで報告し、折り返しをまたぐ動きの連続性は別に評価する。正面の姿勢に達する時刻と、回転終了前の静止区間の長さ(早い到達、7.6節)。開始 = 終了は現在「自動」と「360°」で既定であるため、開始のみの群は意図的に作成し、その旨のラベルを付ける必要がある。検出した早い静止区間を静止の追加前に切り詰めるバリエーションは、構築した場合、同じ指標で評価する。任意で、middle_image_urls による合成した中間アンカーと、開始 = 終了での「スイング ±90°」。
  6. 開始画像のみと、開始画像に多視点の参照を加えたものの比較。
  7. 互換性のある2つ目の動画モデルと、関連する商用ワークフロー一つ。
  8. フレーム0の製品の影:なしと写真から抽出したもの(および参照として描画した楕円)の比較。他はすべて固定し、ほぼ長方形とL字形の接地面を持つ製品で行う。指標は、製品と台のもっともらしい接地、固定した照明と整合する照明、台上に残る不要な跡、レイアウト追従とする。製品とともに剛体として回転する影や固定されたままの影は、観察された挙動として記録し、合格には数えない。
  9. 背景:明るいとスタジオグレーの比較。背景の保持(出力の最初のフレームの背景と合成した背景との比較)として測定し、レイアウト追従とは別に報告する。
  10. 抽出した影の縁の品質:レンダリングしたソフトalphaの例、色付きの縁の混入、領域の打ち切り、台の境界でのクリッピング。フレーム全体の平均ではなく、縁領域の指標(切り抜きのソフトエッジ周囲の帯)を用いる。

追加の試験。 物理スケールを固定したバリエーション(共通の台の直径、SKUの実寸)と製品間の幅の比の測定。スライダーの応答テスト(出力の大きさが s に単調に追従するか)。9:16と16:9。端数のある静止と先頭の静止。音声付きの静止付きクリップ。

指標:旧クリップにも新クリップにも同じく適用する、バージョン管理した一つのプロトコル。明示した色空間と解像度でのフレーム全体と製品領域のMAEとSSIM。端点の姿勢誤差。折り返しをまたぐ動きの不連続性を、静止を除いたそのクリップ自身の隣接フレーム間の分布とクリップごとに比較したもの。可視性による除外を定義し「評価不能」のカテゴリーを設けた台上への収まりの違反を、全フレームまたは根拠のあるサンプリングで確認したもの。完全な回転と逆回転の検出。レイテンシー。リトライとオペレーターの作業時間を含む、許容できるクリップ1本あたりの費用。生クリップと静止付きクリップのファイルは区別して識別し、すべてのクリップについて、送信したとおりのリクエスト(埋めたプロンプトを含む)、合成画像と参照画像、個々のスコアを保存する。

12. 結論

この課題では、テキストは幾何をモデルに伝えなかった:文言、数値によるレイアウト指示、プロンプトの隠しレイヤーは、我々が行ったテストでは大きさ、台上への収まり、端点の姿勢を制御しなかった。合成した開始画像 — 製品自身の切り抜きを、ユーザーが設定したパラメーターで写真のような陰影を付けたターンテーブルに載せたもの — は、我々が観察した陰影付きの円盤のすべての例で、Kling 4 によって製品と台のレイアウトが目視でおおよそ従われた。合成した背景は本番の4クリップ中3クリップで保持されたため、レイアウト追従はフレーム全体の追従ではない。この4クリップでは、サンプルしたフレームでどの部分も縁を越えるのは確認されず、報告された端点の差は小さかった。静止は、ブラウザでの処理が成功した場合、生成後に決定的に付加される。システムが制御するのは入力フレームと、製品間でのターンテーブル上の配置の一貫性である。製品間の比率はユーザーに、フレーム0以降のすべてはモデルに委ねられる。後の2クリップは、それによって何が未解決のまま残るかを示した:フレーム0には従ったが、その後カメラが寄っていき、台がフレームから外れた(ベッドと、自動の終了画像がオペレーターのページに届く前に開始画像のみで作られたと推定されるアームチェア。これは推定であり、記録ではない)。いずれの場合も、同じ合成したフレームを終了画像としても用いたテイクはドリフトしなかった。介入の効果とばらつきの原因は不明のままである。その後、工学的な判断として、終了画像は「自動」と360°で既定とされた。これはクリップの両端を合成したフレームで条件付けるものであり、正面への早い到達や一周を含め、その間の動きはモデルに委ねられる。スタジオグレーの背景では、再生成の6クリップすべてでグレーのスタジオがオペレーターにより報告され、本報告ではダウンロードしたファイルと結び付いた5クリップで確認され、測定した点では合わせ込んだ参照に近かった。このセットは、以前の4クリップ中3とは別に報告している。再生成クリップは顧客の手元にあり、評価は保留中である。観察された挙動が率として、製品や形式をまたいで、より単純なベースラインに対しても成り立つかどうかは、計画中の評価の対象である。

参考文献

  1. [1]A. Blattmann, T. Dockhorn, S. Kulal, D. Mendelevitch, et al. "Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets." arXiv:2311.15127, 2023. https://arxiv.org/abs/2311.15127 (read 2026-11-13)
  2. [2]J. Xing, M. Xia, Y. Zhang, H. Chen, W. Yu, et al. "DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors." arXiv:2310.12190, 2023. https://arxiv.org/abs/2310.12190 (read 2026-11-13)
  3. [3]X. Wang, B. Zhou, B. Curless, et al. "Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation." ICLR 2025; arXiv:2408.15239. https://arxiv.org/abs/2408.15239 (read 2026-11-13)
  4. [4]X. Bi, J. Yuan, B. Liu, et al. "Mobius: Text to Seamless Looping Video Generation via Latent Shift." arXiv:2502.20307, 2025. https://arxiv.org/abs/2502.20307 (read 2026-11-13)
  5. [5]A. Mahapatra, L. Mai, C. Ham, F. Liu. "DreamLoop: Controllable Cinemagraph Generation from a Single Photograph." arXiv:2601.02646, 2026. https://arxiv.org/abs/2601.02646 (read 2026-11-13)
  6. [6]R. Liu, R. Wu, B. Van Hoorick, et al. "Zero-1-to-3: Zero-shot One Image to 3D Object." arXiv:2303.11328, 2023. https://arxiv.org/abs/2303.11328 (read 2026-11-13)
  7. [7]R. Shi, H. Chen, Z. Zhang, et al. "Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model." arXiv:2310.15110, 2023. https://arxiv.org/abs/2310.15110 (read 2026-11-13)
  8. [8]V. Voleti, C.-H. Yao, M. Boss, A. Letts, et al. "SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion." arXiv:2403.12008, 2024. https://arxiv.org/abs/2403.12008 (read 2026-11-13); model card https://huggingface.co/stabilityai/sv3d (reviewed 2026-11-11)
  9. [9]Z. Song, X. Gong, B. Liu, Z. Zhao. "MV-S2V: Multi-View Subject-Consistent Video Generation." arXiv:2601.17756, 2026. https://arxiv.org/abs/2601.17756 (read 2026-11-13); code https://github.com/Szy-Young/MV-S2V (reviewed 2026-11-11)
  10. [10]J. Ahn, G. Kim, K. Kim, et al. "OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images." arXiv:2610.35684, 2026. https://arxiv.org/abs/2610.35684 (read 2026-11-13)
  11. [11]H. He, Y. Xu, Y. Guo, et al. "CameraCtrl: Enabling Camera Control for Text-to-Video Generation." arXiv:2404.02101, 2024. https://arxiv.org/abs/2404.02101 (read 2026-11-13)
  12. [12]Z. Wang, Z. Yuan, X. Wang, T. Chen, M. Xia, et al. "MotionCtrl: A Unified and Flexible Motion Controller for Video Generation." SIGGRAPH 2024; arXiv:2312.03641. https://arxiv.org/abs/2312.03641 (read 2026-11-13)
  13. [13]C. Hou, Z. Chen. "Training-free Camera Control for Video Generation" (CamTrol). arXiv:2406.10126, 2024. https://arxiv.org/abs/2406.10126 (abstract read 2026-11-13)
  14. [14]W. Yu, J. Xing, L. Yuan, W. Hu, et al. "ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis." arXiv:2409.02048, 2024. https://arxiv.org/abs/2409.02048 (abstract read 2026-11-13)
  15. [15]W. Feng, T. Qi, J. Liu, M. Sun, et al. "I2VControl: Disentangled and Unified Video Motion Synthesis Control." ICCV 2025; arXiv:2411.17765. https://wanquanf.github.io/I2VControl (project page read 2026-11-13)
  16. [16]Z. Jiang, Z. Han, C. Mao, J. Zhang, et al. "VACE: All-in-One Video Creation and Editing." arXiv:2503.07598, 2025. https://arxiv.org/abs/2503.07598 (abstract read 2026-11-13); code https://github.com/ali-vilab/VACE (reviewed 2026-11-11)
  17. [17]B. Kerbl, G. Kopanas, T. Leimkühler, G. Drettakis. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Transactions on Graphics 42(4), 2023; arXiv:2308.04079. https://arxiv.org/abs/2308.04079 (read 2026-11-13)
  18. [18]Z. Huang, Y. He, J. Yu, F. Zhang, et al. "VBench: Comprehensive Benchmark Suite for Video Generative Models." arXiv:2311.17982, 2023. https://arxiv.org/abs/2311.17982 (abstract read 2026-11-13)
  19. [19]fal.ai, Kling 4 reference-to-video API and llms.txt. https://fal.ai/models/kling/v4/reference-to-video/api and https://fal.ai/models/kling/v4/reference-to-video/llms.txt (read 2026-11-13)
  20. [20]Kling AI, "Kling 4 model user guide." https://kling.ai/quickstart/kling-4-model-user-guide (read 2026-11-13, first 100,000 characters)
  21. [21]fal.ai, Bria background removal (RMBG 2.0). https://fal.ai/models/fal-ai/bria/background/remove (read 2026-11-13)
  22. [22]Photoroom Help, "How to use Product Animator." https://help.photoroom.com/en/articles/16013315-how-to-use-product-animator (read 2026-11-13)
  23. [23]Photoroom Help, "Troubleshooting Product Animator videos." https://help.photoroom.com/en/articles/17704481-troubleshooting-product-animator-videos (read 2026-11-13)
  24. [24]Higgsfield, "Best way to create a cinematic 360-degree orbit shot with AI." https://geo.higgsfield.ai/blog/best-way-create-cinematic-360-degree-orbit-shot-ai (read 2026-11-13)
  25. [25]Cylindo blog, "3D product visualization for furniture e-commerce." https://blog.cylindo.com/3d-product-visualization-furniture-ecommerce (read 2026-11-13)
  26. [26]PhotoRobot, "Turning Platform." https://www.photorobot.com/robots/turning-platform (read 2026-11-13)
  27. [27]Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli. "Image Quality Assessment: From Error Visibility to Structural Similarity." IEEE Transactions on Image Processing 13(4), 600–612, 2004. https://doi.org/10.1109/TIP.2003.819861

付録A. 組み立てられたプロンプト(v9、Kling 4、カスタム構図、回転「自動」、時計回り)

{…} は設定から埋められる。Scene行にはユーザーの言葉が入る(既定ではテンプレートの文)。

Scene: {name}, matching the reference appearance and proportions, is on a circular white studio turntable against a light grey seamless background, under soft even studio light, with the entire product in sharp focus.
Layout: Use these layout settings throughout: the turntable's full projected horizontal width is {plate}% of frame width. Its top-surface centre is {position}% of frame height down from the top edge. It is a low, flat, solid disc of uniform vertical thickness, {thickness}% of its physical diameter, with a plain white top and nothing rising from it except the product's own legs. The product's farthest point horizontally from the disc's centre is {size}% of the disc's radius. At 0°, align the midpoints of the product's full frame-left/frame-right and camera-near/camera-far spans with the disc's centre.
Rotation: Frame 1 shows the product at exactly 0°, the first reference orientation, front facing the camera, before any rotation. Product and disc spin in place together as one rigid body about the disc's centre. During the first quarter-turn, the frame-right half moves toward the camera and the frame-left half moves away. Keep the same direction throughout; never reverse. Each quarter of the clip covers 0° to 90°, 90° to 180° (full rear view), 180° to 270°, then 270° to 360°, respectively. At exactly 360° in the final frame, the product exactly matches frame 1 in pose, position, size and shape.
Camera: One uninterrupted shot; camera position, aim, focal length, focus, aperture and crop stay constant.
Motion: Frame 1 is already turning at full speed: constant angular speed from first to final frame, with no ease-in at the start and no ease-out at the end; never stop, accelerate or slow down.
Product: The product is rigid: no stretching, bending, morphing, melting, or parts appearing or disappearing. Shape, dimensions, parts, materials, colours and disc-relative pose stay unchanged. The disc stays level, flat and in place.

「The video is silent.」は、音声オフの場合にのみProduct行に付加される。270°とスイングの回転の文はここには載せていない。Camera行とMotion行、およびProduct行の既定文は、ユーザーの言葉が話題のキーワードパターンに一致すると外され、音声オフの場合は無音の文が残る(4.6節)。モデルの長さの上限を超える場合にも行が外され、Layoutは最後に外される。サーバー側のプロンプト層が、本番で実際に送られた回転と動きの文を変えたかどうかは記録されていない(3.1節)。

付録B. 評価したクリップの設定

本番クリップ(Kling 4、1080p、1:1、音声オン、明るい背景):

製品長さ大きさフレーム内のターンテーブル厚さ上端からの中心後の静止
アームチェア(後の記録から特定。7.3節)10 s60%80%4%58%2 s
コーナーソファ10 s90%80%4%70%2 s
ソファ(反時計回りを要求)8 s80%80%10%50%1 s
プフ9 s51%80%5%60%3 s

撮り直しクリップ(7.6節):全製品でKling 4 reference-to-video、1080p、1:1、10 s + 2 sの静止、ターンテーブル80%、厚さ4%、中心58%、スタジオグレー。納品:合成した開始フレームを終了画像にも用いた2つ目のベッドモデル、アームチェア、ソファ、コーナーソファ、プーフ(図26はアームチェア以外のすべてを示す)。納品せず、公開リンクもないもの:開始画像のみのベッドのクリップ。実際に使った製品ごとの大きさの値は記録されていない(計画上の値はアームチェア60、コーナーソファ90、ソファ80、プーフ51、ベッド90)。

ベースラインクリップ(7.2節):Kling 4、1080p、1:1、10 s、回転「自動」、合成した開始フレームなし、静止なし:アームチェア、ソファ、プーフ、コーナーソファ(図19)。

確定レシピとともに記録された推奨:すべての製品で中心の高さを1つの値にそろえ(55〜60%。背の高い製品や大きさ ≥ 70%の場合は58〜62%)、製品ごとに変えるのは大きさのみとする。

ローカルのテイク、アンカー実験のクリップ、4視点参照のクリップ、数値のLayoutのクリップには公開リンクがない。

著者による注記

再現用パッケージ(送信したとおりのクリップごとのリクエスト、合成した画像と参照画像、生の出力と静止付きの出力、個々のスコアと測定コマンド)を計画しているが、まだ公開していない。

例となる動画は、顧客が公開を承認した時点でリンクする。

研究