SD+Animatediffと撮影背景動画との合成 †
更新日2023-11-08 (水) 09:44:55
作成日:2023年10月23日
SD+Animatediffで作成した人物と撮影した動画の合成の実験をしてみた。
技術不足で、結果は今いちだったが手順をまとめておく。
内容は鳥居の中を歩く人物
Stable Diffusionのパラメータ †
masterpiece, 1girl, best quality, front face , front view only, straight-on, Three-Quarter Length, standing, low angle, serious smile, Fit and flare dress, walking,
EasyNegativeV2, upper body, side view, from side,
- Stable Diffusionのcheckpoint: 05Xxmix9realisticV4005_v10
- サンプリング方法: DDIM
- サンプリングステップ数:28
- アップスケーラー:Latent
- アップスケール倍率:1.8
- Motion module: mm_sd_v15_v2.ckpt
- フレーム数:48 ← 96までは前を向いて歩いた。128は横を向くシーンがあった。
- フレームレート:8
- Context batch:24
- Closed loop :ON
- overlap:0
背景がグリーンの動画を作成する手順 †
クロマ キー合成を利用するので、背景をグリーンにする。そのため、出力したPNGファイルを以下のコマンドで一括に変換する。
�‥�当な作業フォルを作成し、その中に作成されたPNGファイルをinputフォルダに入れる。出力用フォルダoutputを作成する
��以下のコマンドで背景を緑に変換
transparent-background --source input --type green --dest output
�Ｎ佛愀覆硫菫�を「Flowframes」でMP4に変換する
- Output FPS and Speed: 8 X6 =48FPS
�Ｎ佛愀覆硫菫�を「Honeycam」で１コマ0.12秒でアニメGIFを作成する~
(作成は8FPになっているが、指定ができないので)
�ぅ▲縫�GIFを「Flowframes」で8.33x6 = 49.98FPSでMP4に変換する
作成動画 †
Closed loop †
- N:
完全にclosed loopを適用しない。フレームの数がContext batch sizeより小さく、0でない場合にのみ利用可能。
- R-P:
拡張機能はclosed loopのコンテキスト数を減らすように試みます。
しかし、Prompt Travelはclosed loopに補間されない。
- R+P:
拡張機能はclosed loopのコンテキスト数を減少させる試みをします。
この選択では、Prompt Travelの移動はclosed loopとして補間されます。
- A:
「A」を選択すると、拡張機能は積極的に最後のフレームを最初のフレームと同じにしようとします。
この「A」の選択をすると、AnimateDiffは元のフレームのリストに逆順のフレームのリストを追加して、closed loop（クローズドループ）を形成します。これは、フレームの数（Number of frames）がContext batch size以下の場合にのみ効果的です。
さらに、Prompt Travelは、closed loopとして補間されます。
![[PukiWiki]](image/../localimages/Atom.gif "[PukiWiki]")
gif2mp4.png
鳥居.png
Flowframes.png
