AI/SadtalkerとIP-Adapter

SadtalkerとIP-Adpter †

SadTalker †

口パク動画をStable Diffsionで作成する

インストール †

拡張機能のURLインストールを行う

• URL

• https://github.com/Winfredy/SadTalker

SadTalkerモデルDL †

以下のサイトからすべてをDLする

• https://drive.google.com/drive/folders/1Wd88VDoLhVzYsQ30_qDVluQr_Xm46yHT

• 以下の2つのファイルがダウンロードされる

• sadtalker_checkpoints-20231009T093834Z-001.zip

• sadtalker_checkpoints-20231009T093834Z-002.zip

stable-diffusion-webui\extensions\SadTalkerの下に「checkpoints」フォルダを作成する。
上の2つのファイルを解凍して入れる。

sadtalker_checkpoints-20231009T093834Z-002.zipを解凍してcheckpointsに入れた後、sadtalker_checkpoints-20231009T093834Z-001.zipを解凍して入れるが、同じものがあるので、上書きを聞かれるが、「上書きはしない」

ffmpegのインストール †

以下からffmpegをダウンロードしてして適当な場所に置く。

• https://www.gyan.dev/ffmpeg/builds/ffmpeg-git-full.7z

その後「C:\Usr\ffmpeg\bin」に環境変数のシステムのpathに追加する。

実行 †

• expression scale:

数字を大きくするほど動きが大きくなる

• preprocess:

cropで顔の部分だけを繰り抜く。
fullに設定するともとの画像の大きさで変換する。

• Still Mode:

Still Modeは手の動きを小さくする設定です。fullモードのときだけ適用される。
適用すると口だけが動く動画になり、肩のあたりで切れてしまう問題もなくなる。

• GFPGAN as Face enhancer:

GFPGANという顔修正モデルを使って顔を修正するモード
チェックを入れるとよりきれいな動画になる

face model resolutionを256にして、5秒ほど話し出すのを遅くする(無音を5秒先頭に作成)と会話の初めの部分で顔が止まるのが防げそう

サンプル動画 †

参考 †

• https://note.com/koresugo/n/n25def0fa044a

IP-Adapter †

IPはイメージプロンプトに略で、テキストプロンプトの代わりにイメージを使用することができる。以下の例のように元画像に、メガネをかけさせたりすることができる。

インストール †

ControlNetをアップデートすると利用できる

ControlNetに以下のものが表示する

モデルDL †

以下から、「ip-adapter_sd15_plus.pth」をダウンロードする

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

これを「stable-diffusion-webui\extensions\sd-webui-controlnet\models」 の中に入れる

動作確認 †

メガネをかけさせる †

• プロンプト

1girl,wearing glasses

• ネガティブプロンプト

EasyNegativeV2 , painting,sketches,logo, watermark, text,(worst quality:2), \
(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)), \((gra yscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,\
ugly face, breasts out,nipples, pubic hair,navel,stomach cutout, midriff,pleated skirt

元画像　　　　　　　　　　　　　　　　　　　　　　メガネをかけた画像

参考 †

• https://www.youtube.com/watch?v=tSZzmC0toV4