AI/Stable Diffusion Tips2

Stable DiffusionTips2 †

日本語化 †

Beautiful Realistic Asiansモデルの追加 †

BRA5,BRA6を以下からDownload

BRA5 †

• https://civitai.com/models/25494?modelVersionId=63786

BRA6 †

• https://civitai.com/models/25494?modelVersionId=113479

ZIPを解凍して「models\Stable-diffusion\」に入れて再読み込み。

ControlnetのInstall †

• https://github.com/Mikubill/sd-webui-controlnet.git

参考 †

https://koneko3.com/how-to-use-controlnet/

DynamicPromptのインストール †

「Dynamic Prompt」はプロンプトの中に{｜}を使うことで、1つの呪文(プロンプト)を何パターンかに分けて、それぞれを画像生成する

「Stable Diffusion web UI」のアップデート方法 †

参考 †

• https://gigazine.net/news/20220907-automatic1111-stable-diffusion-webui/#3-5

Controlnet　モデル　インストール †

Controlnetをインストールしただけだとモデルが入っていないので、Downloadしてインストールする
14種類をDownloadする

ダウウンロード †

以下のURLにアクセス

• https://huggingface.co/

「controlnet」を検索する

以下のURLにジャンプする

https://huggingface.co/lllyasviel/ControlNet-v1-1

• 「File and versions」のタブを選択する

• 「LPS」の個所を全てDownloadする

stable-diffusion-webui-master\extensions\sd-webui-controlnet\modelsnihaには「.yaml」ファイルが必要なのでDLのこと

• https://huggingface.co/nolanaatama/models/tree/main

DLしたファイルをコピーする †

• モデルコピー先：

• C:\Usr\stable-diffusion-webui-master\extensions\sd-webui-controlnet\models

• モデルを再ロードすると選択できるようになる

動作確認 †

txt2imgでControlnetに適当な画像(プロンプトの内容に合うような画像)をドラッグ&ドロップして以下のようにしてみた

• プロンプト

a businesswoman in the midst of a sales pitch, earnestly engaging and persuading her audience.

• 「ContorlNet」

• Preprocessor：openpose

• Model：openpose

作成サンプル †

メモリ不足対応 †

以下のエラー対応

RuntimeError: Not enough memory, use lower resolution (max approx. 512x512).

• webui-user.batを修正

' Edit by JE2ISM
'set COMMANDLINE_ARGS=
set COMMANDLINE_ARGS=--medvram

参考 †

• https://taziku.co.jp/blog/stable-diffusion-vram

Error †

• 以下のエラー発生

A tensor with all NaNs was produced in Unet. This could be either because there's not enough precision to represent the picture, or because your video card does not support half type. Try setting the "Upcast cross attention layer to float32" option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.

• 対応

webui-user.batに以下を追加

set COMMANDLINE_ARGS=--no-half

• webui-user.bat

' Edit by JE2ISM
'set COMMANDLINE_ARGS=
set COMMANDLINE_ARGS=--medvram --no-half

今回は不要のようだが以下の変更も有効のようだ

• 参考

• https://promptbank.jp/d/nansexception-a-tensor-with-all-nans-was-produced-in-unet-%E3%82%A8%E3%83%A9%E3%83%BC%E3%81%8C%E5%87%BA%E3%82%8B/

メモリ不足対応2 †

• 以下のエラー発生

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 36.00 MiB (GPU 0; 4.00 GiB total capacity; 17.73 GiB already allocated; 0 bytes free; 17.84 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

• webui.bat に追加

@echo off

'Edit by JE2ISM
set PYTORCH_CUDA_ALLOC_CONF=garbage_collection_threshold:0.6, max_split_size_mb:128 ←ここ

if not defined PYTHON (set PYTHON=python)
if not defined VENV_DIR (set "VENV_DIR=%~dp0%venv")

• 参考

• https://www.kageori.com/2022/11/stable-diffusion-web-uiruntimeerror.html