Stable Diffusion

Stable Diffusionは、主にテキスト記述に基づく画像生成に使用できる深層学習モデルです。

また、非常に動きの速い分野であり、このページの情報は、これを読んだ時点で古くなっている可能性があります。

実験的な機能として、Visual Compositorは、以下のような機能をサポートしています。 Stable Diffusion Web UI with Control Net（1モジュール）。 初期設定を行った後、VisualCompositorでは Stable Diffusion Txt2Img Node と Stable Diffusion Img2Img ノードでStable Diffusionを利用できます。

初期設定

  1. まず、ドキュメントで指定されている要件を満たすハードウェアであることを確認してください。 Stable Diffusion Web UI
  2. Stable Diffusion Web UI を git clone してローカルに取得する。 または、Releasesページから直接最新版をダウンロードしてください。
  3. APIコールを有効にするために、実行スクリプトを修正します。 例えばWindowsの場合、webui-user.batを修正し、COMMANDLINE_ARGSを含む行を以下のように編集します。
set COMMANDLINE_ARGS=--api --api-log
  1. 実行スクリプト（Windowsではwebui-user.bat）を実行する。
  2. Stable Diffusion Web UI が起動していることを、http://localhost:7860/ などで確認します。
  3. オプションとして、以下の手順でControlNetをインストールしてください。
    1. Web UIで"Extensions"タブを開きます。
    2. "Install from URL" sub-tabを開きます。
    3. "URL for extension's git repository "フィールドにhttps://github.com/Mikubill/sd-webui-controlnetと入力します。
    4. "Install" ボタンを押します。
    5. "Installed" sub-tabを開きます。
    6. sd-webui-controlnetの項目がチェックされていることを確認します。
    7. "Apply and restart UI"を押します。

VisualCompositor only supports ControlNet with sdapiv12img compatible API starting from version 0.29.2-preview.

Stable Diffusion インテグレーション

初期設定を行った後、Visual Compositorの設定に進みます。 以下の手順でStable Diffusionを使用することができます。

  1. Stable Diffusion Web UI が起動していることを、http://localhost:7860/ などで確認します。

  2. VisualCompositor コンポーネントのインスペクタに表示して、Stable Diffusion Settingsフィールドの横にあるNewボタンをクリックすると、Stable Diffusion Settingsのアセットが作成されます。

  3. 新しい Stable Diffusion Settings アセットをクリックして、インスペクタで開きます。

  4. 以下のプロパティが初期化されていることを確認します

    1. SD Models
    2. Samplers
    3. Control NetModels （Control Net拡張がWeb UIに設定されている場合のみ）。

VisualCompositorがStable Diffusion Web UIに接続できる場合、上記のプロパティが が自動的に充填されます。 そうでない場合は、設定エラーが発生しています。

  1. おめでとうございます！これでVisual CompositorでStable Diffusionノードを使用できるようになりました。

ControlNet Post API

バージョン 0.29.2-preview 以降の VisualCompositor は sdapiv12img 互換 API の ControlNet のみをサポートしています、 Stable Diffusion Settings アセットの以下のフィールドが正しく設定されていることを確認する必要があります。

Fields Correct Values
Post Control Net Txt 2 Img API /sdapi/v1/txt2img
Post Control Net Img 2 Img API /sdapi/v1/img2img

ノードのデフォルトプロパティ値

Stable Diffusionノードの新規作成時に、Basic Parameters と Control Net Parameters の項目を変更することで、デフォルトのプロパティ値を設定することができます。

Stable Diffusion Web UIをUnityに同期させる

Stable Diffusion Settings asset インスペクタの下部にあるボタンの機能は以下の通りです。

ボタン 機能
Update SD Models Visual Compositorに登録されているStable DiffusionモデルとStable Diffusion Web UIに登録されているモデルをリフレッシュします。これはモデルの追加や削除を行った後に便利です。
Update Samplers Visual Compositorに登録されているサンプラーとStable Diffusion Web UIに登録されているサンプラーをリフレッシュします。
Update Control Net Models Visual Compositorに登録されている Control Net model をStable Diffusion Web UIに登録されているものに更新します。Control Net model の追加や削除をした後に便利です。
Get Active Model 現在アクティブなStable Diffusionモデルを Console Window に出力します。