こんにちは，shimasan0x00（@shimasan0x00）です．

今回はComfyUIを用いたstable-diffusion-3.5でローカル画像生成する方法について整理したものを共有します．

Upscale, Blurを使用したWorkflowまで対応しています．

結論

ComfyUIのworkflowだけ知りたい方は以下のGitHubに飛んでjsonをダウンロードしてください．

GitHub - Villager-B/my_confyui_workflow: A repository for storing the created ComfyUI workflow.

環境

• GPU
  • NVIDIA GeForce RTX 4070Ti(12GB)
• 使用モデル
  • 基本
    • stable-diffusion-3.5-medium
  • Blur
    • stable-diffusion-3.5-fp8
• ComfyUIの管理
  • StabilityMatrix

ComfyUIとは

AIモデルを使用した画像生成を簡単にしてくれるツールです．
ブラウザ上で操作することで自身の意図に近い画像を生成することができるようになります．

GitHub - comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backe...

昔，Stable Diffusion web UIが有名でしたが現在はこちらが主流だったので構築に採用しました．

モデルや画像生成設定などの構成要素を「ブロック」として扱い，それらをつなげて自身の理想とする処理の流れを組み立てます．

Stable Diffusion web UIより直感的に操作することは難しいですが，細かい調整や自身の理想とする処理の流れ（workflow)にできます．

インストールについて

現在はComfyUIやStable Diffusion web UI含めて様々なツールが存在しています．
それらのツールをまとめて管理するStabilityMatrixという管理ツールがあり，今回私はStabilityMatrixを使用してComfyUIをインストールしています．

GitHub - LykosAI/StabilityMatrix: Multi-Platform Package Manager for Stable Diffusion

拡張機能としてComfyUI-Managerは必ずインストールしてください．
あとの不足分はよしなに解決してくれると思います．

おすすめサイト

• SD3.0の汚名返上なるか？！画像生成AI「Stable Diffusion 3.5」を試してみた
  • 超丁寧にステップバイステップでStable Diffusion 3.5のインストールとサンプルworkflowを動かすところまで紹介してくれています．

SD3.0の汚名返上なるか？！画像生成AI「Stable Diffusion 3.5」を試してみた (1/5)

• 【Stable-Diffusion】🔰どこよりも分かる🌱Comfy-UIの使い方＜STEP1＞
  • YouTube動画
    • これで私はComfyUIについて学びました．最低でもSTEP1は見たほうがよいです．
    • SD3.5ではなく，SDXLモデルを使用するかCIVITAIでモデルを用意してから視聴するのがおすすめです．

• Stable Diffusionまとめ！プロンプトや使い方が丸わかり
  • プロンプトやその他SDで困ったことがあれば一旦こちらを見るでもいいかもしれません．

Stable Diffusionまとめ！プロンプトや使い方が丸わかり | EdgeHUB

他の人が作成したworkflowを見るときは以下から探してみるのがオススメです．

Comfy Workflows

ComfyUI Workflows - Developer Community | OpenArt

参考workflow

• stable-diffusion-3.5-medium
  • SD3.5M_example_workflow.json
  • SD3.5M_SLG_example_workflow.json

stabilityai/stable-diffusion-3.5-medium at main

• ComfyUI

SD3 Examples

New ControlNet Models for Stable Diffusion 3.5 Large! | Notion

インストールするファイル

• モデルファイル
  • stable-diffusion-3.5-fp8
  • stable-diffusion-3.5-medium
• Clipファイル
  • clip_g.safetensors
  • clip_l.safetensors
  • t5xxl_fp16.safetensors
• VAEファイル
  • diffusion_pytorch_model.safetensors
    • sd35mという名前に変更
  • diffusion_pytorch_model.safetensors
    • sd35lという名前に変更
• ControlNetファイル
  • sd3.5_large_controlnet_blur.safetensors
• ComfyUI
  • ComfyUI-Managerからアップスケールモデルやカスタムノードをインストール

作成したworkflow

作成したのは以下の2つ

• SD35M-ALL.json
  • BLURもUPSCALEも全部混ぜた全部盛り
• SD35M-BASE.json
  • UPSCALEのみで生成時間も短い
  • 基本はこっちで生成していく

作成したworkflowの左上に入力のグループがあるのでプロンプトを入力・管理しています．

入力のブロックには出力画像の比較もあるので何回か試行しながら好みの画像を作成していくことになります．

ALLの方は時間がとてもかかってしまうのでBASEを常用することをオススメします．

shimasan0x00

Data Engineer

XYouTube

高専→大学編入→大学院→データエンジニア

専攻は計算社会科学，ウェブマイニング
趣味でSNSやVTuberのデータ集めたり分析しながら生活している