Stability Matrixだけあればいいと思っていたがそんなことはなかった

先月記事を書いた時点ではStability Matrixさえあれば他のUIなんていらないと思ってたんです。

「Inference最強や！」とか思ってたんです。

実際、InferenceでText to Image、Image to Image、Upscale、Image to Videoができます。

ですが、いろいろやってくるとやっぱりバックエンドで動いているComfyUI使っちゃうんですよね。

例えばInferenceでFlux.1もStable Diffusion 3.5も動作させられます。（やや、設定が面倒ですが）

でも遅いんですよね、まぁモデルがでかいんでしょうがないのですが。

ちなみにInferenceでFlux.1を動かすときはこんな感じの設定にします。

InferenceのModel設定箇所

手順は以下です。まず必要なものをダウンロードして然るべき場所に配置しておきます。

モデル
私の好きなCopaxTimeless
https://civitai.com/models/118111?modelVersionId=1273458
Models\Unetに配置
別にこのモデルである必要はないのでFlux.1 DとかFlux.1 Sの好きなモデルを探してみると良いと思います。

VAE
ここからダウンロード
https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors
Models\VAEに配置

Encoder
textencoders配下のファイルをダウンロード
https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main
Models\CLIPに配置
※SD3のものですが使えるはずです。適宜変えてみるのも良いでしょう

なお、上記ディレクトリはポータブルでインストールするとData配下にあります。

歯車アイコンをクリックして、Model  Loaderを表示

1. Model LoaderでUNetを選択
2. ModelでFlux.1のモデルを選択
3. Precisionでfp8_e4m3fnあたりを選択
4. VAEでaeを選択
5. Encoder Typeでfluxを選択
6. Encoder 1でClip lを選択
7. Encoder 2でT5xx系を選択

こんな感じです。ちなみにGGUFっていうのもありまして、その際は1.で選択するのがGGUFになり、3.が不要になる感じです。
なお、GGUFはファイル形式のことで量子化（簡単に言うと軽量化）してあるかはまた別の話のようです。

次にSamplerあたりはこのように設定しておきます。
Use Flux Guidanceはデフォルトでは表示されていないので、Addonsの+をクリックして表示させトグルで有効にします。

Samplerの設定

StepsとかCFG Scaleは適宜調整しますが、低めが安定している感じです。サイズは1024x1024以上でも大丈夫です。

モデルで作成した参考画像にプロンプトも記載されているので取ってきます。
https://civitai.com/images/51162633

※画像ではSteps20のCFG 4にしていますが、サンプルに合わせて設定しなおしました

できました

何枚か作成しましたが、最初はロードに時間がかかって50秒程度、そのあとは30秒程度でした。

Upscalerまで入れないのならまだいいんですが、Upscaler入れると遅くなっちゃうんですよね。

試してみましょう。

アップスケール設定

アップスケールのモデルが存在しない場合はUI上でダウンロードできます。いや、できたはず！

遅いなぁ～、遅いなぁ～、まだかなぁ～(´・ω・｀)

はい、できました。335秒です・・・
1枚ならいいもの大量に作成させてその中から選ぶのにはしんどいですね。まぁ、いいの選んでからアップスケールかければいいんですが・・・

できたやつ

なんでこんなに変わるかというとワークフローの問題なんですね。画像をComfyUIに放り投げるとワークフローが表示されます
※ComfyUIで作った場合、InferenceはバックエンドでComfyUI使っているからできる

確認するとわかるんですが、サンプリング2回やってるから遅いんです。しかも2回目がアップスケール後なんでより遅い。

そんなこと考えていたらすげーやつを発見しました。

https://github.com/chengzeyi/Comfy-WaveSpeed

インストール方法とか細かいことは書く余裕があれば後日書きます。
これ使うと2倍から3倍くらい早くなるんですよ、マジで。ちょっとワークフローを書き換えます。

変わったところらへんだけ

えっと、最初のサンプリングは2倍くらい早くなったんですが、アップスケール後のサンプリングはあまり変わりませんでした・・・　これ画像サイズのせいですね・・・

私の使っているグラボは4070 ti superで16GBあるんですけど、画像サイズがでかいので限界って感じですね。Tiled Diffusionとか使えば早くなると思います。これはあまり試していないので、試したうえでまた記事を書きたいと思います。今日はここまでで・・・