Stable Diffusionのimg2img(画像から画像)をソフトから簡単に実行 [NMKD Stable Diffusion GUI]

画像生成AI「Stable Diffusion」は入力したテキストから画像を生成するだけでなく、画像と説明テキストを入力すればそこから思い通りの画像を生成できる img2img も利用できます。

Stable Diffusionのimg2imgで使うために適当にMSペイントで描いた山と川の絵

例えばMSペイントで描いたこんな適当な落書きにプロンプトを付けて img2img すれば…

 

MSペイントで描いた適当な山と川の落書きをStable Diffusionのimg2imgを複数回使い、写真風に変換

落書きから写真を生成できます。

この img2img を自分のPC上で、複雑なコマンド操作なしで利用できるソフトとして NMKD Stable Diffusion GUI があり、現在は難しいコマンド入力無しでimg2imgが使えるようになっています。

※ ソフト NMKD Stable Diffusion GUI のインストール方法や使い方は以下ページにまとめたので先にご覧ください

StableDiffusionをインストール

入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]

(もちろんimg2imgだけでなく、普通のtxt2img(テキストから画像)もコマンド操作無しで本ソフトから簡単に実行できます。ソフト開発者さんに大感謝!)

以下ソフトがインストール済みの状態で説明を記載します。

 

img2img の方法

まず、元の絵(画像)を512×512のサイズで用意します。

※とりあえず試してみたいけど元の画像を用意するのが面倒という方は、以下のテキトー画像をご自由にお使いください。

適当にMSペイントで描いた山と川の絵

CC0
Pajoca (パジョカ) はこの作品の全ての著作権および関連する権利をCC0により放棄しています。

次に NMKD Stable Diffusion GUI の Prompt 入力ボックスの隣にある、「Load Image」ボタンをクリックし、用意した画像を読み込ませます。

NMKD Stable Diffusion GUIでimg2imgを使う方法:画像の読み込み

 

画像が正常に読み込まれると、Promptのところに読み込んたファイル名が表示されます。
(画像を変えたい場合は「Clear Image」ボタンを押してから改めて画像を読み込んでください)

NMKD Stable Diffusion GUIでimg2imgを使う方法:読み込んだ画像がセットされた

 

あとはPromptに画像の説明文(画像に写っているものや、どのようなスタイルに変えたいか)を英語で入力し、下の Generate! を入力すれば画像の生成が始まります。

※先ほどのテキトー風景落書きに対して付けたプロンプト (クリックで表示)

a beautiful realistic photo of landscape, green mountains in the background, a river in the center, blue sky and some clouds, canon eos 5d mark iv

※プロンプトもテキトーです。もっと短く単語の羅列にしても大丈夫なのでまずは適当に入力してみてください。(photo of beautiful mountain and river でもまずはok)

(呪文のコツは検索するといろいろ出てくると思います…!)

 

数十秒から数分待つと、画像が生成されます。

MSペイントで描いた適当な山と川の落書きからStable Diffusionのimg2imgで風景画を生成

テキトーすぎる落書きが風景画に変わりました! (※カメラ名をプロンプトに入れると画像のように一部ピンボケ風の領域が現れやすいので注意)

これが基本的なimg2imgの流れです。ただし設定を色々と変えないと思った通りの画像が出てくる割合が相当低くなるので、次に各設定項目について記載します。

落書きを風景画ではなく写真に変換したい場合はもうひと工夫必要なので、以下の設定項目とその次の項をお読みください。

 

img2img の各設定項目

NMKD Stable Diffusion GUIでimg2imgにおける設定項目

主要各項目の要点 (ざっくり)

  • Init Image Strength (Influence):元の画像をどれほど維持するか (大きいほど元の画像に近い出力になる)
  • Amount Of Images To Generate:生成したい画像の枚数
  • Detail (Steps):画像生成に費やすステップ数。多いほど結果が良くなりやすいが時間がかかる
  • Creativeness (Guidance Scale):大きくするほどpromptで指示したテキストをより正確に表す画像が得られる。
    ※低いほどpromptに関係ない要素が含まれやすくなるが、その分「クリエイティブ」な画像になる
  • Resolution (Width x Height):生成したい画像のサイズ (幅×高さ)。大きくしすぎるとVRAM不足で画像が生成されないことも。

各設定項目のより詳しい説明や推奨値については以下のページをご参照ください。

StableDiffusionの設定値

入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]

 

Init Image Strength (Influence) について

img2img 独自の設定項目です。

これが大きいほど、与えた画像の影響を強く受けた画像が生成します。(大きすぎると与えた画像とほぼ変わらない出力になります)

小さければ元の絵からアレンジされた(元の絵と離れた)ものになるので、テキトーな落書きを良さげに化かすには小さい値のほうがおすすめです。(0.150や0.200など)

逆に与えた画像を少し Stable Diffusion で修正したいだけの場合は、大きな値に設定しておかないと大胆に変更されてしまいます。

0.025~1.000 までの範囲で調節できます。

 

落書きを写真に変換したい!

プロンプトに photo やカメラ名を入れていても、適当な落書きから生成される画像の多くは写真ではなく絵になってしまいます。

これを写真に近づけていくには、img2img で生成させた画像をもう一度 img2img に入力して再度画像を生成させるのが一番簡単です。

1回目に生成させた画像の中で良さげな絵になったものを読み込ませます。

ちなみに、ソフト画面に表示されている画像を右クリックして「Use as Init Image」を選べば img2img の入力にすぐセットできるので便利です。

NMKD Stable Diffusion GUIで表示されている画像を右クリックした際に表示されるメニュー

 

画像セット時に以下のメッセージ (この画像を初期化画像として読み込みたいですか) と表示されたら「Yes」を押します。

 

設定パラメータを調整後に再び画像を生成させた結果、ちゃんと写真に近づいた画像が出力されました。

落書きにStable Diffusionのimg2imgを2回行い、写真風画像を生成

必要に応じてプロンプトや設定を修正したり、更にもう一度 img2img したりしていい感じの写真を作ってみてください。

プロンプトの工夫

単に photo と入れるだけでなく、カメラ名や解像度をプロンプト文字列に加えると生成される画像の写真的クオリティがUPすることがあります。

例: canon eos 5d mark iv

こちらでそのように工夫されたプロンプトを見かけたので使ってみたら、(体感では)良写真生成率が上がりました。

レンズの焦点距離をプロンプトに指定してピンボケ具合を調整するなんてテクニックもあるみたいです。

 


Stable Diffusion さん、使い方次第で夢が広がりそうですね。

MSペイントで描いた適当な山と川の落書き(左)と、それをStable Diffusionのimg2imgに複数回通し、写真風に変換したもの(右)

(↑左の落書きに3回 img2img を適用)

 

※肝心な Stable Diffusion の理論部分を何一つ理解していない状態で使用しているので、上記の説明には不正確&曖昧な部分が多々含まれていると思います。(特に設定パラメータに関して)

正確な説明ができずすみません…!

 

画像の一部分だけを Stable Diffusion で変更したい!

NMKD Stable Diffusion GUI のバージョン 1.4.0 から、画像の一部領域だけを指定してそこだけ描き変えられる機能「Masked Inpainting」が追加されました。

詳しい手順は以下のページをご参照ください。

マスク機能で一部だけ描き変え

画像生成AIの「Stable Diffusion」をコマンド操作不要で簡単に使えるソフト「NMKD Stable Diffusion GUI」が 2022/09/20 に大型アップデートしました! 現在の最新版がバージョン 1.4.0[…]

パソコン相談も受付中(*・ᴗ・*) よろしければフォローお願いします(懇願)