画像生成AI「Stable Diffusion」は入力したテキストから画像を生成するだけでなく、画像と説明テキストを入力すればそこから思い通りの画像を生成できる img2img も利用できます。
例えばMSペイントで描いたこんな適当な落書きにプロンプトを付けて img2img すれば…
落書きから写真を生成できます。
この img2img を自分のPC上で、複雑なコマンド操作なしで利用できるソフトとして NMKD Stable Diffusion GUI があり、現在は難しいコマンド入力無しでimg2imgが使えるようになっています。
※ ソフト NMKD Stable Diffusion GUI のインストール方法や使い方は以下ページにまとめたので先にご覧ください。
入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]
(もちろんimg2imgだけでなく、普通のtxt2img(テキストから画像)もコマンド操作無しで本ソフトから簡単に実行できます。ソフト開発者さんに大感謝！)
以下ソフトがインストール済みの状態で説明を記載します。
2023/03/29追記：ソフトのバージョン更新により本ページの情報が一部古くなっていたので、修正しました。
img2img の方法
まず、元の絵(画像)を用意します。(512×512サイズが推奨)
※とりあえず試してみたいけど元の画像を用意するのが面倒という方は、以下のテキトー画像をご自由にお使いください。
Pajoca (パジョカ)
はこの作品の全ての著作権および関連する権利をCC0により放棄しています。
次に NMKD Stable Diffusion GUI の Prompt 入力ボックスの下にある、「Load Image(s)」ボタンをクリックし、用意した画像を読み込ませます。
なお、クリップボードにコピーした画像を Ctrl + V キーで貼り付けて読み込ませることもできます。(便利。)
画像読み込み時に次のようなダイアログボックスが現れたら、選択オプションが Load as Initialization Image「初期画像として読み込む」になっていることを確認して OK ボタンを押します。
画像が正常に読み込まれると、ボタンの隣に読み込んたファイル名が表示されます。
(画像を変えたい場合は「Clear Image」ボタンを押してから改めて画像を読み込んでください)
なお表示されているファイル名のところに、Shift キー を押しながらマウスカーソルをホバーすれば今読み込んだ画像をプレビューできます。
あとは Prompt に画像の説明文 (画像に写っているものや、どのようなスタイルに変えたいか) を英語で入力し、下の Generate! ボタンを押せば画像の生成が始まります。
数秒～数十秒待つと、画像が生成されます。
テキトーすぎる落書きが風景画に変わりました！
(※カメラ名をプロンプトに入れると画像のように一部ピンボケ風の領域が現れやすいので注意)
これが基本的なimg2imgの流れです。ただし設定を色々と変えないと思った通りの画像が出てくる割合が相当低くなるので、次に各設定項目について記載します。
落書きを風景画ではなく写真に変換したい場合はもうひと工夫必要なので、以下の設定項目とその次の項をお読みください。
img2img の各設定項目
主要各項目の要点 (ざっくり)
- Initializaion Image Strength (Influence)：元の画像をどれほど維持するか (大きいほど元の画像に近い出力になる)
- Inpainting：画像の一部分だけを描き変える
- Amount Of Images To Generate：生成したい画像の枚数
- Generation Steps：画像生成に費やすステップ数。増やすと画像が変化するが所要時間も増える。
- Prompt Guidance (CFG Scale)：大きくするほど Prompt で指示したテキストに忠実な画像が得られる。
※低いほど Prompt に関係ない要素が含まれやすくなるが、その分創造性に富む画像になる - Seed：シード値。値が同じなら同一設定で同一画像が出力される。空欄ならランダム。
- Resolution (Width x Height)：生成したい画像のサイズ (幅×高さ)。大きくしすぎるとVRAM不足で画像が生成されないことも。
各設定項目のより詳しい説明や推奨値については以下のページをご参照ください。
画像生成 AI「Stable Diffusion」をコマンド不要で簡単操作で使えるソフト NMKD Stable Diffusion GUI について、ソフト画面と機能・仕様を一覧で説明しています。 こちらのページは機能や設定を一通り[…]
【重要】Initializaion Image Strength (Influence) について
img2img 独自の設定項目です。
img2img 用に読み込んだ画像をどれほど維持しつつ画像生成するかという設定です。
値が 1 に近いほど、読み込んだ元の画像に近い出力になります。
逆に値が小さいと、元の画像と大きく異なる画像が生成する傾向が強まりますが、その分プロンプトがより反映されるようになります。
小さければ元の絵からアレンジされた(元の絵と離れた)ものになるので、テキトーな落書きを良さげに化かすには小さい値のほうがおすすめです。(0.1～0.2 など)
逆に与えた画像を少し Stable Diffusion で修正したいだけの場合は、大きな値に設定しておかないと大胆に変更されてしまいます。
0.1～0.9 までの範囲で調節できます。
→ 0.15 がおすすめ
落書きを写真に変換したい！
プロンプトに photo やカメラ名を入れていても、適当な落書きから生成される画像の多くは写真ではなく絵になってしまいます。
これを写真に近づけていくには、img2img で生成させた画像をもう一度 img2img に入力して再度画像を生成させるのが一番簡単です。
1回目に生成させた画像の中で良さげな絵になったものを読み込ませます。
ちなみに、ソフト画面に表示されている画像を右クリックして「Use as Initialization Image」を選べば img2img の入力にすぐセットできるので便利です。
設定パラメータを調整後に再び画像を生成させた結果、ちゃんと写真に近づいた画像が出力されました。
必要に応じてプロンプトや設定を修正したり、更にもう一度 img2img したりしていい感じの写真を作ってみてください。
プロンプトの工夫
今回は
というプロンプトで風景画像を生成しました。
単に「photo of ○○」と入れるだけでなく、カメラ名や解像度をプロンプト文字列に加えると生成される画像の写真的クオリティがUPすることがあります。
例： canon eos 5d mark iv
レンズの焦点距離をプロンプトに指定してピンボケ具合を調整するなんてテクニックもあるみたいです。
Stable Diffusion さん、使い方次第で夢が広がりそうですね。
(↑左の落書きに3回 img2img を適用)
※肝心な Stable Diffusion の理論部分を何一つ理解していない状態で使用しているので、上記の説明には不正確＆曖昧な部分が多々含まれていると思います。(特に設定パラメータに関して)
正確な説明ができずすみません…!
画像を指示した通りに自由に編集したい！
InstructPix2Pix
どのように画像を変えたいかテキストで指示するだけで、画像を自由自在に編集できる InstructPix2Pix という機能があります。
写真の中に無い物を付け足す・不要な物を除去する・写っている物を別の物に置き換える・画風を変える・被写体はそのままに時間 (朝・昼・夕・夜) や場所 (東京・パリ・宇宙…) だけ変更するといったことができます。
詳しい手順は以下のページをご参照ください。
画像生成AIの「Stable Diffusion」をパソコンから簡単に使えるソフト「NMKD Stable Diffusion GUI」 のバージョン1.9台の新機能・変更点です。 含まれるバージョン 1.9.0 / 1.9.1 なお[…]
画像の一部分だけを Stable Diffusion で変更したい！
Masked Inpainting
画像の一部領域だけを指定してそこだけ描き変えられる Masked Inpainting という機能があります。
詳しい手順は以下のページをご参照ください。
画像生成AIの「Stable Diffusion」をコマンド操作不要で簡単に使えるソフト「NMKD Stable Diffusion GUI」が 2022/09/20 に大型アップデートしました！ 現在の最新版がバージョン 1.4.0[…]
Inpainting 専用モデル
Masked Inpainting の精度を大幅に向上させるためにインペイント専用モデルが利用できます。
例えば画像中で男の子が写っている部分だけを塗って Masked Inpainting すると、男の子を自然に消したり猫に変えたりできます。
詳しい手順は以下。
画像生成AIの「Stable Diffusion」をコマンド操作不要で簡単に使えるソフト「NMKD Stable Diffusion GUI」 のバージョン1.8台の新機能・変更点です。 含まれるバージョン 1.8.0 / 1.8.1 […]
img2img でキャラの絵柄や表情を変更
img2img はもちろん風景写真に限らず、落書きのイラスト化にも使えます。
それ以外の用途として、既にある程度形ができているキャラ絵の表情や絵柄を変えたい時や、AI生成で足の本数が余計に多い動物キャラができてしまった場合の手直しにも使えます。
左の絵を img2img (2回) で右の絵に。変だった足の本数が修正でき、キャラの表情や毛並みも変更できました。
※動物キャラの表情修正には、動物キャラ用のモデルファイルを利用しました。
img2img を活用して動物マスコットキャラを作る手順について以下のページに記載したので興味があればぜひ！
画像生成AIの「Stable Diffusion」で人間キャラクターを作成した例はたくさん見かけますが、動物キャラクターは情報が非常に少ないのでこちらに方法をまとめました。 かわいい動物キャラクター・マスコット・ケモノキャラを生成させ[…]
