画像生成AI「Stable Diffusion」は入力したテキストから画像を生成するだけでなく、画像と説明テキストを入力すればそこから思い通りの画像を生成できる img2img も利用できます。
例えばMSペイントで描いたこんな適当な落書きにプロンプトを付けて img2img すれば…
落書きから写真を生成できます。
この img2img を自分のPC上で、複雑なコマンド操作なしで利用できるソフトとして NMKD Stable Diffusion GUI があり、現在は難しいコマンド入力無しでimg2imgが使えるようになっています。
※ ソフト NMKD Stable Diffusion GUI のインストール方法や使い方は以下ページにまとめたので先にご覧ください。
入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]
(もちろんimg2imgだけでなく、普通のtxt2img(テキストから画像)もコマンド操作無しで本ソフトから簡単に実行できます。ソフト開発者さんに大感謝！)
以下ソフトがインストール済みの状態で説明を記載します。
img2img の方法
まず、元の絵(画像)を用意します。(512×512サイズが推奨)
※とりあえず試してみたいけど元の画像を用意するのが面倒という方は、以下のテキトー画像をご自由にお使いください。
Pajoca (パジョカ)
はこの作品の全ての著作権および関連する権利をCC0により放棄しています。
次に NMKD Stable Diffusion GUI の Prompt 入力ボックスの隣にある、「Load Image」ボタンをクリックし、用意した画像を読み込ませます。
画像が正常に読み込まれると、Promptのところに読み込んたファイル名が表示されます。
(画像を変えたい場合は「Clear Image」ボタンを押してから改めて画像を読み込んでください)
あとはPromptに画像の説明文(画像に写っているものや、どのようなスタイルに変えたいか)を英語で入力し、下の Generate! を入力すれば画像の生成が始まります。
数十秒から数分待つと、画像が生成されます。
テキトーすぎる落書きが風景画に変わりました！ (※カメラ名をプロンプトに入れると画像のように一部ピンボケ風の領域が現れやすいので注意)
これが基本的なimg2imgの流れです。ただし設定を色々と変えないと思った通りの画像が出てくる割合が相当低くなるので、次に各設定項目について記載します。
落書きを風景画ではなく写真に変換したい場合はもうひと工夫必要なので、以下の設定項目とその次の項をお読みください。
img2img の各設定項目
主要各項目の要点 (ざっくり)
- Init Image Strength (Influence)：元の画像をどれほど維持するか (大きいほど元の画像に近い出力になる)
- Amount Of Images To Generate：生成したい画像の枚数
- Detail (Steps)：画像生成に費やすステップ数。多いほど結果が良くなりやすいが時間がかかる
- Creativeness (Guidance Scale)：大きくするほどpromptで指示したテキストをより正確に表す画像が得られる。
※低いほどpromptに関係ない要素が含まれやすくなるが、その分「クリエイティブ」な画像になる - Resolution (Width x Height)：生成したい画像のサイズ (幅×高さ)。大きくしすぎるとVRAM不足で画像が生成されないことも。
各設定項目のより詳しい説明や推奨値については以下のページをご参照ください。
入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]
Init Image Strength (Influence) について
img2img 独自の設定項目です。
これが大きいほど、与えた画像の影響を強く受けた画像が生成します。(大きすぎると与えた画像とほぼ変わらない出力になります)
小さければ元の絵からアレンジされた(元の絵と離れた)ものになるので、テキトーな落書きを良さげに化かすには小さい値のほうがおすすめです。(0.150や0.200など)
逆に与えた画像を少し Stable Diffusion で修正したいだけの場合は、大きな値に設定しておかないと大胆に変更されてしまいます。
0.025～1.000 までの範囲で調節できます。
落書きを写真に変換したい！
プロンプトに photo やカメラ名を入れていても、適当な落書きから生成される画像の多くは写真ではなく絵になってしまいます。
これを写真に近づけていくには、img2img で生成させた画像をもう一度 img2img に入力して再度画像を生成させるのが一番簡単です。
1回目に生成させた画像の中で良さげな絵になったものを読み込ませます。
ちなみに、ソフト画面に表示されている画像を右クリックして「Use as Init Image」を選べば img2img の入力にすぐセットできるので便利です。
画像セット時に以下のメッセージ (この画像を初期化画像として読み込みたいですか) と表示されたら「Yes」を押します。
設定パラメータを調整後に再び画像を生成させた結果、ちゃんと写真に近づいた画像が出力されました。
必要に応じてプロンプトや設定を修正したり、更にもう一度 img2img したりしていい感じの写真を作ってみてください。
プロンプトの工夫
単に photo と入れるだけでなく、カメラ名や解像度をプロンプト文字列に加えると生成される画像の写真的クオリティがUPすることがあります。
例： canon eos 5d mark iv
こちらでそのように工夫されたプロンプトを見かけたので使ってみたら、(体感では)良写真生成率が上がりました。
レンズの焦点距離をプロンプトに指定してピンボケ具合を調整するなんてテクニックもあるみたいです。
Stable Diffusion さん、使い方次第で夢が広がりそうですね。
(↑左の落書きに3回 img2img を適用)
※肝心な Stable Diffusion の理論部分を何一つ理解していない状態で使用しているので、上記の説明には不正確＆曖昧な部分が多々含まれていると思います。(特に設定パラメータに関して)
正確な説明ができずすみません…!
画像の一部分だけを Stable Diffusion で変更したい！
NMKD Stable Diffusion GUI のバージョン 1.4.0 から、画像の一部領域だけを指定してそこだけ描き変えられる機能「Masked Inpainting」が追加されました。
詳しい手順は以下のページをご参照ください。
画像生成AIの「Stable Diffusion」をコマンド操作不要で簡単に使えるソフト「NMKD Stable Diffusion GUI」が 2022/09/20 に大型アップデートしました！ 現在の最新版がバージョン 1.4.0[…]
img2img でキャラの絵柄や表情を変更
img2img はもちろん風景写真に限らず、落書きのイラスト化にも使えます。
それ以外の用途として、既にある程度形ができているキャラ絵の表情や絵柄を変えたい時や、AI生成で足の本数が余計に多い動物キャラができてしまった場合の手直しにも使えます。
左の絵を img2img (2回) で右の絵に。変だった足の本数が修正でき、キャラの表情や毛並みも変更できました。
※動物キャラの表情修正には、動物キャラ用のモデルファイルを利用しました。
img2img を活用して動物マスコットキャラを作る手順について以下のページに記載したので興味があればぜひ！
画像生成AIの「Stable Diffusion」で人間キャラクターを作成した例はたくさん見かけますが、動物キャラクターは情報が非常に少ないのでこちらに方法をまとめました。 かわいい動物キャラクター・マスコット・ケモノキャラを生成させ[…]
