画像生成AIの「Stable Diffusion」をパソコンから簡単に使えるソフト「NMKD Stable Diffusion GUI」 のバージョン1.9台の新機能・変更点です。
1.9.0 / 1.9.1
なお2023/3/30時点の最新版はバージョン 1.9.1 です。
(更新が大変遅れてしまいすみません。最近、バージョン 1.7.0～1.7.2 および 1.8.0～1.8.1 の新機能説明ページを追加しました)
バージョン 1.9 台では特大機能 InstructPix2Pix が追加されました。
どのように画像を変えたいかテキストで指示するだけで、画像を自由自在に編集できる InstructPix2Pix がコマンド操作不要で簡単に使えます。
本当に楽しい機能です！
Ver. 1.8.1 → Ver 1.9.1 の変更点
※以下要点です。1.9.0 の更新内容を含みます。(公式情報はこちら参照)
※各機能の詳しい説明は「※基本事項」の項の次に記載しています。
※ソフトダウンロード先：NMKD Stable Diffusion GUI - AI Image Generator
新機能の追加
- InstructPix2Pix：テキストの指示で画像を好きなように編集
↑例：「make it night」で昼の写真を夜に、「if it were snowing」で普通の写真を雪景色に、「make him wear sunglasses」で写っている人にサングラスをかけたり…
↑Photoshop のような写真編集が、単に指示テキストを与えるだけで実現 - img2img の入力画像を出力画像の隣に表示して簡単に比較できる「Show」オプションの追加
↑オプション有効時、右クリックメニューの Copy side-by-side comparison image「横並びの比較画像をコピーする」を押すと、表示されている入力/出力画像をクリップボードにコピーできる
利便性改善
- 生成画像のファイル名のタイムスタンプを選択可能に (無し, 日付, 日付と時刻, UNIX時間)
- ソフト画面の Resolution 項目の右端に、生成する画像の縦横比 (Ratio) が表示されるように
- InstructPix2Pix モード時、画像ビューアに解像度情報が表示されるように
- Model Converter (モデル変換機能) で ONNX モデルを出力する際、1 GB のセーフティチェックが行われず変換できるように
- UI (ソフト画面) の改善
不具合修正
重要な問題の修正
- 生成画像のファイル名関連の問題を修正
・ファイル名が長過ぎる際に発生していた問題
・後処理を実行すると、長いパスが原因で失敗することがある問題
・ONNX と InstructPix2Pix がパスにUTFS文字を含む画像を受け付けない問題
公式情報(英語)
ソフト使い方ガイド(公式)：NMKD Stable Diffusion GUI
DreamBooth 訓練ガイド(公式)：DreamBooth Training GUI
ソフト更新履歴(公式)：changelog
※基本事項
初めて NMKD Stable Diffusion GUI を使う方はソフト最新版のインストール方法・基本的な使い方など一通りまとめた以下のページを先にご確認ください。
入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]
画面の各項目や設定画面 (Settings) のマニュアルは以下のページです。
画像生成 AI「Stable Diffusion」をコマンド不要で簡単操作で使えるソフト NMKD Stable Diffusion GUI について、ソフト画面と機能・仕様を一覧で説明しています。 こちらのページは機能や設定を一通り[…]
※ 他バージョンで追加された新機能
他のバージョンの追加機能を確認したい場合は以下のページをご覧ください。(画像クリックで該当ページに移動できます)
NMKD Stable Diffusion GUI 記事一覧
以下、本ページではバージョン1.9.0 / 1.9.1 の新機能に絞って概要や使い方を説明していきます。
※今回、大きな変更点は InstructPix2Pix くらいなので、メインの内容はそれになります。
InstructPix2Pix (基本編)
概要
InstructPix2Pix は、画像をどのように変更したいかテキストで指示するだけで、その画像を好きなように変えられる機能です。
- 写真の中に無い物を付け足す
- 写真に写った不要な物を除去する
- 写っている物を別の物に置き換える
- 写真を好きな画風に変換する
↑写真のイラスト化・ポリゴン化・彫刻化… - 被写体はそのままに時間 (朝・昼・夕・夜) や場所 (東京・パリ・宇宙…) だけ変更
InstructPix2Pix の方法
画像生成モード(実装)の切り替え
InstructPix2Pix を使うには、通常の画像生成時とは異なるモードに切り替える必要があります。
ソフト画面右上の歯車アイコンのボタンをクリックし、Settings 画面を開きます。
Settings 画面の設定項目「Image Generation Implementation」を普通の画像生成時に使う Stable Diffusion (InvokeAI -CUDA - Most Features) から、「InstructPix2Pix (Diffusers - CUDA)」に切り替えて Settings 画面を閉じます。
これでモード切り替えは完了です。
InstructPix2Pix 用のモードの場合は、通常の画像生成時と使う項目が異なるためソフト画面が多少変わります。
編集したい画像の読み込み
次に、ソフト画面の Load Image ボタンを押して、編集したい画像を読み込みます。
今回の例ではこちらのビルの写真を読み込み、色々と編集してみます。
beautiful photo of skyscrapers in New York -s 25 -S 543936794 -W 512 -H 512 -C 8.0 -A k_euler_a
「Load Image(s)」ボタンを押し、ファイル選択画面で編集したい画像を選んでください。
もしこの画面が出た場合は Load as Initialization Image「初期画像として読み込む」になっていることを確認してOKを押します。
画像が読み込まれれば、「Load Image(s)」ボタンが「Clear Image」ボタンに変わっているはずです。
なお「Clear Image」ボタンの隣の画像ファイル名表示のところに、Shift キーを押しながらマウスカーソルをホバーすれば今読み込んだ画像をその場でプレビューできます。
※ソフト画面右側の画像はこの時点では変わらないのでご心配なく。
画像の編集内容の指示
続いて、読み込んだ画像をどのように編集するのか、テキストで指示します。
まずはビルの写真を昼間から夜に変えてみたいと思います。
プロンプト欄に、「夜にする」旨の指示を英語で入力します。
※雑に make it ○○「○○にする」と指示するだけで結構ちゃんと編集意図を読み取ってくれます。
そして、Generate! ボタンを押して画像を生成させます。
注意：初回は動作に必要なファイルのダウンロードが行われるため時間がかかります。(十数分など)
(1.72 GB ほどの追加ダウンロードが発生するので、初回実行時はオンライン環境にしてください。)
画像編集の結果
初回ダウンロード完了後に InstructPix2Pix モデルの読み込みが行われ、画像が生成します。
InstructPix2Pix 時の画像生成速度は、通常の画像生成時と大きな差はありませんでした。(少し VRAM 容量は多めに使うみたいですが)
画像生成後は「Show」チェックボックスを ON にすることで、編集前の画像と編集後の画像を横並びで比較できます。
見事に夜の写真に変わりました。
{"prompt":"make it night","image":"1-543936794-scale8.00-k_euler_a-sd-v1-5-fp16.png","prompt_neg":"","steps":25,"seed":1236031044,"cfg_txt":8.0,"cfg_img":1.5}
空が暗くなっただけでなくビルもそれに合わせて暗い色になり、ビル屋上の構造物はきちんと明かりが付きました。
元の画像に写っているビル群自体は大きく崩れていないのも凄いです。
こんな感じで、InstructPix2Pix は Photoshop みたいな画像編集が簡単なテキスト指示で行える凄い機能です。
編集前後画像のコピー
「Show」チェックボックスが ON の時、画像右クリックメニューの Copy side-by-side comparison image「横並びの比較画像をコピーする」を押すと、表示されている編集前/編集後画像をクリップボードにコピーできます。
(上記画像のように、2つの生成画像を横並びの1枚の画像としてコピーできます)
InstructPix2Pix の指示例
左が編集前、右が指定テキストで編集後の画像です。
※以下の例では編集前の画像も Stable Diffusion で生成させたものですが、もちろん Stable Diffusion で生成した画像以外を編集対象にすることができます。
(適当に生成した質の低い画像を編集前画像にしてしまいましたが、本来はちゃんとした画像を編集対象にすればそれだけ編集画像が良くなります)
風景写真 (ビル)
黄昏時にする
サイバーパンク風に
夜で、ビルには明かりが灯っている。
↑make it night だけだとビルの照明までは点いてくれないので、指示プロンプトに追記してみました。
風景写真 (自然)
※元画像生成パラメータ：a photo of beautiful landscape with blue sky -s 25 -S 791332834 -W 512 -H 512 -C 8.0 -A k_euler_a
もし雪が降っていたら
羊を付け足す
水彩画にする
人物やネコ
猫にサングラスをかけさせる
↑物をかけたり付けたり、要素を足したりすることもできるみたいです。
猫をアニメ風に
↑アニメ風と呼べるかは別として、とりあえずデフォルメしてくれました。
(色味が変わってしまっているので工夫が必要そうです。また、素の Stable Diffusion はアニメ画風に弱いです。)
猫を宇宙空間に配置する
↑うちのねこの写真を撮って、宇宙ねこにすることも可能ですね…!
その他 (今後色々と追加予定)
アニメ絵の部分編集
猫の目を青色にする
↑Image Guidance の設定値がデフォルトの 1.5 だと目以外のところの色味も変わってしまったので、最大値の 2.5 まで上げて生成しました。
(ただ全体の色味の変化は防ぎきれませんでした。これについては InstructPix2Pix の代わりに Masked Inpainting で目の部分だけ描き変えた方が良いかもしれません。)
InstructPix2Pix のコツ
- 編集前の画像をどのぐらい引き継ぐかは「Image Guidance」の設定値で指定できる
↑値を小さくするほど大きな編集度合いになる反面、元の画像から離れる - ある指示文が上手く行かなかったら、似た意味の指示文に書き換えると成功率が上がる場合がある
↑make him a cat を turn him into a cat に変えるなど - 通常の画像生成と同様、数撃ちゃ当たる作戦が必要
↑数十枚～数百枚作って良いものをピックアップ
その他仕様
- InstructPix2Pix では、解像度を 8 ピクセル単位で指定可能
↑通常の画像生成モードでは 64 ピクセル単位。
その他のソフト改善事項
生成画像ファイル名のタイムスタンプ
生成した画像に自動でつけられるファイル名に含める時刻の形式を選べるようになりました。
ソフトの設定画面 (画面右上の歯車アイコンのボタン) の Data to Include in Filename「ファイル名に含めるデータ」項目から、生成画像ファイルの名前に含めるデータを指定できます。
| No Timestanp | 無し |
| Date | 日付 |
| Date and Time | 日付と時刻 |
| Unix Epoch | UNIX時間 |
例えば Timestanp を Date and Time にして残りの名前項目も全部ONにした状態で画像生成した場合は次のようなファイル名になります。
「年月日時分秒-連番-シード値-Scale値-サンプラー名-モデル名.png」という形式です(※)。
(※サブフォルダを有効にしている場合、ファイル名にプロンプトは含まれません。)
ソフト画面の改善
ソフト画面の Resolution 項目の右端に、生成する画像の縦横比 (Ratio) が表示されるようになりました。
横：縦 の比率です。
