Stable Diffusionで動物キャラ(ケモノ)を生成する② (FurryDiffusion v1.9モデル)

画像生成AIの「Stable Diffusion」に動物キャラクターのイラストを生成してもらう試みその②です。

人間キャラクターの作例はとても多いのに、動物キャラになった途端に情報皆無になってしまっているのでこちらでプロンプトなどを共有します。

前回のページはこちら↓

Stable Diffusion で furry_epoch4.ckpt モデルを使って生成したかわいい動物キャラ(ケモノ)の画像たち

動物キャラの作り方

画像生成AIの「Stable Diffusion」で人間キャラクターを作成した例はたくさん見かけますが、動物キャラクターは情報が非常に少ないのでこちらに方法をまとめました。 かわいい動物キャラクター・マスコット・ケモノキャラを生成させ[…]

Stable Diffusion で furry_epoch4.ckpt モデルを使って生成したかわいい動物キャラ(ケモノ)の画像たち

 

前回から時間が経ち、色々な動物キャラクター特化モデルが出て前回よりも高割合でアニメスタイルのかわいい動物キャラが出せるようになりました。

(本当は個人的にはもっとゆるふわな雑貨系動物キャラを出したいのですが😿、試行の最中で以下の画像が出てきて多分こちらの方が需要はありそうなので一旦共有します)

(あといけめそねこさんきつねさんおおかみさん出したい(小並感))

 

本ページ中の Stable Diffusion により生成した画像は全て CC0 の下、パブリックドメインで公開しています
ご自由に画像をお使いください。

注意:一応確認してはいますが万が一既存のキャラクターのイラストが生成されてしまっていた場合、私の上記記載が無効になり画像中のキャラクター絵部分は当該キャラクター著作権者の権利が及ぶ可能性がありますのでご留意ください。

必要な環境

本ページでは NMKD Stable Diffusion GUI という Stable Diffusion をコマンド操作不要で使える Windows 用ソフトを使って説明しています。

ただ、可能な限りソフト固有の機能は使わずシンプルな手順を踏むようにしているので他のソフト(Stable Diffusion web UI AUTOMATIC1111版など)をご利用の場合も問題ありません。

※なお、NMKD Stable Diffusion GUI の導入方法や使い方はこちら↓。Stable Diffusion 自体の使い方がまだよく分からないという場合は以下のページを先にご確認ください。

StableDiffusionの使い方

入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]

img2img の使い方が分からない場合はこちらのページをご参照ください。

(以下、説明では基本操作・基本事項を省略します)

画像の凡例

画像下に付加したプロンプト情報について (クリックして表示)

(例)

cute anime cat [lowres, bad anatomy] -s 25 -S 1499559600 -W 512 -H 512 -C 8.0 -A k_euler_a
データ文字列の意味
プロンプト文章 [ネガティブプロンプト文章] -s (ステップ数) -S (Seed値) -W (幅) -H (高さ) -C (CFG Scale値) -A (使用Sampler)

※NMKD Stable Diffusion GUI のメタデータ表示機能で出したものをそのままコピーしたプロンプト情報です。

留意事項

今のところ画像成功事例が特定スタイルの動物マスコットキャラ・ケモノキャラに偏っていますが、成功したものだけ一旦ここで公開することにしました。

別のスタイルの動物キャラの生成にも取り組んでいるので、でき次第情報を追記します。

(ページの情報は随時更新予定です)

 

動物キャラ(ケモノ)特化モデル一覧

画像生成に通常の Stable Diffusion モデルファイルを使う代わりに動物キャラクターに特化したモデルを使えば、生成する動物キャラ画像の質が飛躍的に向上します。

今回使用したモデル Furry Diffusion v1.9 (unofficial) 以外の物も表に掲載しています。

モデル名称
(青字リンクは公式情報元)
ファイル名
(ダウンロードリンク)
補足
Furry Diffusion v1.9 (unofficial) fd-v1.9.ckpt アニメ風の髪ありケモノキャラが出せる。
今回使用したモデル。非公式。
Furry Diffusion furrydiffusion.ckpt 洋風の Furry (≠ケモノ) が出せる。
上述のモデルとは全く別系統のモデル。(名前被り)
Furry (※正式名称不明) furry_epoch4.ckpt アニメ風の動物マスコットキャラが出せる。()
古いモデルなので成功率は低め。

 

Furry Diffusion v1.9 (unofficial) は他の動物キャラ特化モデルよりも新しいモデルのため、より高割合でかわいい動物マスコットやケモノを出せます。

プロンプトの工夫次第ではいけめそ動物キャラさんも出せるのかも…!!

もちろん、大元の Stable Diffusion や Waifu Diffusion と比べたら動物キャラがちゃんと出てくる割合はずっと高いです。

 

2023/04/09追記:動物キャラ特化モデルではないですが、Anything v4.5 でも動物キャラは生成できました!(むしろ良さげ)

※ダウンロード場所や導入方法などは以下ページ参照。

Anythingモデルの利用

画像生成AI「Stable Diffusion」で使用できる画像生成モデルの一つ「Anything」をソフト NMKD Stable Diffusion GUI で使用する方法を記載しました。 Anything は短いプロンプトで比較[…]

 

Furry Diffusion v1.9 のダウンロード

ダウンロード先はこちら(4/6 時点):fd-v1.9.ckpt

 

モデルの切り替え

※切り替え方法は各ツールごと異なります。

例:ダウンロードしたモデルファイル(.ckpt)をお使いのツールの所定のフォルダ (models フォルダなど) に入れ、ソフト側の読み込みモデル選択画面で今回の fd-v1.9.ckpt を選択

NMKD Stable Diffusion GUI をお使いであれば、モデルの切り替え方法をこちらのページの「別モデルの読み込み」で説明しているのでご参照ください。

 

Furry Diffusion v1.9 の事前準備・使い方

★重要:カスタムVAEの使用

モデルと一緒にVAEを読み込まないと、くすんだ色で出力されます

Furry Diffusion v1.9 (unofficial) でVAEを使用せず生成したケモノイラスト

VAEなし

Furry Diffusion v1.9 (unofficial) でVAEを使用して生成したケモノイラスト

VAEあり

anime cat, kemono, kawaii, furry, light blue cat, vulpix style, masterpiece [human, lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1187263601 -W 512 -H 512 -C 8.0 -A k_euler_a

Furry Diffusion v1.9 で画像を生成させる際は、以下のカスタムVAEも一緒に指定してください。

VAEダウンロード:kl-f8-anime2.ckpt

 

※カスタムVAEを同時に読み込む方法はお使いのツールによって異なります。NMKD Stable Diffusion GUI の場合は以下の手順です。

NMKD版ソフトでのVAE読み込み (クリックして表示)

※以下、簡易手順説明です。詳しくはこちらのページをご参照ください。

  1. ソフト右上の歯車ボタンを押して Settings 画面を開く
  2. 「Stable Diffusion VAE (Variational Autoencoder)」という項目の右端にある「Folders...」ボタンを押す
  3. VAE (kl-f8-anime2.ckpt) を入れる先のフォルダの一覧が表示されるので、リストの「Data/models/vae」をクリックして右上のフォルダアイコンのボタンを押して VAEを入れるべきフォルダに移動
  4. そのフォルダにダウンロードしたVAEを移す
  5. Settings 画面に戻り、項目「Stable Diffusion VAE」のリストから先ほど入れた VAE(kl-f8-anime2.ckpt) を選択する

これで次の画像生成時からはモデルと一緒にカスタムVAEも同時に読み込まれるようになります。

 

★重要:ネガティブプロンプト

lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed

Furry Diffusion v1.9 での動物キャライラスト生成時は、上記ネガティブプロンプトを共通でお使いください。(一例)

入れない場合に比べて生成する画像の質がほとんどの場合向上します。

こちらの万能便利呪文をベースに、動物キャラ形崩れ防止用の「deformed」というワードの追加や動物キャラに不要なワードの削減などを行い少し変えたものです。

 

その他設定

ステップ数は 25、CFG scale は 8、サンプラーは k_euler_a にしました。

これらは各自で自由に変更してください。

プロンプトも可能な限りシンプルにしているので、追加で必要な要素は各自でプロンプト中に追記してください。

 

Furry Diffusion v1.9 の生成イラスト例

プロンプトに「vulpix style」(ロコンスタイル) という語句を入れると、生成イラストの質がかなり上がります。

ただしその場合、髪付きのケモノキャラが生成しがちになります。(しっぽも多めに…)

※特記しない限り、ネガティブプロンプトは前述の物を使用しています

 

髪ありの女の子ケモノキャラ

※学習データの関係上、どうしてもイケメンなケモノキャラ(男の子)よりもかわいい系のケモノキャラ(女の子)の方が圧倒的に生成しやすいようです…。

※「vulpix style」はしっぽの数やもふもふ(ふさふさ)が過剰になりがちです。

プロンプト① (ネコキツネ系)

anime cat, kemono, kawaii, furry, vulpix style, masterpiece

 

Furry Diffusion v1.9 (unofficial) で生成した、ケモノキャライラスト(こちらを見るピンク髪の白ネコ系キャラ)
anime cat, kemono, kawaii, furry, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1499559600 -W 512 -H 512 -C 8.0 -A k_euler_a

 


anime cat, kemono, kawaii, furry, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 18775810 -W 512 -H 512 -C 8.0 -A k_euler_a

 


anime cat, kemono, kawaii, furry, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 18775818 -W 512 -H 512 -C 8.0 -A k_euler_a

 

プロンプト② (ネコキツネ系、色指定)

anime cat, kemono, kawaii, furry, <色名> cat, vulpix style, masterpiece

<色名> のところにキャラの色を指定します。

white


anime cat, kemono, kawaii, furry, white cat, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1570094708 -W 512 -H 512 -C 8.0 -A k_euler_a

sky blue


anime cat, kemono, kawaii, furry, sky blue cat, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 2099171247 -W 512 -H 512 -C 8.0 -A k_euler_a

 


anime cat, kemono, kawaii, furry, sky blue cat, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 783942174 -W 512 -H 512 -C 8.0 -A k_euler_a

gray


anime cat, kemono, kawaii, furry, gray cat, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1345080561 -W 512 -H 512 -C 8.0 -A k_euler_a

pastel green


anime cat, kemono, kawaii, furry, pastel green cat, vulpix style, masterpiece [human, lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 124493635 -W 512 -H 512 -C 8.0 -A k_euler_a

pastel light green


anime cat, kemono, kawaii, furry, pastel light green cat, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1872630476 -W 512 -H 512 -C 8.0 -A k_euler_a

 

髪ありの男の子ケモノキャラ

プロンンプト① (イヌorオオカミ系、イケメン風)

anime dog boy, kemono, furry, fursona, wolf, vulpix style, masterpiece

 


anime dog boy, kemono, furry, fursona, wolf, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 756777127 -W 512 -H 512 -C 8.0 -A k_euler_a

 


anime dog boy, kemono, furry, fursona, wolf, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1149440940 -W 512 -H 512 -C 8.0 -A k_euler_a

 


anime dog boy, kemono, furry, fursona, wolf, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 235160266 -W 512 -H 512 -C 8.0 -A k_euler_a

ケモノというより獣人に近い見た目になります。

男の子動物キャラは生成難易度高いです…😿

 

その他の画像生成例

とりあえず雑多に生成例を並べています。

プロンプトは画像下部の文字列を参考にしてください。(今までに紹介したプロンプトと被っているものもあります)

※大かっこの中の文がネガティブプロンプトで、その前が通常のプロンプトです。

 

髪あり動物キャラ系


anime blue cat, kemono, kawaii, furry, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 551012844 -W 512 -H 512 -C 8.0 -A k_euler_a

↑「blue cat」と指定した途端、目がキリッとしがちになりました😹 (クール系のキャラが青色がちだからかも)

 


anime cat, kemono, kawaii, furry, light blue cat, vulpix style, masterpiece [human, lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1187263605 -W 512 -H 512 -C 8.0 -A k_euler_a

 

↑以下の設定で生成した画像を同プロンプトでimg2imgして表情変更しました。(しっぽは未修正)

anime cat, kemono, kawaii, furry, pastel light green cat, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1685606578 -W 512 -H 512 -C 8.0 -A k_euler_a

※「構図は良いけどキャラの表情がいまいち…」みたいな時は img2img を使って構図を保ちつつ表情や今一つな部分だけ変更するのが手っ取り早いです。Masked Inpainting で必要な場所だけ描き変えるのが効率良いかも。

 

anime cat, kemono, kawaii, furry, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 18775685 -W 512 -H 512 -C 8.0 -A k_euler_a

↑特に何も指定しないと口は開いたり閉じたりしますが、別途「open mouth」などをワードに含めるとコントロールしやすいかもです。

 


anime cat, kemono, kawaii, furry, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 18775766 -W 512 -H 512 -C 8.0 -A k_euler_a

↑時々、全身が写ったイラストになることがあります。これを意図的に出そうと「full body」とプロンプト中に含めると生成する画像の質まで全体的に低くなるので難しいです…。

カラーリングねこモンスターさん

anime cat, kemono, kawaii, furry, pastel green cat, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 783942182 -W 512 -H 512 -C 8.0 -A k_euler_a

anime cat, kemono, kawaii, furry, sky blue cat, vulpix style, masterpiece [lowres, bad anatomy, bad hands, text, error, missing fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed] -s 25 -S 1570094719 -W 512 -H 512 -C 8.0 -A k_euler_a

↑形がもっと動物寄りになった生成例です。魔法が使えるねこモンスターさんで、種族ごとに唱える呪文が違うようです(誰かAI画像生成活用して色々な種類のねこモンスターさんが登場するRPGつくって)

 

※以下、工事中です。特定スタイルの動物キャラばっかりに偏っているので、今後別のスタイルも探索予定です。動物キャラモデルが他にも登場したら新しいモデルでの画像生成も試してみる予定です。

Stable Diffusion で Furry Diffusion v1.9 モデルを使って生成したかわいい動物キャラ(ケモノ)のイラスト
記事化前の最新情報はこちらで先にツイートしています。サイト更新告知もこちら。