画像生成AIの「Stable Diffusion」で人間キャラクターを作成した例はたくさん見かけますが、動物キャラクターは情報が非常に少ないのでこちらに方法をまとめました。
かわいい動物キャラクター・マスコット・ケモノキャラを生成させてみたい方はぜひご確認くださいฅ/ᐠ˶>ω<˶ᐟ\ฅ
2023/04/08 追記：新しい動物キャラクター特化モデルが出て、本ページの方法よりも高割合でアニメスタイルのかわいい動物キャラ(ケモノ)が出せるようになりました。
画像生成AIの「Stable Diffusion」に動物キャラクターのイラストを生成してもらう試みその②です。 人間キャラクターの作例はとても多いのに、動物キャラになった途端に情報皆無になってしまっているのでこちらでプロンプトなどを共[…]
必要な環境
本ページでは NMKD Stable Diffusion GUI という Stable Diffusion をコマンド操作不要で使える Windows 用ソフトを使って説明しています。
ただ、可能な限りソフト固有の機能は使わずシンプルな手順を踏むようにしているので他のソフトをご利用の場合も問題ありません。
最低限、①使用モデルが切り替えられる・②img2imgが使える の2つを満たす環境であれば大丈夫です。
※なお、NMKD Stable Diffusion GUI の導入方法や使い方はこちら。Stable Diffusion 自体の使い方がまだよく分からないという場合は以下のページを先にご確認ください。
入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]
img2img の使い方が分からない場合はこちらのページをご参照ください。
(以下、説明では基本操作・基本事項を省略します)
画像の凡例
留意事項
今のところ画像成功事例が特定スタイルの動物マスコットキャラに偏っていますが、成功したものだけ一旦ここで公開することにしました。
別のスタイルの動物キャラの生成にも取り組んでいるので、方法を確立し次第情報を追記します。
動物キャラ(ケモノ)特化モデルを使う
furry_epoch4.ckpt という Furry 特化モデルファイルが有志により作成されました。
従来の素の Stable Diffusion や、Waifu Diffusion では困難だった動物キャラクターの生成が大幅に簡単になります。
ダウンロード
ダウンロード先はこちら：furry_epoch4.ckpt
モデルの切り替え
※切り替え方法は各ツールごと異なります。
例：ダウンロードしたモデルファイル(.ckpt)をお使いのツールの所定のフォルダ (models フォルダなど) に入れ、ソフト側の読み込みモデル選択画面で今回の furry_epoch4.ckpt を選択
NMKD Stable Diffusion GUI をお使いであれば、モデルの切り替え方法をこちらのページの「別モデルの読み込み」で説明しているのでご参照ください。
クイックガイド：使用プロンプト
使用設定
txt2img 単独使用。ステップ数は50。CFG scale は 7.5。ネガティブプロンプト無し。
↑ここは各自で自由に変更してください。
※ネガティブプロンプトが使えない時代に書いた記事なので、現代ではネガティブプロンプトの入力も推奨です。
4足動物キャラ(アニメ風) 種族：ネコ～キツネ系 場所：草原
"anime cat, anime style, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, vulpix style, jewelpet style"
-s50 -W512 -H512 -C7.5 -Ak_euler_a -S1426305466
"anime cat, anime style, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, vulpix style, jewelpet style"
-s50 -W512 -H512 -C7.5 -Ak_euler_a -S1851301275
"anime cat, anime style, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, vulpix style, jewelpet style"
-s50 -W512 -H512 -C7.5 -Ak_euler_a -S1851301246
furry_epoch4.ckpt でこのプロンプトを使えば、こんな感じで色々なかわいい動物キャラクターがどんどん出てきます！
(上画像は生成した物の中から崩れが少ないものをピックアップしたもの。)
プロンプトは頑張って語数を抑えたので単語をたくさん追加できるゆとりがあります。
各自で色々単語を追加してお好みの動物キャラに仕上げてください。
4足動物キャラ(アニメ風) 種族：ネコ～キツネ系 場所：夕暮れ草原
"anime cat, anime style, cat, anime eyes, blush, detailed evening orange sky, sunset, green grass, japanese, pixiv, vulpix style, jewelpet style"
-s50 -W512 -H512 -C7.5 -Ak_euler_a -S154040704
先程のプロンプトから太字部分のみ変更しました。
キャラの背景を変えたい場合は、「detailed ○○」の○○の部分を好きな場所や時間帯に書き換えればOKです。
"detailed" (詳細な) は背景を綺麗に描写するために入れたワードです。
"anime cat, anime style, cat, anime eyes, blush, detailed evening orange sky, sunset, green grass, japanese, pixiv, vulpix style, jewelpet style"
-s50 -W512 -H512 -C7.5 -Ak_euler_a -S154040699
注意点として、キャラの目や毛の色が空の色に近い色になってしまう傾向があります。必要に応じてキャラの色もプロンプトに追記してください。
2足動物キャラ(アニメ風) 種族：ネコ～キツネ系 場所：草原
"standing anime cat, full body, anime style, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, vulpix style, jewelpet style"
-s50 -W512 -H512 -C7.5 -Ak_euler_a -S417542688
※この画像は頭身が低めですがもっと高いキャラも生成します。(2～3頭身くらいの範囲でランダム生成)
二足歩行キャラ(ケモノ風？)にしたい場合はプロンプトに standing と full body を入れます。
その副作用で、4足歩行の時は全身フサモフだったのに2足立ちキャラは体のもふもふ度が減ってしまっています…。どちらかといえばぷにぷに系に…。(ToDo：対策を検討)
ネガティブプロンプトが使える場合は良くない系(18)の単語を入れて除外指定すれば回避可能かも
立ち絵になった途端なんで…😿😿😿
純粋無垢なもふもふ動物キャラになってほしいのに…(´；ω；｀)
ぷにぷに系の代わりにもふもふ系に絵柄を変更できるプロンプトが見つかればこれを回避できるかもです。
※上記画像たちは上で紹介したセーフ画像に隣接するシード値で生成されました。全部が全部18系になるわけではなく、ちゃんとかわいい動物キャラも出るので難しいところです…。
構図や絵柄を変える便利なプロンプトワード
★：おすすめ
⚠：良くない18絵の生成率が比較的高めなので要注意
※随時追記予定。
| ワード | 効果 |
| looking at viewer | カメラ目線になる |
| from above | ★上からキャラを見下ろした図になる |
| from behind | ⚠後ろからキャラを見た図になる (もふもふしっぽアピール) |
| fluffy | もっとモフモフになる・絵の質が時々向上 |
| anime closed eyes, sleeping | (時々) 半目になる ※既存の「anime eyes」を書き換えて使用。語に反して完全には目は閉じない |
ちなみに目を完全に閉じさせたりウィンクさせたりするのはかなり難易度が高いみたいで、今のところ成功できていません。(sleeping で寝てくれない)
(from behind はやっぱり使わないほうが良いかも…。しっぽ見たいのに違うとこアピールしてくる…)
プロンプトの意味を変えずに絵柄を変化させる
単語の区切りの半角スペースを「_」(アンダースコア)に変えると絵柄が変化します。
同一シード値で構図を固定して絵柄シャッフルを引きたいときに使えます。
実際の動物キャラ作成手順
一発で完璧な絵が出てきてくれることはなかなか無いので、基本的には次の手順で良さげな絵を作成します。
- 上述の動物キャラ用プロンプトでたくさん画像を作成
- 構図や顔が良いキャラ絵をピックアップ
- ②の画像をimg2imgに通してたくさん画像を作成
- 不満点が改善された絵をピックアップ
- (必要に応じて更に数回、img2img→選別 を繰り返す
※以下、プロンプト最適化前に作った画像たちなので上述の動物キャラプロンプトに比べてやや冗長なプロンプトです。ご注意ください。
作例
画像のピックアップ (＆修正前手動作業)
まずは画像をたくさん作ります。
"anime cat, style of anime, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, no humans, animal, style of vulpix, style of jewelpet"
-s50 -W512 -H512 -C7.5 -Ak_euler_a -S792130099
足の数が多いですが、他の絵に比べて良い構図のキャラ絵がたまたま出てきたのでこれをimg2imgで修正します。(表情もimg2imgで変更・修正できます)
inpainting 後に生成した画像は描き変えた部分が浮いて見え違和感が出る場合がありますが、同一プロンプトでもう一度画像全体を img2img すれば自然な見た目に修正されやすいです。
※NMKD Stable Diffusion GUI で inpainting を使う方法はこちら
無料ソフト Krita を使った生成キャラ絵の修正方法を画像付きで丁寧に説明しているページがあったので方法はそちらをご参照ください！
リンク：【Krita】AIで作成したイラストを補正する方法
img2img の設定
img2img 時のプロンプトは初回画像生成時と同じで大丈夫です。(何か追加・変更したい要素があればプロンプトを変えてもOK)
重要なのは img2img 時に元の画像をどれほど維持するかという設定値です。
(ソフト NMKD Stable Diffusion GUI では「Initialization Image Strength (Influence)」という設定項目名です。他のツールだと違うかも)
0 ～ 1 の値で、1に近いほど元の画像を維持しようとします。
例えば上記画像を Initialization Image Strength 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 で生成させた一覧がこちらです。
| 0.2 ～ 0.4 | 大まかな構図だけ保持して、キャラは変更 (0.2 辺りは体ごとまるごと変化、0.4辺りは目や毛並みなど変化) |
| 0.5 ～ 0.6 | 元のキャラの雰囲気は維持しつつ、少し変化 |
| 0.7 ～ | 構図・顔などをだいたい維持しつつ、微調整 |
構図を変化させることで元絵の不自然な部分(足の本数など)を修正できればOKです。
上の例では設定値0.5までは足の本数がちゃんと修正できています。
一概には言えませんが修正を要する画像を img2img するとき、一回目は 0.4 ～ 0.5 あたりの設定値にして画像をたくさん生成させれば良さそうです。
※NMKD Stable Diffusion GUI なら Init Image Strength の設定値スライダーの右側にあるボックスに例えば「0.2 > 0.9 : 0.1」と入力すれば、設定値0.2～0.9まで0.1刻みで画像を生成してくれます。
初回は「0.4 > 0.55 : 0.05」あたりが良さげです。
img2img の繰り返しで微調整 → 完成
最初の画像を Init Image Strength 0.525 で img2img してできた画像です。
無事、足の本数が修正できました。
"anime cat, style of anime, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, no humans, animal, style of vulpix, style of jewelpet"
-s50 -W512 -H512 -C7.5 -Ak_euler_a
-f0.475 -S1608750933
あとは目や表情や修正したいので、今度はもっと大きな Init Image Strength で img2img してみます。値は 0.7。
"anime cat, style of anime, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, no humans, animal, style of vulpix, style of jewelpet"
-s50 -W512 -H512 -C7.5 -Ak_euler_a
-f0.3 -S794179074
元の構図がある程度良ければ、このようにかわいいマスコットキャラを生成することも可能です！
動物キャラ作例
※これらの画像は全て著作権を放棄している(CC0)ので、img2img で更にアレンジや改良するなどご自由にお使いください。
プロンプト解説
このプロンプトは一から自作したのでプロンプト中の各語句の機能をここで簡潔に説明します。
プロンプトを改造して自分好みの絵を生成したい場合はご参照ください。(プロンプト開発の流れも少し紹介。)
各ワードの機能
赤色下線：中核ワード
ピンク下線：絵柄指定ワード
緑色下線：種族指定ワード
青色下線：場面指定ワード
黄色下線：品質向上用ワード
高品質な動物・ケモノキャラ生成の中核ワード「vulpix style」
vulpix style (ロコンスタイル) がアニメ目でもふもふな動物キャラを作成できるマジックワードです。
みんなが高率でかわいく描く、かつモデルで運良くちゃんと訓練されているキャラクターは「キャラ名 style」のワードにすることで "高品質な絵柄" のエッセンスだけ抽出できます。
(※ style を入れないと普通にそのキャラクターが生成してしまうので注意。稀にかなりロコン似のキャラも生成してしまうので、その場合は著作権に配慮し画像の利用は控える)
品質以外にある程度キャラの特徴も絵に反映されるので、頭やしっぽがもふもふ・くるくるになりやすく耳もキツネ寄りになりやすいです。
別のキャラクターがマジックワードにならないか探索していますが、今のところ猫・狐キャラには「vulpix style」が一番良いです。
アニメ風の絵柄を指定するワード
「anime style」 のワードはアニメ風の動物キャラ生成に重宝します。
絵柄の指定効果に加え、顔・表情の品質向上効果もあります。
「anime eyes」も加えて高品質なアニメ目の生成確率を上げています。
「jewelpet style」もアニメ風のかわいい絵柄の生成率を高めてくれます。(品質も向上。vulpix style との相性◎)
動物の種類を指定するワード
「anime cat」でアニメ風なネコキャラを指定していますが、中核ワードの「vulpix style」の影響が強すぎてかなりキツネ寄りになってしまうので追加で「cat」も入れてネコ生成率を上げています。
なお「vulpix style」指定時は猫・狐以外の動物キャラの生成が非常に難しくなります。(現在、対策を検討中)
プロンプトの強調構文が使える場合は動物指定ワードを強調してみるのがいいかもです。
絵の場所や時間帯を指定するワード
今回は例として「detailed blue sky and green grass」というワードにしましたが、特定の場所を綺麗に生成できるプロンプトは非ケモノモデルの方で既に知見が蓄積しているのでそれを利用するのが良いと思います。
品質を上げるためのワード
「blush」は頬を赤く染めるワードですが、このワードを入れると顔(表情)自体の品質が結構向上します。
「japanese」「pixiv」も日本のキャラ絵に対して品質を向上させます。
ワード変更時の参考情報
プロンプトはかなり単語数を抑えたので、各自で追加のワードをたくさん入力できると思います。
衣服系のワードを追加して動物キャラたちをおしゃれにさせたい！ って需要は結構あると思うのですが追加要素が増えるほど破綻なき絵の生成率がどんどん下がってしまうので難しいです…。
絵の質が悪化したり、日本アニメスタイルではなくなってしまった場合は中核ワードの「vulpix style」をプロンプトの前の方に持っていくと改善する場合が多いです。
ただし今度はもふもふ量やくるくるしっぽのコントロールが困難になっちゃいます(笑)
もっと汎用性の高い中核ワードが見つかればこの問題は解決するかもしれません。
プロンプト開発の流れ (簡潔に)
今回のモデル (furry_epoch4.ckpt) は通常の Stable Diffusion のモデルとだいぶ勝手が異なるのでプロンプトも一から作る必要がありました。
プロンプト検討時、私は異なるプロンプトで同一シード連番にて15～30枚生成し、それら1枚1枚を比較しながら良さげなワードを特定していきました。
(例)「vulpix style」「jewelpet style」のワードが有効か調べたいとき
anime cat, anime style, vulpix style
anime cat, anime style, jewelpet style
anime cat, anime style, vulpix style, jewelpet style
それぞれを含む/含まないの 2×2=4 パターンで画像を複数枚生成させ、結果を見比べます。
※必ず複数枚生成させて比較します。1枚だと傾向が分からない＆生成画像の質のばらつきによる影響を強く受ける のでまともにプロンプトを比較できません。
画像の平均の質・最も良い画像の質の2観点で比較し、一番良いプロンプトを選択します。(これをワード追加ごとに繰り返す)
ちなみに上記プロンプトで実際に検証するとわかるのですが、「vulpix style」「jewelpet style」はそれぞれ単独で使うよりも2つ両方含めたほうが質が大幅UPします。(相性の良いワード同士)
その他
雑多生成例 (ちゃんと作り込んでいないもの)
※ページが重くなってしまうので以下の画像はjpgに変換しちゃってます。(利用したい場合はプロンプトでセルフ作成してください)
※最適化前の古いプロンプトで生成した画像が多いです。
"standing anime cat, full body, anime style, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, vulpix style, jewelpet style" -s50 -W512 -H512 -C7.5 -Ak_euler_a -S417542870
↑ツノが生えちゃった！😹
"anime cat, style of anime, cat, anime eyes, blush, japanese, pixiv, no humans, animal, style of vulpix, jewelpet" -s50 -W512 -H512 -C7.5 -Ak_euler_a -S882879961
"anime cat, kemono full body, style of anime, anime eyes, japanese, pixiv, no humans, animal, style of vulpix" -s50 -W512 -H512 -C7.5 -Ak_euler_a -S1054714553
"standing anime cat, style of anime, cat, anime eyes, blush, japanese, pixiv, no humans, animal, style of vulpix, style of jewelpet" -s50 -W512 -H512 -C7.5 -Ak_euler_a -S75699812
"anime fox, style of anime, fox, anime eyes, japanese, pixiv, no humans, animal, style of vulpix, style of jewelpet" -s50 -W512 -H512 -C7.5 -Ak_euler_a -S884740751
"standing anime cat wearing beautiful dress, vulpix style, anime style, cat, anime eyes, blush, detailed blue sky and green grass, japanese, pixiv, jewelpet style" -s50 -W512 -H512 -C7.5 -Ak_euler_a -S129665718
その他感想
本当はもっとゆるふわ系のマスコット動物キャラクターを作りたかったのですが、プロンプト開発中の副産物みたいな形でアニメスタイルのかわいい動物キャラたちがたくさん出てきてくれたので今回こちらで共有しました。
ゆるふわにゃんこキャラなど生成できたら後で作り方を共有します！
(ねこ好きすぎて今のところ猫キャラしか作ってないことに今さら気づいた /ᐠ•ω• ;ᐟ\ )
あといけめそ猫キャラとかにも挑戦してみたい!! (欲張り)
