Stable Diffusionでゆるかわ動物キャラを生成する (ケモノさんも)

画像生成AIの「Stable Diffusion」に動物キャラクターを生成してもらう試みその③です。

人間キャラクターの作例はとても多いのに、動物キャラになった途端に情報皆無になってしまっているのでこちらでプロンプトなどを共有します。

今まではゆるかわ系のどうぶつキャラを作ろうと思っても難しく、どうしてもこんな感じのアニメ調動物キャラになってしまってました。(いけめそケモノさんも嬉しいけど)

動物キャラの作り方

Stable Diffusionで動物キャラ(ケモノ)を生成する② (FurryDiffusion v1.9モデル)

画像生成AIの「Stable Diffusion」に動物キャラクターのイラストを生成してもらう試みその②です。 人間キャラクターの作例はとても多いのに、動物キャラになった途端に情報皆無になってしまっているのでこちらでプロンプトなどを共[…]

前回から時間が経過して利用できるモデルファイルも増え、今ではゆるかわ系のキャラも生成できるようになっています。

やっと当初の目標を達成…ฅ

本ページでは、とりあえずたまたまある程度うまくいった生成例をプロンプトや設定・条件と一緒に随時掲載していきます。

(キャライラスト描くときのアイデア探しとかに使うのがいいかも…!)

必要な環境

私の環境では SD WebUI reForge を Stability Matrix (Stable Diffusion の統合管理環境ソフト) にインストールして使っています。

※ SD WebUI reForge の導入方法自体は以下のページを参照

StableDiffusionの導入方法

Stability Matrix で簡単に Stable Diffusion 環境を導入する方法

入力したテキストから画像を生成したり、自分が描いた落書きに説明テキストを加えれば思い通りの絵に変えたりできるAI「Stable Diffusion」 ↑a sleeping cat in the hot spring (温泉で眠る[…]

ただ、他のソフト(Stable Diffusion web UI AUTOMATIC1111版など)をご利用の場合も特に問題ないと思います。

今回使用したモデルが SD XL 系のモデルなので、一応それが動く環境(スペック)は必要になります。

でも昔に比べると技術進歩で要求スペック水準が下がっているからそこまでネックにならないかも…!

画像の凡例

画像サイズの関係で本記事には画像を .jpeg 形式で掲載したため画像中に埋め込まれたメタデータが消えてしまっています。

代わりにデータは各画像の下に直接載せています。

使用モデルファイル

本ページの生成画像は全て Illustrious XL 1.1 を用いて生成されています。

モデルファイルは、Stability Matrix をご利用であれば Model Browser の検索ボックスに「Illustrious XL 1.1」と入れて検索をかけて、当該モデルをダウンロードすればOKです。

手動でダウンロードする場合はこちら↓

Illustrious XL 1.1 のモデルダウンロード先：Illustrious-XL-v1.1.safetensors

ライセンス表記

本モデルで生成した画像を公開する場合にはクレジット表記が必要になるため、改めてこちらに記載します。

動物キャラ生成時の共通設定

生成パラメータ

※ここの設定はきちんと最適化できてないです…。

ネガティブプロンプト

人間キャラが生成されてしまうのを防止するためネガティブプロンプト中に「human」と入れています。

これと併せて、通常のプロンプト側にも「no humans」と入れておいた方が人間率を抑えられます。

※このネガティブプロンプトの中身については前回の記事を参照。

生成画像例

※基本的にキャラクターをそのまま切り抜きしやすいように背景は単色 (simple background) で指定していますが、生成画像をそのまま鑑賞するような場合はそのワードを抜いて適宜背景系ワードを入れてください。

※どのプロンプトも成功率はそこまで高い訳ではないので、数十枚～数百枚生成して良いものをピックアップしています。
(細かいところを見ると色々と粗が目立ちますが、単にアイデアを得る目的なら問題無さそうです…!)

※シンプルな見た目だと既存の同じ動物キャラと色や形が重複して極端に似通ってしまうことがあるので、そのような物は適宜除外しています。

シンプルゆるかわ動物キャラ系

プロンプトの主な使用ワード (デフォで入れている)

• :3：口の形がかわいい ω 形になる
• blush：頬が軽くピンクに
• no humans：人間キャラにならないように
• looking at viewer：カメラ目線に
• illustration：イラスト調に
• thick outline, soft outline：★重要★ ゆるかわ/雑貨系の輪郭がはっきりした絵になる
• animal focus：動物キャラになるように

必要に応じて、次のワードも。

• oval eyes：ゆるい系のイラストによくある、目が縦の楕円形に (※アニメ目の回避)
• solid oval eyes：↑よりもシンプル(単純なハイライトや単色塗り)に近くなる

※ masterpiece を入れるとゆるふわ系から遠ざかってしまうので入れていない

きつね・ねこ・きつねこ系

動物の種類によって生成成功率が大きく変わるのですが、きつねキャラは相対的に生成率が高めになります。

他の動物キャラを生成する場合もプロンプトで動物名の前に fox と入れておくと成功率が体感上昇します。

その場合、きつねさんとミックスしたような見た目になることもあれば目的の動物キャラの見た目が良くなるだけでそこまできつね要素は増えない場合もあります。

コントロールは難しいですが、ガチャ感覚で試してみるのはありです。

(※狐と猫の要素が合わさったキャラ「きつねこ」は特にかわいい見た目になります (私の好みなだけかも /ᐠ•ω•˶ ;ᐟ\ ))

:3, a white fox cat, wink, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 1319898024, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

:3, a white fox, wink, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 1048208925, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

:3, a tabby cat, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus, furry female
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 2022732470, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

:3, a cat, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 4084843864, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

:3, a white fox, > <, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 1353014678, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

↑画像のように、目を /ᐠ˶>ω<˶ᐟ\　←こんな感じにしたい場合はプロンプトに「> <」と入れればOK

:3, a yellow fox, wink, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 769947513, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

:3, a white fox, wink, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 1048208937, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

↑プロンプトの wink は効かないこともある。通常の瞳で画像生成した後に、inpainting で瞳の部分だけ wink で書き換えてウィンクさせるのもありかも。

縦横比 1：1 でなくても、例えば 横：縦 = 3：4 とかにしても問題なく動物キャラ画像は生成できます。

(試しに 1024x1360 で生成)

:3, a cat fox, kawaii, blush, no humans, solid oval eyes, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 50, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 4227927584, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

• 「solid oval eyes」とプロンプトに入れるとこのような単色の楕円目になりやすい
• プロンプト中の illustration というワードに反応して背景にそれに近い文字列が表示されてしまう場合がある

:3, a white fox, female, blue eyes, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, (thick outline:1.2), soft outline, fluffy
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 3513583455, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

↑注意：このプロンプトだと大抵はもっとアニメ目っぽくなってかつ髪っぽいもふもふが増えます。これはたまたま上手くいった例…! /ᐠ˶>ω<˶ᐟ\

アニメ目の動物キャラ (ケモノさんやマスコット系)

※私がゆるかわ系を作りたい関係で4足歩行系(ヨツケモ)になってますが、お好みでプロンプトを編集して2足歩行にするなどしてください。

:3, a white fox, blue eyes, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, fluffy
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 2278760535, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

:3, a white fox cat, wink, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 2338165342, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

↑こんな感じではみ出しちゃって一部が欠けちゃった時には Outpainting を使えばいいと思うけど、破綻なく広げるのは実際なかなか難しいかも…。

:3, a cat fox, female, blue eyes, kawaii, full body, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, (thick outline:1.2), soft outline, fluffy
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 1260639290, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

• male/female のような性別指定を入れるとそれだけでゆるかわ系から離れてアニメ寄りになりやすい
• でもうまく行けば上記画像のようにゆるさも保った画像が出てくることもある
• 男の子の動物キャラの方が女の子動物キャラより成功率が低くて難しい😿 (そんにゃ…)
  ↑画像生成初期からずっとの悩み

:3, a yellow fox, wink, kawaii, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 2724905878, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

たまたま比較的上手くいった男の子きつねさん！

:3, a white fox, female, blue eyes, kawaii, full body, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, (thick outline:1.2), soft outline, fluffy
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 3983682741, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

顔しか映らなかったり体の一部だけになってしまう場合は、プロンプトに「full body」と入れておくと全身が写ってくれます。

:3, a white fox, female, blue eyes, kawaii, full body, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, (thick outline:1.2), soft outline, fluffy
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 3983682745, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

マスコットっぽいキャラが出てきてくれることも。

:3, a fox, female, kawaii, full body, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, (thick outline:1.2), soft outline, fluffy
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 3894636250, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

大きな油揚げ持ってる！笑😹

:3, a white fox, female, blue eyes, kawaii, full body, blush, no humans, looking at viewer, simple background, smile, solo, chibikemo, illustration, simple, (thick outline:1.2), soft outline, fluffy
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 3983682746, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

アニメ系の髪ありケモノキャラさん。以前のモデルだと逆に髪無しにできなくて大変でした /ᐠ•ω•˶ ;ᐟ\

結局、ネコ・キツネキャラばっかりになってしまいました、ごめんなさい。
(かわいいいぬの男の子キャラとか出したかったけどすぐパッとは出せなかったから改めて策を考えます…ฅ)

その他 (背景あり・別のスタイル)

背景あり

基本的に背景を含めると生成難度が上昇してしまいます。

(背景とキャラを別々に生成してから合成する手も一応あります)

(アイデア出しが目的なら細かいところの破綻は気にしなくて良いので、構図だけ参考にすれば良いかも)

:3, a cat fox, kawaii, blush, no humans, solid oval eyes, looking at viewer, forest picnic scene, cherry blossoms, smile, solo, chibikemo, illustration, simple, thick outline, soft outline, animal focus
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 50, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 2780391242, Size: 1024x1360, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

もふもふ3D系

:3, a cat, kawaii, blush, no humans, looking at viewer, wink, simple background, smile, solo
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, human, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, deformed
Steps: 25, Sampler: Euler a, Schedule type: Automatic, CFG scale: 6, Seed: 1824836214, Size: 1024x1024, Model hash: 536863e9f0, Model: illustriousXL11_v11, VAE hash: 63aeecb90f, VAE: sdxl_vae.safetensors, Clip skip: 2, Version: f1.1.5-v1.10.1RC-latest-883-g28ead401

良さげなプロンプトを構成し次第、また改めて画像を追加します。