Stable Diffusion（webUI 版）を使用して、ポケモン風画像を生成する（or に変換する）方法を紹介します。
使用してみての特徴や呪文についても試行錯誤の結果を書いてみます。
準備
Stable Diffusion Web UI のインストール
解説しているサイトがたくさんありますので、以下にマヨナカログ様のリンクを張っておきます。
https://mayonaka-blog.com/stable-diffusion-web-ui-install/
以下、インストールは完了した前提で説明を進めます。
モデル：Pokemon Diffusersの追加
以下のサイトに移動します。
https://huggingface.co/justinpinkney/pokemon-stable-diffusion
中ほどにある「Files」をクリックすると、下記の「ema-only-epoch…ckpt」というファイルがありますので、これをダウンロードします。
ダウンロードしたら、このファイルを [Stable-diffusion-webui のあるフォルダ] / models / の中に移動します。
Stable Diffusion WebUI を起動し、「Stable たDiffusion checkpoint」から先ほどのファイルが選択できるようになればインストール完了です。
画像作ってみた（呪文と設定のコツ）
txt2img（テキスト→画像）
生成結果１：試しにやってみた
| prompt | crocodile, extremely cute |
| Negative prompt | nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry |
この子とか、ずんぐりむっくりの炎系みたいでかわいいです。
生成結果２：promptをシンプルにしてみる
| prompt | crocodile |
| Negative prompt | nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry |
どの子も結構凶悪そうな見た目になりました。あと目が死んでる。
ちょっとポケモンの愛らしさが失われてしまった感じがします…。「cute」は入れたほうがよいかも。
生成結果３：negative promptを減らしてみる
| prompt | crocodile, extremely cute |
| Negative prompt | missing fingers |
頭が２頭あったり、ポケモンの範疇から外れてきやすい感じがします。
negative promptはあった方がよさそうです。
img2img（画像→画像）
当サイトのワニくんをポケモン風に加工してみたいと思います。
暑がりワニポケモンみたいな人気者になりたい。
生成結果１：デフォルト
正直どの子も似ても似つかない結果になりました…。あとなんかみんなス〇クンぽい。
生成結果２：Denoising strength を0.35に
ほとんど変わりませんでした。。
生成結果３：Interrogate CLIPを使用
「Interrogate DeepBooru」を使用して、プロンプトを生成し、画像を生成します。
まったくの別物になってしまいました…
今度はInterrogate CLIPを使用します。
「a cartoon of a hippo」とあったのでここは「a cartoon of a crocodile」としました。
暑がりワニ人気者への道はまだまだ長そうです…
使ってみての所感
- プロンプトによらずそこそこポケモンっぽいテイストの画像ができる
- あまりバリエーションがなく似たような画像ができやすい印象
- 既存のアニメ画像のテイストはそのままにポケモン風にするのは難しいかも。
- ControlNet等も試してみましたが今のところよさそうな方法が発見できてません
コメント