NovelAiには画像から画像を生成する機能(image to image / i2i)があります。いまいち使い所がわからなかった機能ですが、最近おもしろそうな使い方ができることがわかってきました。今回はいくつかのアイデアを紹介していきます。
今回の記事の前提など
- 設定：strength 0.7前後 Noise:0-0.3ぐらいまでです。
Noiseは入力前に意図的に作りだす手法なので正直0でも問題ないです。
以前にstrength/Noiseの検証をやった実感からも、NovelAIのNoiseの効果は自分で意図的にNoiseを作り出すより高くなさそうです。
- 元の画像ですが、適当で大丈夫です。そっちのほうがAIが解釈する余地が生まれる時もあります。私は今回の記事の元画像はほとんどマウスで描いているくらいです。ペンタブも持っていますが、記事のメモを取ったりNovelAIを動かしていたのでペンタブと持ち変えるのが面倒だったからです。元画像から判断できるように、この程度に絵心が無くても問題ないということがわかります。
- 今回使用した元画像の人物ですが、上のような画像を作り、版権に関わるプロンプトを利用せずNovelAIからi2iで設定資料風を出力しました。この程度なら「line drawing, pencil drawing,1girl(もしくは1man), school uniform, character reference sheet,」などi2iを使わなくてもプロンプトだけで生成は可能です。紹介する内容はi2iを使わないと必ず生成できないと考えるのではなく、あくまでコントロールする手段と考えたほうがいいでしょう。
- 画像を描くソフトですが、私はCLIP STUDIO PAINTというソフトを使っています。ソフト自体は最低限の機能があれば何でもいいと思いますが、透過バージョンを作るために、レイヤーを操作できるものが望ましいと思います。
次に本題であるimage to image / i2iどんなものが作れるかを紹介します。
フレームの作り方（詳しい説明）
需要が多いと思われるフレームの作り方を説明します。フレームに限って説明を多くしますが、基本的にはこの作り方の応用で他の画像も作り出せると考えてよいです。
まずフレームを作ります。
ノイズを付け足します。
CLIP STUDIOの機能を使っていますが、ノイズっぽいものができれば別に何でもいいです。
マウスでポチポチやっても、自分の出したい画像が出れば何でもOKだと思います。
今回の例：CLIP STUDIO
（フィルター → 描写 → パーリンノイズ / ブラシ ハッピーサークルを利用）
ポイントはあまりノイズを作るときカチッと色や線を決めないことだと思います。
そのほうがNovelAIはいい感じに解釈してくれることが多いためです。
ただし、この場合はフレーム自体はちゃんと直線で出しています。基準点が分かりやすいですし、元画像が直線でも、たまに曲がった画像が出てくるときもあるので、最初からこの段階で対策しています。
あとはプロンプトを入れて出力します。「この場合は frame, flower, ivy, gold ,no humans」だけです。（no humansもいらないくらい）
このまま利用できそうですね。
フレーム内の構図も変化できます。この場合はフレーム内に円形の緑を付け足しました。
白色なので透過バージョンを作り、加工すればこんな画像になります。
画像自体が小さいせいか、そこまで違和感がないという印象です。
「ukiyo-e」などを使えば和風のものも作り出して加工出来ます。
この男女をカップル風にしてみました。
出力するときに「school uniform, japanese clothes」とプロンプトを入力しましたが、2人とも制服か和服のどちらかを着ていました。なので女性→制服、男性→和服としたい場合は別々に出力するのが一番いいと思います。
応用して、いくつかの異なる画風を組み合わせて利用することも可能です。以下の画像ですがフレーム自体はPixel artから、フレーム内はrealisticを使って作っています。普通だとrealisticを使えば手前のフレームもプロンプトの影響を受けますが、別々に出力しているので影響されません。
以上、「出したい構図 → ノイズ処理 → 出力 → 更に加工」というのが基本的な流れです。
以下、細かい説明は無しで次々紹介します。
image to image / i2iの応用例
人とフレームを混ぜた作例
以下は人とフレームを混ぜた作例です。混ぜると、意図通りの画像にならないことも結構あるので別々に出力してから混ぜたほうが楽かもしれません。ではなぜ今回それをしなかったかというと、根気がなかっただけです。。。
スマホ越し
プロンプト：phone screen, beautiful guy, japanese clothes, portrait,
タロットカード
プロンプト：{{{{{tarot card}}}}}, 1girl , queen, school uniform, short hair, bob cut,
花札風
プロンプト：vivid color, 1guy, japanese clothes, red flower, yellow leaf, ukiyo-e,
紙幣
i2iでも調整は難しかったです。
プロンプト：{{{{{{{banknote}}}}}}}, light color, scenery, mount fuji, 1 girl, school uniform, bob cut,
ビンのラベル
プロンプト：sake, bottle, label, face, 1 girl, japanese clothes, short hair, bob cut,
ノイズが多すぎて影ができてしまいました。あと性別も何故か変えました。
切手
プロンプト：postage stamp , portrait,, 1girl, short hair, school uniform,
とても簡単に出力できました。
意味ありそうな装飾
プロンプト：1girl, portrait, emblem, crown, olive, school uniform, short hair, bob cut
人なしの作例
窓枠
フレームに線をつければOK
プロンプト：window, ivy, arabesque, frame,
ステンドグラス
上に半円形の線をつけて、ノイズの色を乗っけています。
プロンプト：window, ivy, arabesque, frame, stained glass
リース・花の輪
プロンプト：wreath, circle, flower, ivy, green, gold, vivid, colorful ,red, white, blue,
意味ありそうな地図
mapで普通のよくある地図っぽいのが作られるのでstrength 0.5など弱めに設定するといいです。
画像を見てもらえばわかるように切手の画像を流用しています。
プロンプト：line drawing, very old paper, map, island, children’s book,
勢力図的な地図
色を塗って勢力図っぽく。これもstrengthは弱めで。考証には耐えないので雰囲気利用。
プロンプト：line drawing, very old paper, map,
読めない文字
プロンプト：line drawing, very old paper, letter,
文章の中身はAIのべりすとの記事を作った時に出てきた文章です。
ペイントなど
最初、血の画面を生成しようとしましたが、どうも赤インクと認識されました。なので逆にペイントっぽい画像を出しました。ネガティブプロンプトにpenをいれて赤色を減らせば、なんとか血っぽくなります。（画像的にまずいかなと思って公開しません）
プロンプト：（inkまたはblood）,flat lay ,from above,
パターンの作例
先程紹介したCLIP STUDIO（ブラシ ハッピーサークル）で作成しています。ノイズの大きさや空白の量で出力される画像も変わってくるので調整するとよいでしょう。
レモン・オレンジ・ライムのパターン
プロンプト：lemon, orange, lime, flat lay
ハンバーガーのパターン
なぜハンバーガーだったのか自分でもわかりません。
プロンプト：line drawing, hamburger, no humans, flat lay ,from above
マカロンのパターン
大きさによってマカロンになったり、ならなかったり。
プロンプト：macaroon
大量に似たような画像を作る
観葉植物
こんな画像でたくさん作る
更に作る
画風が安定しないので、雰囲気利用がおすすめ
モブ
こんな画像でたくさん作る
服の色がで出てほしいので、色々ノイズをのっけています。
プロンプト：white background, line drawing, monochrome, people, walking,
short sleeve, bag, hat, short pantsなどで、ある程度の荷物・服装が固定できます。
画像が小さいので変な画像もいっぱい出ますが、まぁモブなのでシルエット化して再利用します。
組み合わせて合成します。
出力→加工を繰り返すので、結構疲れますが描くよりは早いかなと思っています。
i2iやモブを使った作例（アイドルのライブ）
何か作れないかと思い、こんなマンガのページを作ってみました。
アイドルのライブが始まった感じのページです。
プロンプトでそのまま使った素材（妥協の産物） 音響卓 ステージ
spotlightで画像生成しても「スポットライトの光」しか出ませんので、i2iを使ってスポットライトの機材を作りました。i2iでもいい感じのものを作るのが難しかったです。光とか影は自分で加工しています。
シルエット化したアイドルの方々
最終的に文字と重なっているので、ほとんど見えない。
参加いただいたモブの方々の一例（主役）
一番見せたかった主役ともいえる人たち。とうとうモブにも光が当たる時代が来ました。
（光にあたり過ぎてシルエット化した）
こんな感じで作るには手間が掛かるが、実はそこまで重要じゃないシーンに使えるでしょう。
image to image / i2iを活用するポイント
- 表紙絵など雰囲気づくり、または重要でない、一回しか使わない、あまり意味のないシーンなどに利用可能と思います。
- 逆に何回も登場する重要なものに関しては、生成しないほうがいいと思います。主要登場人物、キーアイテム、何回も登場する部屋の背景とかです。別角度から部屋の背景にある家具の位置が毎回違うなど、考察に耐えられないものには使わないほうがよいということです。
- よく言われることですが、指がおかしい等NovelAIにも描くのが苦手なものがたくさんあります。細かいことは無視したり、自力でなんとかできれば活用の余地が生まれます。紹介しましたがモブなどは変なものが出ても、シルエット化したり、修正したり、大量に生成して誤魔化したりできます。
image to image / i2iを利用するメリット
- 画像から画像を生成するので、最初から出力される構図のコントロールがある程度可能です。
- 構図が決まっているということは設定するプロンプト（呪文）は必要最低限のものでよいということです。
- プロンプトは数単語で問題ないので、長いプロンプトを入れ替えたり強弱をつけて調整する必要性がほとんどありません。
- image to image / i2iから白色の多い画像を作ることができるため、透過バージョンの生成も簡単にできます。さらに透過バージョン同士を組み合わせて、何回でもimage to image / i2iで新画像を生成し、自分の出したいイメージに近づけることができます。
image to image / i2iを利用するデメリット
- 出力する度にAnlasを消費します
（アップデートにより小さいサイズなら無料でできるようになりました。） - 入力する画像を加工する時間がかかります。
- 出力された画像を加工するのに時間がかかります。
簡単にいえば、image to image / i2iは描きたい構図が決まっていて画像を加工する手間をかけても安定して画像を出力したいという人向きの機能だと言えます。
普段から創作をしている人ほど有用な機能と言えますが、逆にプロンプトを駆使して一枚絵をバシッっと決めたい人にとっては、あまり使わない機能かもしれません。といっても構図を意図的に変化させることができるので、「プロンプトばかりのAI絵にも飽きてきたなぁ」という人にとっては新しい発見があるかもしれない、という点でおすすめの機能です。
まとめ
NovelAIの画像から画像を生成する機能(image to image / i2i)について、使い方や応用例、活用するポイントなどを紹介しました。
image to imageはtext to imageで生成しにくい構図の画像を生成したり、オリジナルの画像に変化を加えたりできる便利な機能です。
i2iを使って素敵な画像素材を作ってみましょう。
