Contact
AIゲーム開発研究室
第13回 キャラクター全員のTポーズ4面図を制作する
AIゲーム開発研究室
3Dモデル制作ドキュメント
第13回 キャラクター全員のTポーズ4面図を制作する
研究代表 大川 博
主任研究員 Arc（ChatGPT）
はじめに
これまでの3Dモデル制作では、パンタを対象として、2Dキャラクターからゲームで使用できる3Dキャラクターを制作する方法を検証してきた。
その過程では、公式4面図からの3D生成、Aポーズ4面図の制作、Tripoによる3Dモデル生成、軽量化、リギング、Mixamoによるアニメーション、Blenderでの確認と修正、Unityへの実装までを実際に行った。
そして、一連の検証を通して、AIを利用した3Dゲームキャラクター制作の基本的な流れを確認することができた。
そこで今回は、その方法をパンタだけの実験で終わらせず、「おむすび山のなかまたち」の他のキャラクターへ展開する。
対象となるのは、コンタ、リン、ミミ、ポンの4人である。
さらに最後に、すでにAポーズ版を制作しているパンタについても、新たにTポーズ4面図を制作する。
今回の目的は、新しい制作方法を一から探すことではない。
パンタの制作で得られた方法を、他のキャラクターにも利用できるのか。
実際のキャラクター制作を通して確認していく。
1 公式4面図からTポーズ4面図を制作する
今回も、新しくキャラクターをデザインするのではない。
すでにゲーム、絵本、イラストなどで共通して使用している、それぞれのキャラクター公式4面図を基準画像として使用する。
公式4面図には、正面、右側面、背面、左側面のキャラクター情報が存在している。
ただし、これらはもともと3Dモデル生成専用の設計図として制作したものではない。
キャラクターの公式デザインを確定するために制作した画像であり、腕も通常の自然なポーズになっている。
そのため今回は、キャラクターの顔、体形、装備品、色彩、画風などを維持したまま、腕だけを左右へ水平に伸ばしたTポーズへ変更することにした。
背景は、TripoのMulti-viewへ入力することを前提として完全透明とする。
2 コンタから制作を始める
最初に制作したのはコンタである。
コンタはパンタよりも比較的細身であり、腕と胴体を分離しやすい。
そのため今回はAポーズではなく、両腕を水平に伸ばすTポーズを採用した。
公式4面図を基準として、顔、耳、毛並み、緑色の帽子、スカーフ、リュック、大きな尻尾などを維持したまま、4方向すべてをTポーズへ変更するよう画像生成AIへ指示した。
最初の生成では、キャラクターそのものは非常によくできていた。
しかし、背景が完全透明になっていなかった。
そこでキャラクターに関する指示を大きく変更するのではなく、透明背景についての指示を強化して再生成した。
その結果、公式デザインをほぼ維持したTポーズ4面図を制作することができた。
ここで、以後のキャラクターにも利用できる基本的なプロンプト構成ができた。
【画像配置①】コンタ公式4面図
【画像配置②】コンタ Tポーズ4面図・採用画像
3 リンの大きな尻尾を維持する
次にリンを制作した。
リンの場合、特に重要なのが大きな尻尾である。
公式4面図では、見る方向によって尻尾の見え方が大きく変化する。
そこで、尻尾の付け根、長さ、太さ、ボリューム、巻き方、カーブ、毛並みを維持し、4方向で同じ一本の尻尾として成立するよう指示した。
また、黄色いポシェットと斜め掛けのストラップも公式デザインを維持した。
生成された画像では、側面図の奥側の腕について完全とは言えない部分が残った。
しかし、今回は画像生成AIだけで製図のような完全一致を追求することを目的とはしなかった。
最終的にこれらの画像を使用するのは、3Dモデル生成を専門とするTripoである。
パンタの実験では、正面画像1枚からでも、描かれていない側面や背面を推測して3Dモデルを生成した。
その経験から、一定の情報が与えられていれば、4方向画像の局所的な違いについてはTripo側の立体解釈に委ねることにした。
リンのTポーズ4面図は、この状態で採用した。
【画像配置③】リン公式4面図
【画像配置④】リン Tポーズ4面図・採用画像
4 服を着たミミをTポーズにする
ミミでは、これまでのキャラクターとは少し異なる問題がある。
ミミはピンクの花柄ワンピースを着ている。
さらに、パフスリーブ、黄色いポシェット、ピンクのリュック、頭の大きなリボンを身につけている。
そのため、単純に腕だけを水平へ伸ばすと、肩と袖のデザインが変化する可能性がある。
そこで、Tポーズへ変更してもパフスリーブを維持し、ワンピースの花柄、襟元、胸元のリボン、裾などを変更しないよう明確に指定した。
結果として、衣装を維持したままTポーズへ変更することができた。
【画像配置⑤】ミミ公式4面図
【画像配置⑥】ミミ Tポーズ4面図・採用画像
ここで、今回の制作におけるもう一つの重要な実験を行った。
5 同じプロンプトでも同じ画像にはならない
最初に生成されたミミも、十分に使用できる出来だった。
しかし、公式4面図と比較すると、もう少し公式のミミらしいかわいらしさを残せるのではないかと感じた。
ここで、プロンプトを修正することはしなかった。
同じ公式4面図と、まったく同じプロンプトを使用し、別の生成を行った。
すると、基本的な条件は同じでありながら、少し異なるミミが生成された。
二つの結果を比較したところ、後から生成した画像の方が公式デザインに近いと判断し、こちらを採用した。
【画像配置⑦】ミミ Tポーズ4面図・別生成結果
※ここでは採用画像との比較が分かるように、画像配置⑥と近い位置へ掲載する。
この結果から、画像生成AIを使用するときの新しい制作方法が見えてきた。
これまでは、
生成結果に問題がある
↓
プロンプトを修正する
↓
再生成する
という方法を主に使用してきた。
しかし、プロンプトそのものに問題がない場合、必ずしも修正する必要はない。
基準画像とプロンプトを固定する
↓
同じ条件で複数回生成する
↓
生成された候補を比較する
↓
人間が最も適した画像を選択する
という方法も利用できる。
プロンプトを変更すると、修正したい部分だけでなく、それまで良かった部分まで変化する場合がある。
そのため、プロンプトが十分に完成しているのであれば、条件を変更せず複数の候補を得ることも有効な方法だと考えられる。
6 ポンでは、あえて不整合を残す
次にポンを制作した。
ポンでは、頭の葉っぱ、首輪、オレンジ色のリュック、太い縞模様の尻尾を公式デザインの重要な特徴として維持した。
生成結果は非常に良好だった。
Tポーズも成立しており、顔や体形、リュック、尻尾なども公式デザインの特徴をよく残している。
しかし、一つ問題が見つかった。
正面図と背面図で、頭の葉っぱの見え方に整合していない部分がある。
ここを修正することもできる。
しかし、今回はあえて修正しないことにした。
画像の一部分だけを修正しようとして再生成を繰り返すと、キャラクターの顔や体形、装備品、画風など、すでに良好だった部分まで変化する可能性がある。
また、最終的に4方向の情報を立体として統合するのはTripoである。
そこで今回は、葉っぱに不整合があることを把握したうえで、そのままMulti-viewへ入力することにした。
複数の参照画像に部分的な矛盾が存在するとき、3D生成AIはそれをどのように立体として解釈するのか。
これは、次の3Dモデル生成で確認する項目となる。
【画像配置⑧】ポン公式4面図
【画像配置⑨】ポン Tポーズ4面図・採用画像
※正面図と背面図の頭の葉っぱの違いが確認できる大きさで掲載する。
7 最後にパンタをTポーズ化する
4人のTポーズ4面図を制作したあと、最後にパンタへ戻ることにした。
パンタでは、これまでAポーズを採用している。
当時は、丸い胴体と短い手足を持つパンタをTポーズへ変更しようとした際、腕が長く見えるなど、プロポーションの問題が発生した。
さらに修正を繰り返すことで、身体が太くなったり、元の柔らかな画風から離れたりする問題も経験している。
そのため最終的にはAポーズ4面図を制作し、そこから3Dモデルを生成した。
しかし今回は状況が違う。
コンタ、リン、ミミ、ポンを制作する中で、Tポーズ4面図を生成するためのプロンプト構成がある程度確立している。
そこで改めてパンタについても、腕を長くしない、頭身を変更しない、胴体の幅を変更しない、短く太い手足を維持することを明確に指定し、Tポーズ4面図を生成した。
その結果、公式パンタの特徴を残したTポーズ4面図を制作することができた。
これによりパンタには、Aポーズ4面図とTポーズ4面図の両方が存在することになった。
今後必要であれば、同一キャラクターを用いてAポーズ入力とTポーズ入力による3D生成結果を比較することもできる。
【画像配置⑩】パンタ公式4面図
【画像配置⑪】パンタ Aポーズ4面図
【画像配置⑫】パンタ Tポーズ4面図・今回の採用画像
※ここは3枚を連続して掲載し、公式4面図 → Aポーズ → Tポーズという変化を比較できる構成にする。
8 今回分かったこと
今回の制作によって、「おむすび山のなかまたち」5人全員について、3Dモデル生成に使用できるTポーズ4面図を用意することができた。
パンタの制作では、一つのキャラクターを3D化するために多くの試行錯誤を行った。
しかし、その過程で得られた経験を利用することで、今回は他のキャラクターへ同じ方法を展開することができた。
一方で、キャラクターによって注意すべき部分は異なる。
コンタでは帽子とリュック、リンでは大きな尻尾、ミミでは衣装、ポンでは葉っぱと縞模様の尻尾、パンタでは丸い体形と短い腕が重要だった。
つまり、すべてのキャラクターへまったく同じ指示を与えるのではなく、
共通する制作条件を固定しながら、キャラクター固有の特徴だけを個別に指定する
という方法が有効だった。
そして今回、もう一つ重要なことが分かった。
良いプロンプトができたあとも、一度の生成結果だけで判断する必要はない。
同じ基準画像、同じプロンプトを使用しても、生成される画像には違いが生じる。
その違いを失敗として扱うのではなく、複数の生成結果を候補として利用し、人間が比較して最も適したものを採用することができる。
これは、画像生成AIを単に「一枚の完成画像を作る道具」として使うのではなく、
複数の制作候補を提示するAIとして利用する
という考え方でもある。
最終的にどの画像を公式素材として使用するのかを決めるのは、人間である。
9 次の工程へ
これで、パンタ、コンタ、リン、ミミ、ポンの5人全員について、Tポーズ4面図が揃った。
しかし、Tポーズ画像が完成したことは、3Dモデルが完成したことではない。
次に確認するのは、これらの画像をTripoのMulti-viewへ入力したとき、どのような3Dモデルが生成されるかである。
特に今回は、キャラクターごとに異なる特徴がある。
コンタとリンの大きな尻尾。
ミミのワンピースと装備品。
ポンの縞模様の尻尾と、正面・背面で完全には一致していない頭の葉っぱ。
そして、パンタのTポーズ版。
画像生成AIが制作した4方向の情報を、3D生成AIであるTripoはどのように一つの立体へまとめるのか。
次回から、5人の3Dモデル制作へ進む。
