論文『AI時代の3Dゲームキャラクター制作方法論』

AIゲーム開発研究室

AI時代の3Dゲームキャラクター制作方法論

― 2Dキャラクター「パンタ」の3D化からゲーム実装までの実践的検証 ―

研究代表　大川 博
主任研究員　Arc（ChatGPT）

要旨

本研究では、2DキャラクターからAIを利用して3Dモデルを生成し、実際にゲームで使用可能なキャラクターへ近づけていく制作工程を検証した。

研究対象には「おむすび山のなかまたち」のキャラクター「パンタ」を使用し、AI 3D生成サービスTripoによる3Dモデル生成から、軽量化、テクスチャ、リギング、アニメーション、BlenderおよびMixamoとの連携、Unityでの動作確認までを実際に行った。

実験は、最初から完成した制作工程に従ったものではない。生成結果を確認し、問題が発生するたびに原因を調べ、別の方法を試し、必要に応じて前工程へ戻りながら進めた。

その結果、AIによって3Dモデルを生成することと、ゲームで使用可能な3Dキャラクターを制作することは、同じ問題ではないことが確認された。

また、AIによる3Dゲームキャラクター制作では、AIの生成能力だけでなく、人間が入力情報を設計し、生成結果を評価し、必要に応じてAIや制作ツールを切り替えることが重要であることが示された。

本稿では、第1回から第12回まで行ったパンタの3Dモデル制作実験を整理し、2026年時点におけるAIを利用した3Dゲームキャラクター制作の実践例として報告する。

はじめに

近年、生成AIを利用して、テキストや画像から3Dモデルを生成する技術が急速に発展している。

単一画像から未知の視点を推定し、3D再構成へ利用する研究や、単一画像から複数視点の情報を生成して高品質な3Dメッシュを構築する研究などが進められている［1］［2］。

一方、ゲーム制作では、3Dモデルを生成するだけではキャラクターとして使用することはできない。

ゲームキャラクターには、外観だけでなく、ポリゴン数、メッシュ構造、テクスチャ、リギング、アニメーション、さらにゲームエンジン上で正常に動作することが求められる。

そこで本研究では、

「2DキャラクターからAIによって3Dモデルを生成し、実際にゲームで使用できるキャラクターへ近づけていくには、どのような工程が必要なのか」

を実制作によって検証することにした。

研究対象には、「おむすび山のなかまたち」のキャラクターであるパンタを使用した。

パンタには、正面・右側面・背面・左側面からなる公式4面図が存在する。そのため、AIが生成した3Dモデルと、人間があらかじめ設定したキャラクターデザインを比較することができる。

本研究では完成結果だけではなく、

どのような問題が発生したのか。
なぜ方法を変更したのか。
どの方法を採用し、どの方法を保留または不採用としたのか。

という制作過程そのものを記録した。

第1章　先行研究と本研究の位置づけ

AIによる3D生成については、すでに多くの研究が行われている。

LiuらのZero-1-to-3は、単一のRGB画像から未知視点を生成し、それを単一画像からの3D再構成へ利用する方法を示している［1］。

またLongらのWonder3Dでは、単一画像から複数視点のNormal Mapとカラー画像を生成し、高品質なテクスチャ付き3Dメッシュを再構成する方法が研究されている［2］。

さらに、生成AIを実際のゲーム制作へ導入する研究も始まっている。

BegemannとHutsonは2024年、生成AIによるコンセプトアートから3Dモデル生成、Blenderによる最適化、Unreal Engine 5への導入までを実践的に検証している［3］。

2026年には同著者が、AI生成3Dアセットが単なる視覚的なモデルから、編集・最適化されたgame-ready assetへ移行できるかを比較検証している［4］。

これらの研究から、AIによる3D生成技術そのものだけでなく、生成されたモデルを実際のゲーム制作工程へ接続することも研究課題になっていることが分かる。

本研究は、新しい3D生成アルゴリズムを開発することを目的としたものではない。

既存のAIサービスを実際に使用し、

2Dキャラクターデザイン
→ 3Dモデル生成
→ 軽量化
→ リギング
→ アニメーション
→ Blenderによる検証
→ Mixamoとの連携
→ Unityでの動作確認

までを一つの制作過程として検証する。

特に本研究では、既存デザインを持つキャラクターを対象とし、AIによる生成結果が元のキャラクターデザインや、その後のアニメーション制作にどのような影響を与えるのかを確認する。

第2章　正面画像1枚から3Dモデルを生成する

最初の実験では、パンタの公式4面図が存在していたにもかかわらず、あえて正面画像1枚だけをTripoへ入力した。

目的は、正面から見えない側面や背面をAIがどのように生成するのかを確認することである。

生成されたモデルは、

1,901,487 faces

という非常に高密度なモデルとなった。

正面から確認できる顔、耳、目の周囲の模様、身体、スカーフ、リュックの肩ベルトなどは高い精度で立体化された。

口についても単なるテクスチャではなく、鼻、口腔、舌などが実際の立体形状として生成された。

しかし背面を確認すると、人間が設定した公式デザインとは異なる部分が現れた。

正面画像では確認できないリュック本体は公式デザインどおりには生成されず、入力画像には存在しない形状も生成された。

また、正面側で確認できた細かな毛並みの立体表現も、背面まで均等には続いていなかった。

この実験から、正面画像1枚からでも立体として成立するモデルを生成できる一方、画像に存在しないキャラクター固有情報についてはAIが何らかの形で補完する必要があることが確認された。

ただし、生成された個々の形状がどのような内部処理によって決定されたのかを、この実験結果だけから判断することはできない。

ここから、

「AIが何を作れるか」だけではなく、「AIへ何を与える必要があるか」

という問題が生まれた。

第3章　4面図とAポーズによる入力情報の改善

正面画像1枚から生成したモデルを修正し続けるのではなく、入力資料そのものを改善することにした。

パンタには、

正面
右側面
背面
左側面

からなる公式4面図が存在する。

そこで4方向の画像をTripoのMulti-viewへ入力し、3Dモデルを生成した。

これによって、正面画像ではAIが補完するしかなかった側面や背面について、人間が設定した情報を直接AIへ与えることができた。

しかし、新たな問題が見つかった。

もともとの公式4面図はキャラクターデザインを確認するための資料であり、3Dリギング専用に制作したものではない。

そのため、パンタの腕が胴体へ近い状態になっていた。

3Dキャラクターのリギングを前提としたモデル制作では、腕を左右へ広げたTポーズ、あるいは腕を斜め下へ開いたAポーズなど、胴体と腕を分離した姿勢が用いられる。

本研究では、パンタの体形と生成結果を検討し、Aポーズを採用した。

そこで、3Dモデルを生成してから腕を修正するのではなく、2D画像の段階へ戻り、

Aポーズのパンタ4面図

を新たに制作した。

これをMulti-viewへ入力し、再び3Dモデルを生成した。

この実験によって、

2Dでキャラクターを確認するための設定画と、3Dで動かすことを前提とした入力資料は必ずしも同じではない

ことが分かった。

また、問題が発生した場合、生成後の3Dモデルだけを修正するのではなく、入力画像まで戻って改善するという方法も選択肢になることが確認された。

第4章　ゲーム用モデルへの軽量化

Aポーズ4面図から生成した高精細モデルは、約196万facesとなった。

外観は良好だったが、ゲームキャラクターとして使用するには非常に高密度である。

そこで、ゲーム利用を想定した軽量化を検証した。

比較したのは三種類のモデルである。

Aタイプ
最初から低ポリゴン設定で生成
9,826 faces

Bタイプ
高精細設定で生成
1,965,676 faces

Cタイプ
BタイプをSmart Retopoによって軽量化
14,204 faces

Aタイプは軽量である一方、毛並みなどの表面表現は簡略化された。

Bタイプは非常に高密度であり、毛並みの凹凸まで形状として表現されていた。

CタイプはBタイプから大幅にポリゴン数を削減しているにもかかわらず、Tripo上ではBタイプに近い表面表現を残しているように見えた。

そこでBlenderへモデルを持ち込み、内部構造を確認した。

第5章　メッシュとテクスチャを調べる

Blenderで確認すると、AI生成モデルの外観はメッシュだけで成立しているわけではなかった。

モデルにはBase Color、Normal、Metallic、Roughnessなどに関係するテクスチャ情報が含まれていた。

Normal Mapの強度を変更すると、モデル表面の凹凸感が大きく変化した。

この結果から、

3Dモデルの見た目はポリゴン数だけでは判断できない

ことが分かった。

高密度モデルでは細かな表面形状を実際のメッシュとして持たせることができる。

一方、軽量化したモデルでは、メッシュを減らしながらテクスチャ情報によって表面の質感を表現することができる。

ゲーム用モデルを考える場合には、

メッシュとテクスチャを一体として評価する必要がある。

また、Aポーズによって確保した腕と胴体の分離は、Smart Retopo後のCタイプでも維持されていた。

これは、3D生成前に行った入力設計が、その後の軽量化工程にも関係することを示す結果となった。

第6章　Auto RigとAI Actionを試す

次に、生成したパンタへTripoのAuto Rigを適用した。

Humanoid形式による骨格生成は成功し、Tripoに用意されたプリセットActionによってパンタを動かすことができた。

複数のActionを含めたFBXをBlenderへ読み込むと、それぞれ独立したActionとして確認することもできた。

そこでさらに、テキストによる指示からオリジナルActionを生成する機能を試した。

「その場で3回ジャンプする」と指示すると、ジャンプしようとするような動作は生成された。

しかし、足は地面から離れなかった。

「まっすぐ前に走る」と指示すると前進したが、身体の動作は走行より歩行に近かった。

つまり、

AIが何らかの動作を生成できることと、ゲームで要求したActionを正確に生成できることは同じではない

ことが確認された。

第7章　Mixamoとの連携を試す

ゲーム制作では多くのActionが必要になる。

そこで、Tripoで生成したリグへMixamoのActionを適用できないか検証した。

Tripoのボーンには、

mixamorig:Hips
mixamorig:Spine
mixamorig:LeftArm

など、Mixamoと同形式の名称が使用されていた。

しかしMixamo Actionを直接適用すると、パンタが空間を大きく移動したり、身体が傾いたりする問題が発生した。

Blenderで骨格を比較すると、同じ名称のボーンでもBone Rollなどに違いがあった。

この結果から、

ボーン名が同じであることだけでは、骨格構造やローカル軸まで同一であるとは判断できない

ことが分かった。

そこで、Mixamo純正骨格からTripo骨格へCopy Rotationを使用して動作を転送する方法を試した。

動作転送そのものには成功した。

しかし全身へ適用すると姿勢の補正などが必要となり、ゲーム制作工程としては複雑になった。

ここで、

技術的に可能であることと、実際の制作方法として採用することは別である

と判断した。

第8章　TripoのMixamoプリセットを検証する

TripoにはMixamo用のSkeleton PresetとFBX Presetが存在する。

そこで、

Humanoid
Skeleton Preset：Mixamo

を明示してAuto Rigを行い、

FBX Preset：Mixamo

として書き出した。

しかしMixamoへアップロードすると、

Sorry, unable to map your existing skeleton.

というエラーが表示された。

Blenderを経由してFBXを書き出し直しても、この時点では結果は変わらなかった。

ただし、この結果だけから、

「TripoのリグはMixamoでは使用できない」

と一般化することはできない。

原因が骨格、Bind Pose、FBX内部情報、モデルやマテリアルなどのどこにあるのか、この段階では特定できなかった。

そのため、この問題については結論を保留した。

第9章　Blender・Mixamo・Unityへつなぐ

その後の検証によって、Tripoから出力したパンタをMixamoへ読み込ませる方法を再検討した。

Blender上でマテリアルを保持したままテクスチャとのノード接続を外し、白いモデルとしてFBXを書き出したところ、Mixamoへのアップロードに成功した。

それ以前にはマテリアルを削除したモデルでもアップロードに成功していた。

したがって、マテリアル周辺の情報が結果に関係している可能性は考えられるものの、Mixamoが具体的にどの情報を受け付けなかったのかは、本研究では特定できていない。

MixamoでActionを設定し、再びBlenderへ戻すことで、パンタをアニメーションさせることができた。

テクスチャについては、元のBlenderファイルからマテリアルを戻すことで復元した。

さらにモデルとアニメーションをUnityへ読み込み、ゲームエンジン上でもパンタのActionが再生できることを確認した。

これによって、

AIによる3D生成からゲームエンジン上でのアニメーション再生まで

を実際に接続することができた。

第10章　手首の捻れと5本指リグ

Mixamo Actionを適用したパンタでは、手首が不自然に捻れる問題が発生した。

一方、Tripo内部のActionを使用した場合には、同じような大きな手首の捻れは確認されなかった。

そこでTripo Auto Rigの骨格をBlenderで詳しく調べた。

左右のForeArmやHandのBone Rollを比較すると、単純な左右対称構造にはなっていなかった。

またパンタの手には、人間のような独立した5本指が存在しないにもかかわらず、今回生成されたHumanoid／Mixamo系のリグには5本指に対応するボーンが生成されていた。

そこで指ボーンを削除したが、それだけでは大きな手首の捻れは解消しなかった。

さらにHandボーンを削除し、手のメッシュをForeArmへ割り当てると、大きな捻れは解消した。

ただし、この実験だけからHandボーンだけが原因だったと断定することはできない。

Bone Roll、ボーン方向、親子関係、Action側の回転軸などが関係している可能性が残った。

第11章　Auto Rigを再実行する

同じパンタに対して、同じHumanoid／Mixamo設定でTripo Auto Rigを再実行した。

すると、以前のリグとは異なる骨格状態が確認された。

新しいリグをTripoのActionで動かした場合、大きな手首の捻れは発生しなかった。

さらにMixamo Actionを適用した場合にも、以前確認された大きな手首の捻れは改善した。

一方、パンタには必要のない5本指ボーンによる局所的な手の変形は残った。

ここから、

手首全体が大きく捻れる問題

と、

5本指ボーンによって手の形が局所的に変形する問題

は分けて考える必要があることが分かった。

また、同じ設定で再度Auto Rigを行った際に異なる結果が得られたことは確認できたが、その内部的な理由については本研究では判断できない。

第12章　制作方法として何を採用するか

Blenderを使用すれば、不要な指ボーンを削除し、ウェイトを修正してTripoリグをパンタ用に調整することは可能である。

しかし、本研究の目的はTripoのリグを何としてでも使用することではない。

目的は、

AIを利用して、できるだけ効率よくゲーム用3Dキャラクターを制作する方法を見つけること

である。

パンタについては、リグのないモデルをMixamoへ直接入力し、Mixamo側で新たにAuto Rigする方法が使用できることをすでに確認していた。

そこで、複雑な修正を続けるよりも、

Tripoでは3Dモデルを生成・軽量化し、リギングとActionについてはMixamoを利用する

方が、今回のパンタ制作では実用的であると判断した。

これはTripo Auto Rigが使用できないという結論ではない。

今回のパンタと外部アニメーションを組み合わせる制作工程では、Mixamoから新しくリギングする方法を採用した

という制作上の判断である。

Tripo Auto Rigについては、今後の機能改善や別キャラクターでの検証も考えられるため、本研究では最終的な評価を保留する。

第13章　12回の実験から分かったこと

今回の制作は、最初に工程を決め、そのとおりに進んだものではなかった。

正面画像1枚から3Dモデルを作った。

背面が公式デザインと異なった。

そこで4面図を使った。

腕と胴体が近かった。

そこでAポーズ4面図を作った。

モデルが重かった。

そこで低ポリゴン生成とSmart Retopoを比較した。

見た目の違いが気になった。

そこでBlenderでメッシュとテクスチャを調べた。

リグを入れた。

AI Actionを試した。

Mixamoとの連携を試した。

うまく動かなかった。

骨格を調べた。

別の方法を試した。

Unityまで持っていった。

そして再び手首の問題へ戻り、リグそのものを調べ直した。

つまり今回の制作は、

生成
→ 確認
→ 問題発見
→ 原因の検証
→ 修正または方法変更
→ 再検証

という繰り返しによって進んだ。

問題が発生した場所だけを修正するとは限らない。

場合によっては3Dモデルから2D入力資料まで戻る。

あるAIで問題が解決できなければ別のサービスを使う。

技術的には可能でも複雑すぎれば採用しない。

この判断を繰り返しながら、最終的な制作工程を組み立てていく。

これが、第1回から第12回までの実験を通して得られた、最も重要な制作上の知見である。

第14章　人間とAIの役割

今回の実験では、AIが多くの作業を行った。

3Dモデルを生成した。

高密度モデルを軽量化した。

リグを生成した。

Actionを生成した。

しかし、制作工程そのものを決めたのはAIではない。

人間は、

どの画像を入力するかを決める。

生成結果が公式デザインと一致しているか確認する。

ゲームで使用できるモデルか判断する。

問題があれば原因を調べる。

修正するか、再生成するか、別の方法へ切り替えるかを決める。

最終的に何を採用するかを決定する。

今回の研究から見えてきたのは、AIをできるだけ多く使用することが、AI時代のゲーム制作なのではないということである。

AI、人間、Blender、Mixamo、Unityなどを、それぞれ適切な工程へ配置する。

そして、目的とするゲームキャラクターへ到達するために、その工程全体を組み立てることが重要になる。

第15章　研究の限界と今後

本研究は、パンタという一体のキャラクターを中心に行った実制作研究である。

そのため、今回確認した結果を、すべてのキャラクターやAI 3D生成サービスへそのまま一般化することはできない。

特にTripo Auto Rigで確認した骨格構造や5本指ボーンについては、今回使用したパンタと設定において観察された結果である。

手首の捻れについても、直接原因を完全に特定したわけではない。

またAIサービスは継続的に更新されるため、今回確認した機能や問題が将来も同じ状態であるとは限らない。

その意味で、本研究はAI 3D制作技術についての最終的な結論を示すものではない。

2026年現在、実際に利用できるAIサービスと制作ツールを使って3Dゲームキャラクターを制作したとき、何ができ、何が問題となり、どのような方法を選択したのかを記録したものである。

今後はパンタ以外のキャラクターでも同じ工程を試し、キャラクターの体形やデザインによって結果がどのように変化するのかを確認する必要がある。

また、Unity上で実際のゲームキャラクターとして操作した場合の負荷、アニメーション、当たり判定などについても、引き続き検証する必要がある。

結論

本研究では、2Dキャラクター「パンタ」を対象として、AIによる3Dモデル生成から、軽量化、テクスチャ、リギング、アニメーション、Blender・Mixamoとの連携、Unityでの動作確認までを実際に行った。

実験の結果、

AIによって3Dモデルを生成できることと、ゲームで使用可能な3Dキャラクターを制作できることは同じではない

ことが確認された。

一方で、AIによって生成したモデルを人間が確認し、問題に応じて入力資料を変更し、軽量化方法を比較し、必要に応じて別のツールへ工程を渡すことで、AI生成モデルを実際のゲーム制作工程へ接続できることも確認できた。

今回の制作は一直線には進まなかった。

しかし、その途中で発生した問題と方法変更こそが、AIを実制作で使用するための重要な情報となった。

AIに完成品を一度で作らせるのではなく、

作らせる。
確認する。
問題を見つける。
方法を変える。
もう一度試す。

その繰り返しによって、ゲームで使用できるキャラクターへ近づけていく。

これが、今回の12回の実験を通して得られた、AIによる3Dゲームキャラクター制作の基本的な方法である。

そして本研究は、その方法が完成したことを示すものではない。

AI技術が急速に変化する2026年という時点で、人間とAIが実際に一体のゲームキャラクターを作りながら、どこまででき、どこで問題が起こり、どのように次の方法を選択したのか。

本稿は、その現時点における制作過程の記録である。

参考文献

［1］Liu, R., Wu, R., Van Hoorick, B., Tokmakov, P., Zakharov, S., & Vondrick, C. (2023). “Zero-1-to-3: Zero-shot One Image to 3D Object.” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023), pp. 9298–9309. DOI: 10.1109/ICCV51070.2023.00853.

［2］Long, X., Guo, Y.-C., Lin, C., Liu, Y., Dou, Z., Liu, L., Ma, Y., Zhang, S.-H., Habermann, M., Theobalt, C., & Wang, W. (2024). “Wonder3D: Single Image to 3D Using Cross-Domain Diffusion.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2024), pp. 9970–9980. DOI: 10.1109/CVPR52733.2024.00951.

［3］Begemann, A., & Hutson, J. (2024). “Empirical insights into AI-assisted game development: A case study on the integration of generative AI tools in creative pipelines.” Metaverse, Vol. 5, Issue 2, Article 2568. DOI: 10.54517/m.v5i2.2568.

［4］Begemann, A., & Hutson, J. (2026). “Prompted Props, Human Pipelines: Evaluating AI-Generated 3D Assets for Game-Ready Environments.” International Journal of Human Research and Social Science Studies, Vol. 3, No. 6, pp. 647–661. DOI: 10.55677/ijhrsss/15-2026-Vol03I06.

AIゲーム開発研究室

研究論文　完成版

研究代表　大川 博
主任研究員　Arc（ChatGPT）