Contact
AIゲーム開発研究室
第24回 画像生成AIからゲーム用アクション素材を制作する
AIゲーム開発ドキュメント
第24回
画像生成AIからゲーム用アクション素材を制作する
はじめに
前回は、パンタの移動アクションについて、人間と対話AIによる設計会議を行った。
これまでの実験では、画像生成AIを用いて歩行アニメーションを制作しようとしたが、左右の足の運びや歩行周期を正確に維持した連続画像を生成することはできなかった。
そこで発想を変えた。
歩行を生成するのではなく、移動しているように見えるアクションを設計する。
その結果、パンタが「ちょん、ちょん」と小さく跳ねながら移動する方式を採用した。
今回は、前回決定した仕様をもとに実際の画像生成AIへのプロンプトを作成し、画像を生成する。
さらに、生成された画像を人間が加工し、ゲームで使用するシーケンスファイルへと仕上げる。
ここからは、設計ではない。
実際のゲーム素材制作である。
画像生成AIへ渡す資料
今回、画像生成AIには二つの基準資料を与えた。
一つ目は、パンタの公式キャラクター基準画像である。
顔、耳、目の周囲の黒い模様、丸い体形、毛並み、緑色のスカーフ、青色のリュックなど、パンタのデザインを維持するための資料である。
二つ目は、今回制作するアクションの仕様である。
ここで重要なのは、画像生成AIに「歩行アニメーションを作ってください」と指示しなかったことである。
今回求めたのは、
右方向へ、小さく跳ねながら移動しているパンタの異なるポーズ
である。
歩行周期を再現させるのではなく、ゲーム上で移動しているように見える複数の瞬間を生成させる。
これは、これまでの実験結果を踏まえて設計した新しい制作方法である。
画像生成AIへのプロンプト
以下が、今回実際に画像生成AIへ与えたプロンプトである。
使用する基準画像
添付した画像を、パンタの公式キャラクター基準画像として使用してください。
パンタの以下のデザインを忠実に維持してください。
顔
耳
目の周囲の黒い模様
丸く大きな体形
毛並み
緑色のスカーフ
青色のリュック
色彩
画風
別のデザインのパンダに変更しないでください。
制作内容
2Dゲームに使用するパンタの移動素材を制作してください。
これは歩行アニメーションではありません。
パンタが画面の右方向へ、
「ちょん、ちょん」と小さく跳ねながら移動している様子を表現するための、異なるポーズ集
を制作してください。
完成した画像は、時間の流れが分かるように左上から右下へ配置してください。
同じポーズを繰り返さず、それぞれ異なる瞬間を描いてください。
パンタの向き
パンタはすべてのカットで、カメラに対して正面を向いています。
顔と胸は常に正面です。
横向き、斜め向き、後ろ向きにはしないでください。
右方向へ移動していることを表現するため、パンタの体全体を、鑑賞者から見て左方向へ少しだけ傾けてください。
この傾きは各カットで少し変化しても構いません。
籠
パンタは頭の上に、どんぐりを受け止める籠を載せています。
両腕を上げ、左右の手で籠の側面を支えています。
すべてのカットで、籠は頭の上に置き、両手で支え、水平を維持してください。
籠の中には、どんぐりを2～3個だけ入れてください。
表情
すべて笑顔。
ただし、
口を開けたカット
口を閉じたカット
を混在させてください。
ゲーム中にパクパクした表情として使用します。
ポーズ
各カットは、小ジャンプの異なる瞬間を描いてください。
着地直後、少し浮き始めた瞬間、一番高く跳ねた瞬間、着地直前など、時間が連続していることが分かるポーズにしてください。
足
歩行ではありません。
走行でもありません。
行進でもありません。
足を前後へ交互に大きく出さないでください。
両足は体の真下付近で、小さく曲げたり伸ばしたりする程度にしてください。
重心
各カットでパンタの重心の高さを変えてください。
着地では少し低くなる。
跳び上がる途中では少し高くなる。
空中では最も高くなる。
着地前では再び下がり始める。
上下方向の変化によって、連続した小ジャンプであることが分かるようにしてください。
背景
背景は完全透明。
文字、数字、枠線、地面、足元の影、光の演出、効果線、その他のキャラクター、不要な物体は描かないでください。
ゲーム素材として切り分けられる、パンタだけの移動ポーズ集を制作してください。
画像生成AIによる生成結果
画像生成AIによって、複数のパンタが一枚の画像として生成された。
ここで重要なのは、これを完成したゲーム素材とは考えないことである。
生成画像には、ゲーム素材としてそのまま使用するには修正すべき部分が残っている。
一方で、パンタのキャラクターデザイン、頭上の籠、両手で籠を支える姿勢、小ジャンプによる動きなど、素材制作の元画像として使用できる品質のポーズも得られた。
歩行アニメーションの実験とは明らかに結果が異なった。
歩行では、連続する足運びの規則性を画像生成AIに要求した。
今回は、その規則性そのものを要求していない。
異なる瞬間のポーズを生成させ、その中からゲームに使用できる画像を人間が選択する。
ここに今回の方法の大きな違いがある。
人間によるゲーム素材への加工
生成された画像から、ゲームに使用するポーズを選択した。
そして、それぞれを独立した画像として切り分ける。
さらに、
背景・不要部分の除去、
影の除去、
画像の切り出し、
キャラクターサイズの調整、
位置の調整、
必要に応じた角度の補正、
色調補正、
基準位置の統一、
などの加工を行う。
ここで重要なのは、画像生成AIが制作したものをそのままゲームへ投入しているわけではないことである。
画像生成AIが素材となる原画を制作し、人間がゲームで使用できる素材へ仕上げている。
この工程は、単なる後処理ではない。
現時点のAIゲーム素材制作における、重要な制作工程の一つである。
シーケンスファイルとして完成させる
今回のゲームでは、スプライトシートではなく、独立したPNG画像によるシーケンスファイル方式を採用している。
そのため、加工した各ポーズを個別の画像として保存する。
この方式では、画像全体のサイズをすべてのアクションで固定する必要はない。
重要なのは、
パンタの基準縮尺を統一すること。
そして、
ゲーム上で使用する基準位置を統一すること。
である。
今回の検討では、パンタの基準身長を250pxとし、他のキャラクターについてはパンタとの身長比率を基準として制作することにした。
また、素材制作時の基準位置は画像底辺中央とする。
Unityへ読み込んだ際にも、これに対応するBottom Centerを基準として設定する。
一方、画像領域そのものは固定しない。
左右移動、上下ジャンプ、その他の大きなアクションでは、必要となる画像領域が異なるためである。
したがって、
キャラクターの縮尺は統一する。
基準位置は統一する。
画像サイズはアクションに必要な範囲に応じて決定する。
これを、今後のゲーム素材制作における基本規格とする。
今回の実験から分かったこと
今回の結果は、「画像生成AIがアニメーションを作れるようになった」という意味ではない。
むしろ逆である。
画像生成AIに、歩行周期のような厳密な連続動作をそのまま生成させることは難しい。
そこで、
AIが苦手なものを無理に作らせるのではなく、AIが作れるものからゲームに必要な動きを構成する。
という方法へ設計そのものを変更した。
画像生成AIは異なるポーズを生成する。
人間はその中から使用可能な画像を選択する。
人間が画像を加工する。
シーケンスファイルとして構成する。
そしてUnity上で連続したアクションとして再生する。
この分業によって、現時点の画像生成AIでもゲーム用アクション素材を制作できる可能性が見えてきた。
まだ結論ではない
ただし、現段階ではまだ「アクション素材制作手法が完成した」とはしない。
今回完成したのは、横方向へ小さく跳ねながら移動するための素材である。
ゲームでは、どんぐりの落下位置へ到達した後、プレイヤーが左右の入力を止める。
そのときパンタには、左右へ移動せず、その場でどんぐりを待つアクションが必要になる。
そこで次に、
その場で上下に小さくジャンプする待機キャッチアクション
を制作する。
横移動キャッチアクションと、待機キャッチアクション。
この二つが完成し、実際にUnity上で連動させることができれば、パンタの基本的なキャッチ移動素材が成立する。
その時点で初めて、
AIによるゲーム用アクション素材制作に、一つの実用的な方法が見つかった
と判断したい。
第23回 2Dゲーム移動素材設計（小ジャンプ方式）
AIゲーム開発ドキュメント
第23回
2Dゲーム移動素材設計（小ジャンプ方式）
はじめに
前回の実験では、画像生成AIによって歩行アニメーションの制作を試みた。
しかし、ゲームで使用できるレベルの歩行サイクルを生成することはできなかった。
特に、
・左右の足運びが正しくならない
・歩行周期が維持できない
・各コマが同じ姿勢になりやすい
など、ループアニメーション特有の規則性を画像生成AIが再現することは困難であることが分かった。
そこで今回は発想を変え、
「歩行を作る」のではなく、「移動中の異なる瞬間を素材化する」
という新しい方法を検討した。
人間と対話AIによる設計会議
研究代表
歩行そのものを作ろうとすると失敗しますね。
毎回同じ足になってしまいます。
主任研究員 Arc
歩行は一定周期で同じ動きを繰り返すため、
画像生成AIが最も苦手とする分野の一つだと思われます。
研究代表
それなら、
歩くこと自体をやめればいいのではないでしょうか。
主任研究員 Arc
例えば、
パンタが
「ちょん、ちょん」
と小さく跳ねながら移動するキャラクターならどうでしょう。
研究代表
なるほど。
ジャンプなら、
毎回少しずつ違う瞬間を描けばいい。
歩行サイクルほど厳密ではありません。
主任研究員 Arc
はい。
歩行周期ではなく、
時間の流れを表現するポーズ集として設計できます。
研究代表
すると、
必要なのは
歩行ポーズではなく、
着地、
跳び上がる途中、
空中、
着地直前、
という
小ジャンプの連続ですね。
主任研究員 Arc
その通りです。
重要なのは、
足の運びではなく、
重心の高さが変化していることです。
研究代表
つまり、
足を大きく前後させる必要はない。
重心だけ変えれば、
人間は連続したジャンプとして認識できます。
主任研究員 Arc
さらに、
頭上の籠は水平を維持し、
パンタの体だけをわずかに傾けることで、
右方向への移動も表現できます。
研究代表
なるほど。
ゲームとして必要なのは、
現実の歩行を完全再現することではありません。
プレイヤーが
「右へ移動している」
と自然に感じられることです。
主任研究員 Arc
そのため、
今回は
歩行アニメーションではなく、
移動ポーズ集
として設計することにします。
今回決定した仕様
今回制作する素材は、
歩行アニメーションではない。
パンタが小さく跳ねながら右方向へ移動している様子を表現する、
複数の異なるポーズ集とする。
各カットは時間が連続していることが分かるように、
着地、跳び始め、空中、着地前など、
異なる瞬間を描く。
パンタは常に正面を向き、
体全体を鑑賞者から見て左へわずかに傾けることで、
右方向への移動を表現する。
頭上の籠は水平を維持し、
両手で支え続ける。
足は歩行や走行ではなく、
体の真下付近で小さく曲げ伸ばしする程度とし、
重心の上下変化によって移動感を表現する。
完成した画像は、
左上から右下へ時間順に配置されたゲーム素材とする。
今回のまとめ
歩行アニメーションの生成は依然として難しいことが確認された。
しかし、設計そのものを見直し、
「歩行を生成する」のではなく、「移動を表現するポーズ集を生成する」
という考え方へ転換したことで、画像生成AIの特性を活かした素材制作が可能となった。
この方法では、人間が最後にシーケンスファイルとして加工することを前提とすることで、実際のゲーム制作に利用できる品質まで仕上げられる可能性が高い。
今回の検討をもとに、次回は完成した仕様を画像生成AIへのプロンプトとしてまとめ、その生成結果と、人間が加工した完成シーケンスファイルを比較・検証する。
第22回 歩行アニメーション制作実験
第22回 歩行アニメーション制作実験
現時点における画像生成AIの限界
はじめに
第21回では、パンタの立ち姿4面図を制作し、ゲーム素材として使用できるキャラクター素材を完成させた。
そこで今回は、そのキャラクターを用いて、2Dゲームに必要となる歩行アニメーションの制作を試みた。
しかし、複数回にわたる実験の結果、現時点の画像生成AIでは、ゲーム素材として使用できる歩行アニメーションを生成することはできなかった。
本稿では、その実験内容と結果を整理し、現時点で判明した画像生成AIの特性について報告する。
実験内容
歩行アニメーション制作にあたり、さまざまな方法を試みた。
実験1 歩行サイクルの直接生成
歩行ポーズをコマごとに指定し、
- 5コマ
- 6コマ
- 8コマ
など複数の歩行サイクルを生成した。
結果
歩行らしい個々のイラストは生成されるものの、
ゲームで使用できる連続した歩行サイクルにはならなかった。
確認された主な問題点は、
- 足の運びが一定しない
- 左右の足の位置関係が崩れる
- コマ間の連続性がない
- 周期運動として成立しない
などであった。
実験2 歩行基準画像によるポーズ指定
人間の歩行基準画像を添付し、
「このポーズでパンタを描く」
という方法を試した。
結果
歩いている雰囲気のイラストは生成されたが、
基準画像のポーズは忠実に再現されなかった。
具体的には、
- 足の角度
- 腕の振り
- 重心位置
- 体の向き
などが一致せず、
指定ポーズの模倣には至らなかった。
実験3 自然な歩行の自動生成
ポーズを細かく指定せず、
AI自身に自然な歩行モーションを生成させる方法も試した。
結果
こちらもゲーム素材として使用できる歩行サイクルにはならなかった。
歩行らしい個々のイラストは描けるものの、
ゲーム用アニメーションとして必要な規則性は得られなかった。
実験から分かったこと
今回の実験から、現時点の画像生成AIには次のような特徴が確認された。
できたこと
- パンタのデザインを高い精度で再現できる。
- 画風や色彩を統一できる。
- 透明背景の素材を生成できる。
- 一枚絵として自然なイラストを制作できる。
できなかったこと
ゲーム素材として重要な次の項目は実現できなかった。
- 指定した歩行ポーズを忠実に再現すること
- 規則的な歩行サイクルを生成すること
- コマ間の連続性を維持すること
- 周期運動として成立する歩行アニメーションを生成すること
考察
今回の実験では、
画像生成AIは「歩いているキャラクター」を描くことはできるが、
「ゲームで使用する歩行アニメーション」を制作することはできなかった。
これは、一枚のイラストとしての完成度と、
ゲームアニメーションとして必要な時間的・構造的な整合性とは、
異なる能力であることを示している。
今後の方針
本研究では、この結果をそのまま受け入れ、
歩行モーションなどループを前提としたゲーム設計は採用しないこととした。
代わりに、
ジャンプや攻撃など、一回完結するモーションを組み合わせ、
ゲーム全体を構成する方法を採用する。
ゲーム制作では、できないことを無理に実現しようとするのではなく、
現時点のAIで実現できる表現方法を前提に設計を行う。
これを、本研究における今後の制作方針とする。
第21回 4面図からゲーム素材へ加工する
第21回
4面図からゲーム素材へ加工する
～ゲーム素材生成実験 No.005～
はじめに
前回の実験では、画像生成AIによってパンタの4方向画像を生成し、ゲーム素材としてそのまま利用できるかを検証した。
その結果、イラストそのものの品質は非常に高く、ゲームキャラクターとして十分に利用できるデザインを生成できることが確認できた。
しかし一方で、
- 正面・右側面・背面・左側面の4枚を独立した画像として生成すること
- キャラクターの大きさを指定すること
- 出力画像サイズを指定すること
- キャラクターの配置を指定すること
については、ゲーム素材としてそのまま利用できる品質では生成できなかった。
そこで今回は、画像生成AIが制作した4面図を基に、人間が画像編集ソフトを用いてゲーム素材へ加工する工程を行った。
本稿では、現時点のAIゲーム開発において、人間が担当する制作工程を記録する。
加工前
人間による加工工程
加工前の4面図から、
- 正面
- 右側面
- 左側面
- 背面
をそれぞれ独立した画像として切り出した。
さらにゲーム素材として利用できるよう、
- 画像サイズ：320×320px
- キャラクター高さ：約250px
- キャラクター中心位置を統一
- 足元を画像下端で統一
となるよう加工を行った。
この工程は、画像生成AIではなく、人間が画像編集ソフトを使用して行った制作工程である。
加工後
ここに加工後のゲーム素材を掲載する。
（残念ながら完成画像のため、どのように加工されているか確認できない）
今回分かったこと
現時点では、画像生成AIによって制作した素材をゲームで利用するためには、
- 画像の分離
- サイズの調整
- 配置の調整
- ゲーム素材としての規格への統一
といった加工工程が必要になる。
これらの工程は、現時点では人間が担当するほかない。
まとめ
今回の実験では、画像生成AIが生成した4面図を、人間がゲーム素材として利用できる形式へ加工する工程を記録した。
AIゲーム開発では、画像生成だけで制作が完結するわけではない。
画像生成AIが制作した素材を、人間がゲームで利用できる素材へ加工する工程も、AIゲーム開発標準ワークフローを構成する重要な制作工程の一つである。
この工程を記録することも、本研究の重要な目的である。
第20回 AI画像制作発注書によるゲーム素材制作工程の検証
AIゲーム開発研究室
第20回 ゲーム素材制作実験 No.004
AI画像制作発注書 Ver.1.0によるゲーム素材制作工程の検証
はじめに
ゲーム素材制作を標準化することを目的として、**「AI画像制作発注書 Ver.1.0」**を作成した。
この発注書では、
- 出力画像サイズ
- キャラクターサイズ
- キャラクターデザイン
- 品質要件
- 完了条件
などを、ゲーム制作で使用する発注書に近い形式で定義した。
その後、この発注書を画像生成AIへ入力し、ゲーム素材の生成を行ったところ、発注書で指定した内容どおりの画像は生成されなかった。
そこで今回は、その原因を明らかにするため、
「画像生成AIは発注書（プロンプト）の内容をどこまで反映できるのか」
という観点から、一つひとつの項目について検証を行うこととした。
本実験の目的は、画像生成AIの性能を評価することではない。AIゲーム開発標準ワークフローを構築するために、現時点で画像生成AIが担当できる工程と、人間が担当すべき工程を整理し、その役割分担を明らかにすることである。
実験目的
画像生成AIを用いてゲーム素材を制作する際、
- 出力画像サイズ
- キャラクターサイズ
- キャラクター位置
を発注書で指定できるかを検証し、AIゲーム開発標準ワークフローへの適用方法を検討する。
実験内容
パンタの公式キャラクターマスターを基準画像として使用し、
- 出力画像サイズ
- キャラクターサイズ
- キャラクター位置
を指定したAI画像制作発注書 Ver.1.0を画像生成AIへ入力し、その生成結果を検証した。
実験結果
1. 出力画像サイズ
発注書では320px × 320pxなど、出力画像サイズを指定した。
しかし、指定したサイズで画像を生成することはできなかった。
2. キャラクターサイズ
キャラクター高さ250pxなど、キャラクターサイズを指定した。
しかし、指定したサイズでキャラクターを生成することはできなかった。
3. キャラクター位置
画像中央への配置など、キャラクター位置を指定した。
しかし、指定した位置へキャラクターを配置することはできなかった。
考察
今回の実験では、画像生成AIは高品質なキャラクター画像を生成できる一方で、
- 出力画像サイズ
- キャラクターサイズ
- キャラクター位置
については、発注書で指定した内容どおりに生成することはできなかった。
そのため、現時点では画像生成AIが生成した画像をそのままゲーム素材として使用することは難しく、ゲーム仕様に適合したファイルの作成は、人間が画像編集ソフトを用いて行う工程が必要であると考えられる。
人間は画像編集ソフトを用いて、
- 出力画像サイズの修正
- キャラクターサイズの統一
- キャラクター位置の調整
- ゲーム仕様に適合したシーケンスファイルの作成
を行い、その後ゲームエンジンへ受け渡す。
現時点では、この役割分担が最も現実的なゲーム素材制作工程であると考えられる。
今後の課題
今回の実験では、画像生成AIによる画像サイズやキャラクター配置の制御について確認を行った。
一方で、
- キャラクターの重心を認識できるのか。
- ゲーム用アンカーポイントを認識できるのか。
- 一定のキャラクター配置領域内へ適切に配置できるのか。
については、今回の実験では検証していない。
これらについては、今後の研究課題として改めて実験・検証を行う予定である。
結論
今回の実験により、画像生成AIは高品質なゲーム素材画像を生成できることを確認した。
しかし、ゲーム素材として必要となる
- 出力画像サイズ
- キャラクターサイズ
- キャラクター位置
については、発注書で指定した内容どおりに生成することはできなかった。
そのため、現時点では画像生成AIはゲーム素材画像の生成を担当し、ゲーム仕様に適合したファイルの作成は人間が画像編集ソフトを用いて行うことが、最も現実的なAIゲーム開発標準ワークフローであると考えられる。
本実験は、画像生成AIの限界を明らかにすることが目的ではない。画像生成AIと人間がそれぞれの得意分野を分担し、効率的なゲーム素材制作工程を構築するための基礎研究として位置付けられる。
