AIゲーム開発研究室

ゲーム開発ドキュメント

5枚のアクション素材をUnity AI Agentで動かす

これまで「森のどんぐり大作戦」では、画像生成AIを使ってキャラクターのゲーム素材を制作してきました。

今回から、その素材を実際にUnityへ組み込み、ゲーム上の動きとして成立させていきます。

今回使用したキャラクターは、タヌキのポンです。

ポンについては、

大喜びアクション
右移動キャッチアクション
上下キャッチアクション

の素材制作が完了しています。

また今回から、キャラクターのアクションは基本的に5枚の画像によるパラパラ漫画方式へ統一することにしました。

パンタについても、今後素材を作り直し、同じ5枚構成へ統一する予定です。

---

日本語でUnity AI Agentへ指示する

今回、最初に大きな進展がありました。

これまでUnity AI Agentへの指示には、主に英語を使用していました。

しかし今回、日本語で現在のHierarchyやGameObjectの構成を確認するよう指示したところ、Unity AI Agentは日本語の指示内容を理解し、現在のシーン構成を確認することができました。

さらにその後、

新しいキャラクターの追加

アニメーションの作成

左右移動の実装

既存キャラクターを参考にした操作方法の適用

不具合の修正

描画順の修正

まで、日本語による指示で実行することができました。

これは単にUnity AI Agentへ日本語で質問できるということではありません。

日本語による自然言語の指示から、既存のゲームプロジェクトを確認し、実際の実装と修正まで行うことができた

ということです。

これによって、

人間 ⇄ 対話AI

↓

日本語による実装指示

↓

Unity AI Agent

↓

Unity上の実装

という流れでゲーム開発を進められることが確認できました。

---

ポンのゲーム素材をUnityへ追加する

Unityプロジェクト内では、すでにパンタについて、

Assets / Art / Characters / Panta

というフォルダが作成されています。

そこでポンについても、

Assets / Art / Characters / Pon

というフォルダを作成し、制作したゲーム素材を格納しました。

右移動キャッチアクションについては、

Pon_Catch_Right_01
Pon_Catch_Right_02
Pon_Catch_Right_03
Pon_Catch_Right_04
Pon_Catch_Right_05

という5枚の素材を使用します。

01から05までの順序が、アニメーションの基本的な再生順になります。

---

5枚の右移動キャッチアクション

今回使用する5枚は、従来のアニメーション制作のように、最初から厳密な連続動作として制作したものではありません。

画像生成AIに、

「このキャラクターなら、どのように動けばかわいいか」

という余地を残し、複数のアクション候補を生成させました。

その中から、人間がゲームに使えそうなポーズを選択しています。

この方法は、これまでの素材制作実験から生まれた**「候補ポーズ方式」**です。

画像生成AIに完成したアニメーションそのものを要求するのではなく、画像生成AIには多様な動作候補を作らせ、その中から人間が使えるものを選びます。

今回の5枚にも、

地面を蹴るようなポーズ、

身体が浮いたようなポーズ、

足を前後へ大きく動かしたポーズなど、

それぞれ異なる身体表現が含まれています。

これらを01から05の順番で切り替えながら、Unity側でキャラクターそのものを横方向へ移動させました。

その結果、5枚の静止画像から、ポンが元気よく移動しているアクションを作ることができました。

---

左移動専用素材を作らない

ポンには左移動専用の画像素材を制作していません。

これは、すでに実装しているパンタと同じ方法です。

右向きの画像をUnityのSpriteRendererによって左右反転することで、左方向への移動を表現します。

つまり、

右移動用5枚を制作する

↓

右移動ではそのまま使用する

↓

左移動では同じ5枚を左右反転する

という方法です。

これによって画像生成AIに左右両方の素材を作らせる必要がなくなり、必要なゲーム素材の数を減らすことができます。

---

既存の実装を参考に新しいキャラクターを実装する

今回、Unity AI Agentには、すでに実装されているパンタの移動方法を確認したうえで、ポンにも同様の操作方法を適用するよう指示しました。

ポンは、

矢印キーまたはA/Dキーで左右移動

右移動では5枚の右向き画像を再生

左移動では同じ画像を左右反転

という操作になりました。

さらに移動速度については、

パンタ：4.0

ポン：2.5

となり、ポンはパンタより遅い移動速度になっています。

この実験では、Unity AI Agentが既存のキャラクター実装を確認し、その構造を参考にしながら新しいキャラクターへ適用することができました。

これは、キャラクターが増えていく今後の実装を考えるうえでも重要な結果です。

---

画像生成AIが作ったポーズは、そのまま「運動」ではない

今回の実験で、非常に重要なことが分かりました。

画像生成AIによって作られた5枚のポーズを並べれば、それだけでゲーム上の運動が完成するわけではありません。

画像生成AIが作ったものは、あくまで動作の候補となる静止したポーズです。

そのポーズを見て、

どの画像を使うのか

どの順番に並べるのか

どのポーズを地面付近に置くのか

どのポーズを空中に置くのか

といった運動上の意味を判断したのは人間です。

例えば、地面を蹴っているように見えるポーズをジャンプの最高点に配置すれば、不自然な動きになります。

反対に、空中にいるように見えるポーズを地面に配置しても、運動としては不自然です。

つまり、今回行われたことは、

画像生成AIが動作候補を生成する

↓

人間が候補を選択する

↓

人間が各ポーズを観察し、運動上の意味を判断する

↓

人間が時間的な順序や位置関係を決める

↓

Unity AI Agentがそれをゲーム上のアニメーションとして実装する

という工程です。

ここで人間は、画像生成AIとUnity AI Agentの間を単に仲介しているだけではありません。

画像から運動を読み取る役割

を担っています。

---

静止画像から運動を構成する

これは「候補ポーズ方式」を考えるうえでも重要な発見です。

画像生成AIは、必ずしも正確な連続アニメーションを作る必要はありません。

むしろ、多様で魅力的なポーズを生成することに能力を使わせることができます。

そして人間が、

どのポーズを採用するか

どのような順序で使用するか

ゲーム上でどのような動きとして解釈するか

を判断します。

つまり、

画像生成AIが「動きの可能性」を作り、人間がそこから「運動」を構成する。

その構成された運動を、Unity AI Agentがゲームとして実装します。

今回の実験によって、素材制作段階で生まれた「候補ポーズ方式」が、実際のゲーム実装までつながりました。

---

Unity AI Agentは画像から運動を判断できるのか

一方で、ここには今後の検証課題もあります。

Unity AI Agentへ5枚の画像を渡しただけで、

「これは踏み切り」

「これは上昇」

「これは最高点」

「これは下降」

「これは着地」

といった運動上の意味を判断し、自動的に適切な動きを構築できることは、今回の実験では確認していません。

今回、その判断を行ったのは人間です。

したがって現段階では、

画像生成AIがポーズを生成する

↓

人間がポーズを解釈する

↓

対話AIと相談しながら実装指示を作る

↓

Unity AI Agentが実装する

という役割分担になっています。

将来的にUnity AI Agentあるいは別のAIが画像を解析し、ポーズの運動上の意味まで理解して、自動的にアニメーションを構成できるのか。

これは今後、実際に検証してみる価値があります。

---

上下キャッチアクションを実装する

続いて、

Pon_Catch_Up_01 ～ 05

の5枚を使って、左右へ移動していないときの上下キャッチアクションを実装しました。

左右入力がないときには上下キャッチアクションを再生し、左右入力が行われると右移動キャッチアクションへ切り替えます。

左方向へ移動する場合には、右移動素材を左右反転します。

この段階ではUnity側から新たなTransformのY方向移動は追加していません。

まず人間が選択・構成した5枚のポーズをそのまま切り替え、どのようなアクションとして見えるかを確認することにしました。

---

ループすると一瞬キャラクターが消えた

上下キャッチアクションを実際にPlayしてみると、不具合が発生しました。

5枚の画像を繰り返し再生したとき、ループの境界でポンが一瞬消えてしまったのです。

実装そのものは完了しており、5枚の画像も表示されています。

しかし実際のゲーム画面を見ると、05から01へ戻る部分で一瞬キャラクターが消えていました。

そこで人間が問題を発見し、

05から01へループするときに空白時間やSpriteがNoneになる部分がないか確認する

よう、日本語でUnity AI Agentへ修正を指示しました。

Unity AI AgentがAnimation Clipのキーフレームや再生時間を修正した結果、一瞬消える問題は解消されました。

---

「実装できた」と「正しく動いた」は違う

この不具合は、AI Agentによるゲーム開発を考えるうえで重要です。

Unity AI Agentはアニメーションを作成し、実装を完了しました。

しかし、

実装が完了したことと、ゲームとして正しく動いていることは同じではありません。

実際のゲーム画面をPlayして確認したことで、人間は初めて一瞬の表示消失に気づきました。

今回の流れは、

Unity AI Agentが実装する

↓

人間がPlayする

↓

人間が問題を発見する

↓

対話AIと原因・修正方法を検討する

↓

Unity AI Agentへ修正を指示する

↓

Unity AI Agentが修正する

↓

人間が再びPlayして確認する

となりました。

---

キャラクター同士の描画順を修正する

さらに別の問題が見つかりました。

パンタとポンが同じ場所付近に移動すると、キャラクター同士の前後関係が安定しませんでした。

そこでSpriteRendererの描画順を調整し、

Panta：Order in Layer 1

Pon：Order in Layer 2

として、ポンをパンタより手前に表示するようにしました。

これによって、キャラクター同士の前後関係は安定しました。

しかし、ここで新しい問題が発生しました。

---

一つの問題を直したら、別の問題が発生した

ポンをパンタより手前に表示するよう修正した結果、今度はポンが画面下部の前景の草よりも手前に表示されてしまいました。

本来の画面構造は、

背景

↓

キャラクター

↓

前景

でなければなりません。

キャラクター同士の描画順だけに注目して修正した結果、ゲーム画面全体の描画関係が崩れてしまったのです。

そこで今度はUnity AI Agentへ、ポンとパンタだけではなく、

Forest_Background

Panta

Pon

Forest_Foreground_Top

Forest_Foreground_Bottom

を含めて、描画順全体を確認するよう指示しました。

最終的に、下部前景については、

Forest_Foreground_Bottom：Order in Layer 10

となり、

背景

↓

Panta：1

↓

Pon：2

↓

前景：10

という描画関係になりました。

これによって、

ポンはパンタより手前

しかし、

パンタとポンはともに前景の草より奥

という目的の画面構造が成立しました。

---

AIによる局所修正とゲーム全体の整合性

今回の描画順の問題は、非常に興味深い結果です。

最初に人間が発見した問題は、

「パンタとポンの前後関係がおかしい」

という局所的な問題でした。

Unity AI Agentは、その問題を修正しました。

しかし、その修正によって、

「キャラクターと前景との前後関係がおかしい」

という別の問題が発生しました。

つまり、

局所的には正しい修正であっても、ゲーム全体では新しい問題を発生させる場合がある。

ということです。

そして、この新しい問題を発見したのも人間でした。

AI Agentによる実装では、AIが処理を完了したという報告だけを見て作業を終了することはできません。

人間が実際のゲーム画面を見て、

本当に意図した結果になっているのか

を確認する必要があります。

---

AIの実行には人間の許可が必要になる場合がある

今回の作業中、Unity AI Agentが処理を実行しようとした際、

Run unsafe command

This command performs non-revertable actions.

という確認画面も表示されました。

人間が「View」を選択して確認しましたが、この画面では具体的に何を実行するのかまでは確認できませんでした。

そのうえで人間が実行を許可し、処理を続行しました。

これはAI Agentによる自動化を考えるうえで、別の重要な問題を示しています。

AI Agentが自律的に作業できる範囲が広がっても、すべてを無条件で実行するわけではありません。

一定の操作では、人間の許可が必要になります。

一方で、人間が許可を判断するために十分な情報が提示されているのかという問題も残ります。

この点についても、今後の実験で継続して確認していきます。

---

Unity AIのクレジットを確認する

今回の実験終了後、Unity DashboardからUnity AIのクレジット残量を確認しました。

2026年9月2日の作業終了時点で、

月額クレジット：1,000

残りクレジット：739

と表示されました。

次回のクレジット更新日は、

2026年10月2日

です。

Unity AI Agentは無制限に使用できるわけではありません。

したがって今後は、単にAI Agentで何ができるかだけではなく、

一つのゲームを完成させるために、実際にどの程度のAIクレジットを必要とするのか

という点も実制作を通して観察していきます。

これはAIを中心としたゲーム開発方法論を考えるうえで、実用面から重要な検証項目になります。

---

画像生成AIとUnity AI Agentがつながった

今回の実験によって、これまで別々に研究してきた、

画像生成AIによるゲーム素材制作

と、

Unity AI Agentによるゲーム実装

が、実際の制作工程としてつながりました。

現在の流れを整理すると、

公式キャラクター基準

↓

公式4面図

↓

画像生成AIによるアクション候補生成

↓

人間による候補選択

↓

人間によるポーズの解釈とアクション構成

↓

Unityへの素材配置

↓

対話AIによる実装指示の設計

↓

Unity AI Agentによる実装

↓

人間によるPlay確認

↓

問題・違和感の発見

↓

対話AIとの検討

↓

Unity AI Agentによる修正

↓

人間による再確認

となります。

---

AI時代のゲーム開発における人間の役割

今回の実験では、画像生成AIもUnity AI Agentも実際のゲーム開発に大きく関わりました。

しかし同時に、人間の役割も明確になってきました。

画像生成AIが作った候補から、どれを採用するのか。

そのポーズをどのような運動として解釈するのか。

実際に動かしたときに魅力的に見えるのか。

一瞬キャラクターが消えるという小さな異常に気づけるのか。

キャラクター同士の描画順を直した結果、前景との関係がおかしくなったことに気づけるのか。

これらは今回、人間が行った仕事です。

したがってAI時代のゲーム開発における人間は、単にAIへ命令を入力する存在ではありません。

AIが生成した結果を見て、意味を読み取り、選択し、評価し、次の方向を決める存在

として機能しています。

---

今回の実験から

今回行ったことだけを見れば、

「ポンをUnity上で動かした」

という小さな作業です。

しかし、その制作過程を記録すると、AI時代のゲーム開発における重要な構造が見えてきました。

画像生成AIが候補を生成する。

人間が選択し、運動として解釈する。

対話AIと人間が実装方法を検討する。

Unity AI Agentが実装する。

人間がゲームをPlayする。

問題を発見する。

再びAIへ戻す。

そして、その結果によって次の設計や実装も変わっていきます。

つまりAI時代のゲーム開発とは、

人間が完成形を先に固定し、それをAIに作らせるだけの一方向の工程ではありません。

人間と複数のAIが、生成・選択・解釈・実装・検証・修正を繰り返し、その結果によって設計そのものも更新しながら、ゲームを完成へ近づけていく開発方法です。

今回、画像生成AIによって制作したポンのアクション素材をUnity AI Agentによって実装したことで、素材制作段階で見つけた**「候補ポーズ方式」と、Unity AI Agentを使ったAIによるゲーム実装**が、初めて一本の制作工程としてつながりました。

そして実装して終わるのではなく、その結果を人間が見て問題を発見し、再びAIへ戻すところまで実際に行われました。

これは、本研究で考えてきた、

設計 → 制作 → 実装 → 検証 → 発見 → 再設計・再実装

という循環が、実際のゲーム制作の中で現れた一例でもあります。

ゲームを作るために研究するだけではありません。

ゲームを実際に作ることによって、AI時代のゲーム開発方法論そのものが見えてきます。

 

今回の実験は、そのことを改めて示す結果となりました。