AIゲーム開発研究室

ChatGPTとBlenderの連携研究

---

---

BlenderとAIを連携させることができる。この情報をきっかけに、ChatGPTとBlenderの連携について調査を開始した。

これまでAIゲーム開発研究室では、Tripoによる3Dモデル生成、Blenderによるモデル加工、Mixamoによるアニメーション設定、Unityによるゲーム実装などを研究してきた。

今回、BlenderにもAIとの直接連携を可能にする技術が存在することが分かった。本稿では、実際の接続実験に入る前に、現在利用できるAI連携技術と、その可能性を整理する。

現在、ChatGPTとBlenderを組み合わせる方法には、いくつかの段階がある。

操作支援：ChatGPTが操作方法を説明し、人間がBlenderを操作する。

スクリプト連携：ChatGPTがPythonコードを生成し、人間がBlenderで実行する。

直接連携：MCPなどを利用してAIがBlenderを操作する。

工程の連続処理：AIが複数の制作作業を連続して実行する。

最初の二つは、現在の研究環境でも取り組める。直接連携には接続環境が必要であり、複数工程の連続処理については実用性の検証が必要となる。

今回の調査で特に注目したのが、MCP（Model Context Protocol）という技術である。

MCPは、AIと外部のソフトウェアやデータを接続するための仕組みである。BlenderにはPython APIがあり、オブジェクトの生成や編集、データ取得、ファイル出力などをプログラムから実行できる。

MCPを利用することで、AIからBlenderの機能を呼び出す仕組みを構築できる。Blender公式でもMCPサーバーが公開され、シーンの解析やポリゴン数の調査などの実例が紹介されている。

ただし、MCPを導入するだけですべての3D制作作業が自動化されるわけではない。現在使用しているブラウザ版ChatGPTから直接Blenderを操作するための利用条件や接続方法についても、今後確認する必要がある。

本研究の目的は、AIによるBlender操作そのものではない。

AIを中心とした3Dゲーム開発において、Blenderをどのように活用できるかを明らかにすることである。

これまでの研究では、Tripoで生成した3DモデルをBlenderで加工し、Mixamoでアニメーションを設定して、Unityへ取り込む工程を検証してきた。

今回のAI連携技術は、モデルのポリゴン数の調査、軽量化、マテリアル設定、リギング支援、アニメーションの加工、FBX出力など、既存の制作工程に応用できる可能性がある。

これらの作業がChatGPTとの連携によってどこまで正確かつ実用的に処理できるかは、今後の実験によって確認する。

AIゲーム開発研究室では、すでにUnityとChatGPTの連携を研究してきた。この研究では、人間がChatGPTと対話し、ChatGPTが作成したプロンプトを人間がUnity側のAIへ受け渡す方法を採用した。

今回のBlender研究でも、この方法を有効な連携方式として扱う。直接接続や完全自動化だけを目指すのではなく、現時点で利用できる技術を組み合わせ、実際にゲームを制作できることを重視する。

これまでの3Dモデル制作では、高精細モデルの軽量化、法線の問題、Mixamoによる手首のねじれなど、実制作上の課題が発生した。今後は、こうした問題の解決にもAIを活用できるか検証する。

本研究では、実際の3Dゲーム制作と並行して、必要な工程にAI連携を導入する。実制作に関係のない実験を無理に増やすことはしない。

まずはChatGPTによるBlender操作支援やPythonスクリプト生成を活用し、必要に応じてMCPによる直接連携も検証する。

Blenderは最新の安定版へ適宜更新し、AI技術の進歩に応じて研究環境も見直す。各実験では、AIと人間が担当した作業、具体的な操作方法、成功した点、問題が発生した点を記録する。

今回の調査によって、BlenderとAIを連携させるための技術が、すでに利用可能な段階にあることが分かった。

しかし、それによって3Dゲーム制作のどこまでをAIが担えるのかについては、まだ明らかになっていない。

本研究では、その可能性を予測だけで論じるのではなく、実際の制作を通じて確かめていく。

AIとBlenderの連携によって、3Dゲーム開発はどのように変わるのか。

その答えを、これからの実験によって探っていく。

AIゲーム開発研究室

AIによる3Dゲーム開発研究

---

---

BlenderとAIの連携という新たな可能性を受け、AIゲーム開発研究室では、ChatGPTとBlenderを活用した3Dゲーム開発の研究を開始する。これは、これまでの研究を中断して行うものではなく、実制作を通じてAIゲーム開発の方法をさらに検証するための取り組みである。

AIゲーム開発研究室では、これまでTripoによる3Dモデル生成、Blenderによるモデル加工、Mixamoによるアニメーション設定、Unityへの実装など、AIを活用した3Dゲーム開発の工程を実際に検証してきた。

その研究を進める中で、BlenderとAIを連携させ、AIからBlenderの操作を行う仕組みが存在することを知った。ChatGPTとの対話を通じて、Pythonスクリプトの利用に加え、MCPなどを用いた直接連携の可能性も確認した。

この新しい可能性を、進行中のゲーム開発に取り入れるため、ChatGPTとBlenderの連携研究を開始する。

本研究の目的は、BlenderをAIで操作すること自体ではない。

AIを中心とした3Dゲーム開発において、Blenderをどの工程で、どのような方法で活用できるのかを、実制作を通じて明らかにすることである。

AIが担当できる作業、人間の操作が必要な作業、他の制作ツールとの受け渡しを具体的に検証し、現時点で実行可能な制作方法を探る。

研究は、実際の3Dゲーム制作と並行して進める。研究のためだけに不必要な操作実験を増やすのではなく、制作過程で必要になった作業を対象に検証する。

ChatGPTが操作方法を説明し、人間がBlenderを操作する方法。ChatGPTがPythonスクリプトを作成し、人間がBlenderへ受け渡して実行する方法。さらに、対応する接続環境を用いてAIがBlenderを直接操作する方法。これらを区別して試みる。

完全自動化を最初から前提とはしない。人間がプロンプトやスクリプトを受け渡す方式も、現実的なAI連携の一つとして評価する。重要なのは、実際に仕事ができるかどうかである。

Blenderを独立した制作環境として捉えるのではなく、Tripoによる3Dモデル生成、Unityによるゲーム実装と常に関連づけて研究する。必要に応じてMixamoなどのツールも活用する。

これまで検証してきたモデルの軽量化、形状修正、リギングやアニメーションの調整、FBX出力など、現実の制作工程で生じる課題を対象とする。

各ツールの役割は固定しない。AI技術やソフトウェアの進歩に応じて、工程の分担や連携方法を見直し、より実用的な3Dゲーム開発の流れを探究する。

実験では、使用したChatGPTとBlenderのバージョン、指示内容、実行手順、結果、問題点を記録する。AIが実行した作業と人間が行った作業を明確に区別し、読者が実際の制作方法を理解できるドキュメントとして公開する。

成功した方法だけでなく、実行できなかった方法や、人間による修正が必要だった工程も記録する。

Blenderは最新の安定版への更新を基本とし、既存の制作環境やアドオンとの互換性を確認しながら研究を続ける。AIの進歩によって制作方法が変化した場合には、必要に応じて再検証する。

AIゲーム開発研究室は、ChatGPTとBlenderの連携研究を開始する。

本研究は、UnityやTripoを用いた既存の3Dゲーム開発研究と並行して進め、実際のゲーム制作に役立つ方法を検証するものである。

将来の可能性を予測して結論とするのではなく、今、利用できる技術で何ができるのかを実際に試す。そして、その過程を具体的な制作記録として公開する。

AIと制作ツールの連携によって、3Dゲーム開発の方法はどこまで変わるのか。その答えを、これからの実制作の中で探っていく。

AIゲーム開発研究室

AIとの対話だけでどこまでできるか

---

---

本研究は、「AIとの対話だけで、どこまでゲームを作り込めるか」という問いから始まった。

今回の実験では、最初から詳細なゲーム仕様書を用意しない。

人間がアイデアを提示し、AIと対話する。その対話からゲームの仕組みを考え、実際に動かし、遊びながら修正を重ねる。

従来のゲーム開発では、ゲームデザイン、仕様書作成、プログラミング、素材制作、実装、テストなど、多くの工程が必要になる。

しかし、生成AIの登場によって、人間がそれらの工程を直接操作するのではなく、AIとの会話を通して制作を進めるという方法が可能になりつつある。

そこで、ゲーム開発の専門的な操作をできるだけAIに任せ、人間は発想、判断、試遊、修正指示を中心に制作を進めることにした。

今回制作したゲームは、『記憶を交換する世界』である。

最初は、会話によってゲームの仕組みをどこまで作り込めるかを確かめることが目的だった。

しかし、制作を進めるうちに、ゲームの仕組みは予想以上に複雑になった。

さらに、基本システムが成立した後には、画像生成AIによるビットマップ素材、キャラクターアニメーション、スクロール演出、エンディングまで追加することになった。

結果として、当初の予定を大きく超える制作実験となった。

しかし、本研究で最も重要なのは、完成したゲームの機能の多さではない。

そのゲームが、どのような対話によって生まれ、どのような対話によって完成に至ったのか。

そこに今回の研究の核心がある。

今回のゲームは、最初から「記憶を交換する」という仕組みが決まっていたわけではない。

出発点となったのは、「記憶を消す」という発想である。

しかし、記憶を消すだけでは、ゲームとして何をするのか、何を目的にするのか、どのように攻略するのかという問題が残る。

そこで、対話を通して「記憶」という言葉の意味を広げていった。

人間が過去の出来事を覚えているように、物体もまた、自分がどのような性質を持っているのかを記憶していると考えてみる。

例えば、大きな岩は「自分は重い」という記憶を持っている。

川は「自分は流れる」という記憶を持っている。

では、その記憶を書き換えたら、どうなるのだろうか。

岩が重さの記憶を失えば、軽くなるかもしれない。

川が流れるという記憶を失えば、固まるかもしれない。

この発想から、物体の性質を記憶として扱うゲームの可能性が生まれた。

重要なのは、ここでゲームのルールが完成したわけではないことである。

むしろ、ここから新しい問題が次々と生まれていった。

ゲームの仕組みを検討する中で、大きな転換が生まれた。

記憶を消すのではなく、交換したらどうなるのか。

記憶を消すだけなら、障害物の性質を一方的に変更できる。

しかし、交換する場合は違う。

何かを得るためには、何かを差し出さなければならない。

例えば、岩を小さくするために「大きさ」という記憶を与えると、プレイヤーは代わりに岩が持っていた「重い」という記憶を受け取る。

岩を突破することはできても、手元に残る記憶は変わってしまう。

すると、次の障害物を突破するために必要な記憶が、手元にないかもしれない。

ここで、記憶は単なる魔法の道具ではなく、限られた資源になる。

どの記憶を与え、どの記憶を受け取るか。

その選択によって、次の行動が変わる。

記憶を交換するという行為そのものが、ゲームの中心的な仕組みになったのである。

この転換は、今回の研究における最も重要な出来事の一つである。

完成したゲームのルールをAIに実装させたのではない。

人間とAIが対話を重ねる中で、ゲームの基本構造そのものが形成されていったのである。

記憶を交換する仕組みから、さらに新しい問題が生まれた。

次の障害物を突破するための記憶を持っていなかった場合、どうすればよいのか。

必要な記憶を自由に追加できるようにすれば、交換という仕組みの意味が薄れてしまう。

そこで、以前に通過した障害物へ戻り、もう一度記憶を交換するという方法が考えられた。

一度突破した障害物も、再び記憶を交換すれば性質が変わる。

先へ進むために、いったん過去へ戻らなければならない。

この仕組みによって、ゲームは単純な一本道の障害物突破ゲームではなくなった。

過去の選択が現在の状況に影響し、現在の問題を解決するために過去へ戻る。

前へ進むことだけが、ゲームの進行ではなくなったのである。

このようにして、『記憶を交換する世界』の基本構造が形成されていった。

ゲームの仕組みが見えてくると、次に必要になるのは、プレイヤーが何のために障害物を突破するのかという目的である。

そこで、勇者が誕生日のプレゼントを持って、お城にいる姫のもとへ向かうという物語を設定した。

勇者は、途中に現れる障害物を、記憶を交換することで突破していく。

目的は単純である。

姫に誕生日のプレゼントを届けること。

複雑なゲームシステムに対して、物語の目的を分かりやすくすることで、プレイヤーが何を目指しているのかを明確にした。

こうして、記憶交換という独自の仕組みを持つ、ロールプレイングゲームを思わせる世界観が生まれた。

記憶交換という発想をゲームとして成立させるためには、どのような記憶が存在するのかを決める必要があった。

検討の結果、基本となる記憶は8種類に整理された。

さらに、特殊な記憶として「存在しない」という性質も設けた。

これは、障害物を消失させるという、通常の記憶交換とは異なる効果を持つ。

重要なのは、障害物ごとに独立した解決方法を設定するのではなく、世界全体に共通する記憶のルールを設定したことである。

同じ記憶であっても、交換する対象によって結果が変わる。

この仕組みによって、限られた種類の記憶から、多様な攻略方法を生み出すことが可能になった。

次に問題となったのは、プレイヤーがどれだけの記憶を持てるのかということである。

すべての記憶を自由に使えるのであれば、障害物を突破することは容易になる。

そこで、ゲーム開始時に所持する記憶を3つに制限した。

プレイヤーは、最初の2つの障害物を確認してから、3つの記憶を選択する。

障害物との通常交換では、記憶を1つ渡し、代わりに1つ受け取るため、所持する記憶の数は変わらない。

さらに、2つの記憶を差し出して1つの記憶を得る特別交換も設けた。

特別交換では、交換するたびに所持する記憶が1つ減少する。

最初に所持する記憶は3つであるため、1回目の特別交換で2つになり、2回目で1つになる。

特別交換には2つの記憶が必要なので、それ以上は実行できない。

つまり、特別交換は、別途回数制限を設けなくても、ルール上必然的に最大2回しか行うことができない。

このように、ゲームの仕組みそのものから制約が生まれることも、今回の設計の特徴である。

ゲームには、10種類の障害物を用意した。

岩、川、倒木、氷の壁、鉄の扉、雪玉、風車、吊り橋、泥沼、お化けである。

それぞれの障害物には異なる性質があり、記憶を交換することで通行可能な状態へ変化させる。

当初は、そのうち6種類をランダムに登場させる方式を採用した。

同じゲームであっても、障害物の種類や登場順序によって、必要な記憶が変わる。

さらに、完成直前には登場する障害物を6種類から8種類へ増やした。

所持する記憶の数や基本ルールは変更していない。

障害物が増えることで、記憶の交換や過去への移動がより重要になると考えた。

ただし、実際に難易度がどの程度上昇するかについては、今後の試遊による検証が必要である。

ゲームのルールが具体化するにつれて、制作は次第に複雑になっていった。

特に難航したのは、障害物それぞれが持つ記憶、通行を可能にする記憶の配分、そして障害物同士の関係性を整理することであった。

ある障害物を突破するために必要な記憶が、別の障害物との交換によって得られるとする。

しかし、その障害物が後から登場する場合、先へ進むことができなくなる可能性がある。

また、以前の障害物へ戻って記憶を取り直す場合にも、交換によって別の障害物が通行できなくなることがある。

さらに、登場する障害物の種類と順番はランダムに変化する。

そのため、一つの組み合わせだけを考えればよいわけではない。

障害物が持つ記憶、交換後にプレイヤーが所持する記憶、通行条件、登場順序。

これらを同時に考慮しながら、ゲーム全体の整合性を保つ必要があった。

ゲームの難しさは、単にプログラムを書くことではなかった。

ゲームを成立させるためのルールの関係性を構築すること自体が、大きな課題だったのである。

HTMLによる試作を行い、実際にゲームを動かしてみると、会話だけでは気付かなかった問題が現れた。

記憶の交換が正しく成立するか。

交換した記憶によって障害物が通行可能になるか。

過去に戻って再交換できるか。

障害物の組み合わせによって進行不能にならないか。

こうした問題は、文章で仕様を考えるだけでは十分に確認できない。

実際にゲームを操作し、結果を観察する必要がある。

そこで、研究代表がゲームを試遊し、問題点をAIに伝え、AIが修正するという作業を繰り返した。

ここでの人間の役割は、単にAIの指示に従うことではない。

ゲームを遊び、問題を発見し、どのように改良するかを判断することである。

AIは、その判断を受けて、ルールの整理やプログラムの実装・修正を行った。

制作途中には、修正によって別の部分に不具合が生じることもあった。

正常に動いていた機能が、次の修正によって動かなくなる。

問題を修正しても、思ったような結果にならない。

さらに、障害物と記憶の関係性が複雑になるほど、ゲーム全体を成立させることが難しくなっていった。

研究代表自身、制作途中には、このゲームは完成しないのではないか、完成までに相当な時間がかかるのではないかと感じる場面もあった。

今回の研究は、最初から完成できると確信して進めたものではなかった。

それでも、対話を続けた。

正常に動作していた版を基準に戻し、問題を切り分けながら修正を重ねた。

一度にすべてを完成させようとするのではなく、動作を確認できた部分を残しながら、少しずつ前進した。

結果として、ゲームの基本システムを完成させることができた。

完成できるかどうか分からなかったゲームが、対話と試遊の繰り返しによって完成へと近づいていった。

この経験自体が、今回の研究の重要な成果である。

基本的なゲームシステムが成立した後、研究は新しい段階へ進んだ。

それまでのゲーム画面は、主としてHTML Canvasによる図形描画を中心としていた。

しかし、ゲームとしての表現をさらに高めるため、画像生成AIによって制作したビットマップ画像を使用することにした。

ここで重要なのは、画像制作を単独の作業として行ったのではないことである。

画像生成AIで素材を制作し、それをゲームに組み込み、動作を確認し、必要に応じて画像やプログラムを修正する。

この一連の工程も、AIとの対話を通じて進めた。

記憶交換によって障害物の性質が変わるという仕組みは、ゲームの中心的な特徴である。

その変化を視覚的に表現するため、通常状態だけでなく、変化後の障害物画像も用意することにした。

例えば、大きな岩が小さくなる。

氷の壁が崩れる。

雪玉が溶ける。

こうした変化を、単純な図形の変形だけでなく、画像そのものを切り替えることで表現した。

プレイヤーが記憶を交換すると、障害物の性質が変化する。

その変化が画面上でも確認できる。

ゲームの内部状態と視覚表現を一致させることが、重要な制作課題となった。

画像生成AIによって、従来よりも表現力の高いゲーム素材を制作することができた。

しかし、生成した画像をそのままゲームに使用できるとは限らなかった。

背景の透明化、画像サイズの統一、キャラクターの位置合わせ、画像の読み込みなど、実装上の問題が発生した。

さらに、AIが修正指示を正しく解釈しない場合もあった。

こうした問題は、画像生成AIをゲーム制作に利用する際の現実的な課題を示している。

今回の実験では、それらの問題も対話によって修正しながら制作を続けた。

次に、ゲームの主人公となる勇者を画像生成AIで制作した。

勇者は、誕生日のプレゼントを持って、お城にいる姫を目指す。

ゲームに登場させるためには、単なる一枚のイラストでは不十分だった。

歩行アニメーションに使用する複数の画像が必要になる。

そこで、生成した歩行画像から使用するコマを選び、背景を透明化し、画像内でのキャラクターの位置を調整した。

特に問題となったのは、アニメーション再生時のキャラクターの大きさと位置である。

コマごとに位置がずれていると、歩くたびに勇者が上下に揺れたり、伸び縮みして見えたりする。

そこで、画像のキャンバスサイズを統一し、頭の位置を揃えることで改善した。

勇者の歩行アニメーションが完成すると、次にゲーム内の移動方法を改良した。

勇者が画面の端から端まで移動するのではなく、勇者は一定の位置で歩き、障害物が左右へスクロールする方式を採用した。

これによって、勇者が次々と障害物に向かって進んでいるように見せることができた。

また、過去の障害物へ戻る場合には、勇者が左を向いて歩く演出を追加した。

この処理にも不具合が発生し、最終調整では、戻り終えた勇者が右向きに戻らない問題を修正した。

このように、ゲームの完成直前まで、会話による細かな改良が続いた。

ゲームの目的は、姫の誕生日にプレゼントを届けることである。

そこで、最後の障害物を突破した後、お城に到着するエンディングを制作した。

勇者は、数々の障害物を乗り越えて、ようやく姫のもとへたどり着く。

しかし、待っていた姫は、勇者に向かって一言。

「遅い！！！」

この短い台詞によって、複雑な記憶交換のゲームが、ユーモラスな物語として完結した。

ゲームの仕組みだけでなく、最後にどのような印象を残すかという演出まで、対話によって制作したのである。

ゲームの完成段階では、背景表現についても検討を行った。

すべてをビットマップ画像にするのではなく、背景はCanvasによる図形描画を使用することにした。

山、雲、太陽、草地、花などを図形で構成し、勇者や障害物にはビットマップ画像を使用した。

この方式には、背景を軽量に保ちやすいという利点がある。

また、背景とゲームの操作対象を視覚的に区別しやすくなる。

画像表現を統一することよりも、ゲームとしての見やすさと制作上の合理性を優先した判断である。

最終段階では、これまでに制作した要素を一つのゲームとして統合した。

記憶交換のルール、障害物の状態変化、勇者の歩行アニメーション、障害物間のスクロール、背景表現、お城への到着とエンディング。

これらが正しく連動しなければ、ゲームとして完成したとはいえない。

実装と修正を繰り返した結果、最終的にVer.1.9.8で完成を確認した。

当初6種類だった障害物も8種類へ増やし、勇者の向きの問題も修正した。

こうして、最初の発想から始まった『記憶を交換する世界』の制作は、一つの区切りを迎えた。

今回の研究で最も重要な成果は、ゲームの基本構造が対話によって形成されたことである。

「記憶を消す」という発想から、「記憶を交換する」という仕組みへ。

さらに、交換によって記憶の所持状態が変わり、必要に応じて過去へ戻るというゲーム構造へ。

この一連の変化は、最初から完成した仕様書に書かれていたものではない。

人間とAIがアイデアを検討し、問題を発見し、新しい仕組みを考える過程から生まれた。

AIとの対話は、既に決められたゲームを実装する手段であるだけでなく、ゲームの仕組みそのものを考える手段にもなり得る。

今回の実験は、その可能性を具体的なゲーム制作によって示した。

本研究では、人間が直接プログラムを書くことを中心とせず、AIとの会話によって実装を進めた。

人間は、アイデアを提示し、ゲームの方向性を判断し、試遊によって問題を発見し、修正を指示した。

AIは、それらを受けてゲームの設計案を提示し、プログラムや画像を生成し、修正を行った。

ここで重要なのは、人間が制作作業から離れたわけではないことである。

ゲームを面白くするために何を変えるのか。

どの案を採用するのか。

何が問題なのか。

完成したと判断できるのか。

こうした判断は、人間が担った。

一方、AIは、それらの判断を実際に動作するゲームとして具体化した。

人間の創造的な判断とAIの制作能力が、対話によって結び付いたのである。

今回の制作は、常に順調だったわけではない。

AIが指示を正しく理解しない場合があった。

修正によって別の機能に不具合が生じることもあった。

画像生成では、キャラクターの形状や位置を正確に制御できない場合もあった。

また、ゲームが複雑になるほど、一度の修正が他の部分へ影響する危険性も高まった。

こうした問題に対して、正常動作していた版を基準に修正し、実際の動作を確認する方法が有効だった。

今回の実験からは、会話による制作が可能であることと同時に、AIによる実装結果を検証し、必要に応じて修正する工程が不可欠であることも確認できた。

今回の研究では、最初からビットマップ画像による高度な表現や、キャラクターアニメーションまで制作する予定だったわけではない。

当初の目的は、会話だけでゲームの仕組みをどこまで作り込めるかを確かめることだった。

しかし、ゲームの基本構造が成立すると、次の課題が見えてきた。

ゲームとして動くようになると、今度は見た目を改良したくなる。

勇者の画像ができると、歩かせたくなる。

歩くようになると、画面をスクロールさせたくなる。

最後には、物語としてのエンディングも必要になる。

こうして、制作の範囲は次第に拡大していった。

これは、単に予定外の機能が増えたということではない。

一つの成果が次の課題を生み、その課題を対話によって解決することで、ゲームがさらに発展していったのである。

今回の研究は、一つの問いから始まった。

「AIとの対話だけで、どこまでゲームを作り込めるか。」

最初から、どこまでできるのか分かっていたわけではない。

むしろ、途中では完成そのものが難しいのではないかと思う場面もあった。

それでも、対話を続けた。

問題が起これば、その原因を考え、修正を試みた。

新しいアイデアが生まれれば、実際にゲームへ組み込んでみた。

そうして、記憶交換という独自の仕組みを持つゲームが完成した。

さらに、画像生成AIによるビットマップ素材、勇者の歩行アニメーション、スクロール演出、背景表現、エンディングまで実装することができた。

今回の研究によって、AIとの対話が、ゲームの企画から実装、改良、完成までを進める有効な方法になり得ることが確認できた。

一方で、AIの出力が常に正しいわけではなく、人間による判断と検証が必要であることも明らかになった。

しかし、今回の成果を、単に「AIでもゲームを作れるようになった」という結論だけで終わらせるべきではないだろう。

重要なのは、ゲームの制作方法そのものが変化しつつあるということである。

人間がプログラムを直接書かなくても、ゲームの仕組みを考え、AIと対話し、実際に遊びながら改良することができる。

そして、その対話の中から、最初には存在しなかった新しいゲームの仕組みが生まれることもある。

人間の創造的な判断とAIの制作能力が、対話を通じて結び付く。

その過程で、新しい発想が生まれ、ゲームが変化し、発展していく。

ゲームを作るための対話が、ゲームそのものを創造する過程になった。

『記憶を交換する世界』は、その可能性を検証した一つの実験である。

AIゲーム開発研究室

AIとの対話だけでどこまでできるか

制作ドキュメント

---

番外編 第3弾

ゴミ屋敷ゲーム

― ゲームを生み出す対話から、対話そのものを研究する対話へ ―

---

研究代表　大川 博

主任研究員　Arc（ChatGPT）

今回の実験の出発点は、一冊の書籍にあった。『つくりながら学ぶ！Codexではじめる AI駆動ゲーム開発実践ガイド』の冒頭に、AIとゲームを作るうえでは「アイデアの伝え方」が重要である、という趣旨の記述があった。

その言葉をきっかけに、研究代表は、あらかじめ詳細な仕様書を作らず、思いついたことをアーク主任（ChatGPT）に伝えながら、ブラウザゲームを制作することにした。書籍の方法を再現するのではなく、これまで使ってきた対話型AIで、実際にどこまでできるのかを試す実験である。

本稿は、ゲームの機能を解説する記事ではない。人間が何を伝え、AIがどう受け止め、何が伝わらず、どのように伝え直されたかを追う記録である。ゲームの内容は、そのやり取りによって生じた結果として登場する。

そして第3弾には、もう一つの特徴がある。ゲーム完成後、制作ドキュメントについて交わされた会話が、研究の意味をさらに変えていった。その過程も、今回の記録に含める。

※会話の引用は、確認できる発言を使用した。制作中のすべての発言を再録したものではなく、原文を確認できない箇所は会話として創作せず、経過の説明として記した。

舞台はゴミ屋敷。室内へ次々に飛んでくるゴミを主婦が箒で迎撃する。取り逃したゴミは積み重なり、最後には主婦が押し出される。これがゲームの出発点となった。

ここで試したかったのは、仕様を漏れなく伝えることではない。人間の頭の中にあるイメージを、日常の言葉で伝えることだった。

初期の制作記録には、主婦の姿についての短い指示も残っている。

このような短い言葉から、AIは姿や動きの具体案を補って実装する。そこに対話型制作の手軽さがある一方、人間の意図とAIの補完が一致するとは限らないという問題も生まれる。

AIがHTMLを制作し、研究代表がブラウザで遊ぶ。動作を見て初めて、「伝えたつもりだったこと」と「実際に作られたこと」の違いが見えてくる。

この実験では、コードを人間が書き直すのではなく、気づいたことを再び言葉で伝えることを基本とした。試遊は単なる動作確認ではなく、次の会話を生むきっかけになった。

ゴミが室内に積み重なっても、主婦が押し出されない。これは、当初のアイデアに関わる重要な食い違いだった。

人間にとって「ゴミに押し出される」は自然な表現である。しかし、ゲームの中では、ゴミと主婦の接触、押す方向、移動量、庭への落下など、複数の動作が組み合わさる。

AIは修正を重ねたが、押し出しの力だけを変えれば解決するというものではなかった。研究代表は、修正されたゲームを再び遊び、意図した結果になっているかを確かめ続けた。

接触条件の調整に加え、主婦の初期位置も庭の近くへ移動した。やがて、ゴミに押されて主婦が落下する場面が確認された。

この一言には、修正の成否だけでなく、言葉で伝えた構想が実際の動きになったという確認が含まれている。

ゲームを実際に遊ぶと、最初にはなかった要望が生まれた。ゴミの種類や大きさ、危険な大型ゴミ、得点の増減、ゲームオーバーの条件などである。

大型ゴミとの接触を即ゲームオーバーにする方式は、のちに減点方式へ変更された。一般ゴミの迎撃で加点し、大型ゴミへの接触で減点する仕組みは、試遊を重ねながら調整された。

ここで重要なのは、最終的な点数そのものではない。遊んだ結果を言葉にすることで、当初のアイデアが変化していったことである。

建物の色を統一し、屋外には青空や山並み、木々、草花を描く。主婦を大きくかわいらしくし、箒を日本の座敷箒らしくする。こうした要望も、言葉によって伝えられた。

屋外のイメージを画像生成AIで示した後、ゲーム本体ではHTMLのCanvas描画で風景を制作した。イメージを共有する方法と、ゲームへ実装する方法は同じではない。

さらに、箒の見た目を改良すると、箒がゴミに当たって見えるのに迎撃できない問題が明らかになり、当たり判定の修正へと会話が進んだ。

主婦の背中側に、腕のように見える不自然な肌色の突起が現れた。研究代表が言葉で指摘しても、AIは原因を正しく捉えられず、修正が続いた。

そこで研究代表は、問題箇所を丸で囲んだスクリーンショットを示した。

画像で場所が明確になったことで、AIは腕ではなく、胴体の描画パーツが原因だと特定した。該当部分を削除すると、不自然な形は解消された。

ここでの主題は、キャラクターの作画技術ではない。相手が誤解しているとき、同じ説明を繰り返すのではなく、伝達手段そのものを変えるという出来事である。

ゲームはVer.3.8で完成と判断された。しかし、前作のスマートフォン操作で生じた文字選択の問題が話題となり、Ver.3.9でタップ時の操作性を改善した。

研究代表はスマートフォンでの確認結果を、次のように伝えた。

この報告によって、スマートフォンでの操作性が確認された。一方、見た目がよく感じられる理由は検証されておらず、観察結果として残した。

さらに、ゲーム紹介用の画像も制作した。だが、ここで終わりではなかった。次に始まったのは、この実験をどのように記録するかという対話である。

ゲーム完成後、アーク主任は制作ドキュメントの草稿を提示した。ところが、その内容はゲームの機能説明を中心にしたものだった。

AIは方針を理解したと答えた。しかし、その後の構成案でも、ゲームの機能ごとに章を分ける傾向が残った。

ここで、ゲームの機能は主題ではなく事例であることが、改めて明確になった。

このやり取りは、制作中に起きた「押し出される」という指示の行き違いと、構造が似ている。人間には明確な意図があっても、AIがそれを文章の構成へ正しく反映できるとは限らない。

つまり、ゲーム制作の対話を記録しようとする対話そのものにも、同じ研究課題が現れたのである。

この発言によって、カテゴリーの位置づけがさらに明確になった。完成作品は実験の成果物である。しかし研究対象は、人間とAIが交わした対話、その理解と行き違い、そして発展の過程にある。

第1弾「モグラたたきゲーム」、第2弾「世界をちょっとだけ動かすゲーム」、第3弾「ゴミ屋敷ゲーム」。作品を重ねる中で、ゲームの構造や演出は複雑になり、完成度も高まっているように見える。

ただし、その理由をAIの能力向上だけに求めることはできない。人間の伝え方の変化や、双方の試行錯誤の蓄積も考えられる。これは今後の継続実験で確かめるべき課題である。

ここで、ドキュメントの対象は、ゲーム制作中の会話から、完成後にゲームを題材として研究の意味を考える会話へと広がった。

最後に研究代表は、今回の実験が始まったきっかけを改めて語った。

一冊の本の問題提起から始まった実験は、ゲームを制作するだけでは終わらなかった。ゲームの完成後にも対話が続き、その会話を通じて、研究の対象そのものが明確になっていった。

書籍の内容を超えたかどうかを比較評価することが、今回の目的ではない。重要なのは、一つの問いをきっかけに、独自の実験と新しい問いが生まれたという事実である。

第3弾「ゴミ屋敷ゲーム」は、会話だけでブラウザゲームを制作する実験として始まった。試遊を重ね、意図が伝わらなかった部分を伝え直し、ときには画像を使って問題を示しながら、完成へと進んだ。

しかし、本稿のもう一つの成果は、完成後の対話にある。ゲーム制作を記録しようとしたとき、AIはゲームの機能説明へと話を戻してしまった。研究代表はそのたびに、「会話こそが主題」であることを伝え直した。

そのやり取りを通じて、第3弾は単独のゲーム制作記録ではなく、人間とAIの対話がどのように発展していくかを追う、継続実験の一部として位置づけられた。

ゲームは、実験の舞台。完成作品は、その成果物。そして、人間とAIの対話そのものが研究対象である。

第4弾では何が生まれるのか。対話の方法はどう変わるのか。ゲームの品質はどこまで高まるのか。答えはまだわからない。だからこそ、実験を続け、会話と成果を記録していく。

ゴミ屋敷ゲームを遊んでみよう！

今回の対話から生まれた「ゴミ屋敷ゲーム」を、ぜひ実際に遊んでみてください。

パソコン・スマートフォンのブラウザで楽しめます。

 

ゴミ屋敷ゲーム by 大川博

AIゲーム開発研究室

研究方針宣言

― AI時代のゲーム開発を、実践から探究する ―

研究代表　大川 博
主任研究員　Arc（ChatGPT）

AI時代のゲーム開発は、どこへ向かうのだろうか。

私たちには、まだその答えがわからない。

AIゲーム開発研究室では、これまで「おむすび山」のゲーム制作を通じて、従来のゲーム開発工程をAIによってどこまで変革できるのかを研究してきた。

ゲームの企画、設計、素材制作、3Dモデル制作、プログラム開発など、さまざまな工程でAIの可能性と限界を検証してきた。

その一方で、AIとの対話だけでゲームを制作するという、新たな試みも始まった。

そこでは、あらかじめ制作工程を定めることなく、人間とAIが対話を重ね、実際にゲームを動かし、修正を繰り返すことで、一つの作品が完成した。

この経験は、私たちに新たな問いをもたらした。

AI時代のゲーム開発に、従来の制作工程はどこまで必要なのだろうか。

そして、

ゲームを作るために、人間は何をする必要があるのだろうか。

私たちは、現時点でその答えを決めるつもりはない。

従来の制作工程をAIによって再構築する研究と、AIとの対話を中心とするゲーム開発の研究。

この二つを並行して進めていく。

やがて二つの研究が統合されるのか、一方がもう一方を包含するのか、あるいはまったく別の開発方法が生まれるのか。

それも、今はわからない。

私たちは、研究の結論をあらかじめ定めない。

実際にゲームを作り、動かし、検証する。

成功したことだけでなく、失敗したこと、AIにはできなかったこと、人間の判断や介入が必要だったことも記録する。

そして、その結果から次の研究を考える。

AI時代のゲーム開発のあるべき姿を、最初から決めるのではない。

実際のゲーム制作を通じて、その可能性と限界を確かめ、新しい開発方法を見いだしていく。

これを、AIゲーム開発研究室の現時点における研究方針として宣言する。

AIゲーム開発研究室
研究代表　大川 博
主任研究員　Arc（ChatGPT）

2026年10月