近年の研究により、GPT-4などの大規模言語モデル（LLM）がゲーム内のキャラクターを操作し、人間と協力してタスクを達成できることが明らかになりました。この進歩はゲーム開発者、AI研究者、そしてゲームプレイヤーにとって画期的な出来事です。

さらに興味深いことに、既存のゲームシステムにLLMエージェントを導入し、非プレイヤーキャラクター（NPC）をAI化することができるツールがMicrosoftやXboxなどの研究グループによって開発されました。

本記事では下記の論文をもとに、従来のゲームシステムを向上させるツール『MindAgent』の開発を紹介します。

参照論文情報

• タイトル：MindAgent: Emergent Gaming Interaction
• 著者：Ran Gong, Qiuyuan Huang, Xiaojian Ma, Hoi Vo, Zane Durante, Yusuke Noda, Zilong Zheng, Song-Chun Zhu, Demetri Terzopoulos, Li Fei-Fei, Jianfeng Gao
• 所属：UCLA, Microsoft, Xbox, Stanford, BIGAI, PKU, THU
• URL：https://doi.org/10.48550/arXiv.2309.09971
• PJページ：https://mindagent.github.io/

https://twitter.com/ai_database/status/1704697405478990201

エージェント関連研究

• 多様な役割のAIエージェント達に協力してソフトウェアを開発してもらう『ChatDev』登場。論文内容＆使い方を解説
• GPT-4、Bard、Claude2などの異なるLLMが円卓を囲み議論した結果の回答は品質が高いとの検証報告。円卓ツールも公開
• 大規模言語モデル同士に上手く協力してソフトウェア開発をしてもらうフレームワーク「MetaGPT」

背景と目的

既存の取り組み

LLM（大規模言語モデル）をゲームのバックグラウンドで稼働させてキャラクターに豊かな振る舞いをさせる実験は、これまでにも様々な企業やクリエイターによって行われてきました。しかし、これらの取り組みは大抵の場合、個人や特定の組織が独自に開発した技術に依存しており、そのノウハウは一般には公開されていません。

ゲームとAIの融合における課題

このような背景から、ゲームとAIの融合には多くの未解決の課題があります。例えば、多エージェントシステムにおける協力と調整の問題が挙げられます。これまでのゲームフレームワークでは、LLMと人間やNPC（非プレイヤーキャラクター）との協力に関する十分なベンチマークも存在していません。

MindAgentの目的

この状況を解決するために、研究者らは新しいインフラストラクチャ「MindAgent」を提案しています。MindAgentは、ゲーム内での計画と調整の能力を持つAIを導入するもので、既存のゲームフレームワークに接続可能です。多エージェントシステムの構築、人間プレイヤーとの協力、そしてフィードバックを持つフューショットプロンプトでのコンテキスト内学習を確立することが目的のツールです。

実験環境①『CUISINE WORLD 』

研究者らはMindAgentの実用性を確かめるために「新しいゲーム」と「既存のゲーム」を用意しました。新しいゲームとして開発されたのは『CUISINE WORLD 』と名付けられた料理ゲームです。

CUISINE WORLDの特徴

『CUISINE WORLD』は、仮想キッチン環境での多エージェントスケジューリングと調整を目的とした新しいゲームです。このゲームでは、複数のエージェント（ロボット）がさまざまな調理器具と食材を使用して、限られた時間内にできるだけ多くの料理を作ることが求められます。

以下はゲームの説明です。Switchなどのソフト「Overcooked」を知っている方であれば想像しやすいかもしれません。

ゲームのルールと仕様

• 場所とアイテム: ゲームには10種類の場所（サービングテーブル、ストレージ、8種類の調理器具）と、27種類の食材、33種類のユニークな料理があります。
• タスクと報酬: タスクは料理のオーダーであり、基本的なものから複数の調理器具が必要な高度なものまでさまざまです。
• ゲームレベル: ゲームには12のレベルがあり、それぞれのレベルで料理の複雑さ、エージェントの数、オーダーの頻度と寿命などが異なります。

協力と調整

• 新しいオーダー: ゲームが進行すると新しいオーダーが次々と追加され、既存のオーダーは期限内に完了する必要があります。
• エージェントの調整: LLM（大規模言語モデル）は、これらのロボットを適切に調整して全体の生産性を最大化する必要があります。

ゲームの柔軟性

• カスタマイズ可能: 環境は非常にカスタマイズ可能であり、JSONファイルを修正するだけで新しいタスクを追加したり、既存のタスクを変更することができます。

その他の特徴

• VR対応: ゲームはVRデバイスを使用してさらに没入感のある協力環境を提供することも可能です。

上記のゲームは、多エージェントプランニングにおけるLLMの能力を試す理想的なテストシステムとして作られました。

実験環境②『Minecraft』

研究者たちはMindAgentの「既存ゲームへの適応能力」を調査するべく、『Minecraft』での活用も実験しました。Minecraftとは、仮想空間上でブロックを積み重ねたり削ったりしながら、建築したり暮らしたりするゲームです。

ゲーム内での多エージェント協力

実験では、ゲーム内での特定の課題に対して複数のエージェント（ゲーム内キャラクター）が協力するシナリオを設計しました。AlexとSteveという2つのエージェントに対して、さまざまな種類の肉を調理する任務が割り当てられました。この課題では、エージェントは調理したアイテムをチェストに預ける必要がありました。

実装されたアクションと状態空間

Minecraftゲーム内での多エージェントシステムには、以下のようなアクションが定義されています。

1. エージェントが指定された場所に移動（goto(agent, location)）
2. 特定の種類のモブ（敵キャラクター）を倒す（killMob(agent, mobType)）
3. 特定の種類のブロックを採掘（mineBlock(agent, blockType)）
4. 燃料を炉に入れる（putFuelFurnace(agent, fuelType)）
5. アイテムを炉に入れる（putItemFurnace(agent, itemType)）
6. 調理されたアイテムを炉から取り出す（takeOutFurnace(agent)）
7. アイテムをチェストに入れる（putInChest(agent, itemType)）

ボイスチャットによる人間との協力

MicrosoftのAzureの音声認識APIをMinecraft環境に統合することで、人間のプレイヤーがボイスチャットを使用してゲーム内のNPCエージェントとリアルタイムでコミュニケーションを取ることが可能になりました。この機能により、ゲームプレイの体験が一層豊かになり、人間とAIエージェント間の協力がより深まりました。

LLMのゲーム能力を検証した結果

大規模言語モデル（LLM）がゲーム環境でどのようにパフォーマンスを発揮するかについて解説します。

1. 複数のゲームキャラクターの一括操作

LLM、特にGPT-4は、複数のエージェント（ゲームキャラクター）を一括でスケジューリングし、指示を出す能力があります。これは「ゼロショット多エージェントプランニング」と呼ばれています。具体的には、LLMは簡単なゲームの指示とレシピを読むだけで、2から4人のエージェントを効率的に操作できることが確認されています。

2. 新しいゲームへの対応

LLMは、既存のゲームだけでなく、新しいゲーム環境にも柔軟に適応できる能力があります。ここで言いたいのは、LLMが特定のゲームに特化しているわけではなく、多様なゲーム環境でその能力を発揮できるという点です。例えば、この研究では「Minecraft」が取り上げられていますが、これはLLMが一般的なゲーム環境でのインテリジェントエージェントとしての役割を果たせるという証明になっています。

3. 人間や他のエージェントとの協力

LLMは人間のプレイヤーとも協力できることが確認されています。実験結果によれば、LLMエージェントと協力することで、人間の成功率が高まり、ゲームをより楽しむことができると報告されています。

4. 人間のゲーム能力の向上

LLMと協力することで、人間のプレイヤーはより高い生産性を感じ、その結果としてゲーム能力が向上することが確認されています。

5. エージェント数の増加と協力の効率

エージェントの数が増えると、協力の効率が高まる傾向があります。ただし、エージェントが少ない場合でも、LLMは依然として優れたパフォーマンスを発揮します。

6. 複数種類のLLMの比較

GPT-4以外にもClaude-2やLLaMAなど、複数のLLMがこの研究で評価されました。その結果、GPT-4とClaude-2が特に優れた性能を示しています。

NPCをAI化する『MindAgent』の特徴

実験結果から示された『MindAgent』の特徴をまとめます。