東京大学と株式会社オルタナティヴ・マシンの研究者らは「LLMと物理的な世界がつながると何が起こるのか？」と想像し、実際にGPT-4とヒューマノイドロボットを連携しました。
結果、ロボットに人間のような動作と感情表現が見られたとのことです。
– “From Text to Motion: Grounding GPT-4 in a Humanoid Robot “Alter3″”
GPT-4などのLLMは、文脈を理解することに長けています。そこで東京大学などの研究者らは「GPT-4をロボットに繋げば、新しい体験をもたらす可能性がある」と発想しました。
研究者らは、ヒューマノイドロボット「Alter3」を媒介して、LLMの知識と物理的な世界がどう結びつくのか、実験することにしました。
■実験の内容
① ロボット「Alter3」に対して、様々な自然言語のプロンプトを指示
② GPT-4が生成したテキストをロボット動作のコードに変換
③ ロボットが人間のような動きや感情表現を実行
■実験の結果
① 「Alter3」は9種類の異なる動作の実行を成功
② 第三者による動作の評価は高かった
③ 人間的な動作と感情表現を実現
→LLMの知識を物理的な動作に変換する点で、既存の研究を超える結果に
■技術的なフレームワーク
① CoTプロンプトに基づきロボット制御用Pythonコードを生成
② 言語フィードバックとメモリ機能を活用して、ロボットの動作精度を向上
研究者らは、今回のような自然言語に基づいて人間のような行動や感情表現を実現するロボットの登場が、人間にとって新しい体験をもたらすとしています。
一方で、まだ開発と改善の余地があり、今後に期待する部分もあるとのことです。
