大規模言語モデル（LLM）を自動運転に応用するアプローチについての網羅的な調査報告が行われました。
LLMが得意とする「計画、認識、質問応答、生成」の能力が自動運転システムに効果的に使えると主張されています。
以下は報告内容の核心的な内容の抜粋です。
@ Zhenjie Yang et al., “A Survey of Large Language Models for Autonomous Driving”
従来の自動運転システムは、柔軟性に欠けると考えられてきました。
また、仕組みに透明性が欠けているとも言われています。
そこで研究者らは、LLM（を基礎とするビジョンモデル）の能力が、上記の問題をクリアしながら自動運転を強化できることを提案しています。
以下は調査報告の抽出です。
■主なポイント
① 自動運転へのLLM応用は、主に、計画、認識、質問応答、生成に分けられる
② LLMによって自動運転システムの理解、推論、および学習能力が強化されることが示唆されている
■「計画」に関する研究報告
① 多様な意思決定問題に対応するために、シーケンスモデリング問題として翻訳するアプローチがある
② シーンは限定的だとしても、複雑な実世界への対応能力の可能性を示すのに十分と考えられる
③ 2段階の事前学習と微調整法を使用し、限定された環境でテストできる
■「認識」に関する研究報告
① LLMは、データが比較的少ない環境で、迅速かつ正確な学習と推論を実現する
② 複雑で変化する運転環境で、システムの適応性と一般化能力を大幅に向上させる
■「質問応答」に関する研究報告
① 知的な交通支援、運転支援に役立つ
② シーンに関連する質問と回答を包括的に設計し、車両の状態、ナビゲーション支援、交通状況の理解などに使用できる
■「生成」に関する研究報告
① 特定の環境でのリアルな運転ビデオや複雑な運転シナリオを作成することで運転を事前にサポートする
② 自動運転システムの意思決定の境界をテストするための安全かつリーズナブルな仕組みを提供できる
■重要な補足
最新の進歩をリアルタイムで追跡できるよう、関連するリソースがオープンソースで提供されています。
