イリノイ大学など複数機関の研究グループが、GPT-4、Claude 3 Opus、Gemini 1.0 Ultraを制御工学の問題で評価して結果を報告しています。
なお研究者らは今回の実験のために、古典制御理論の基礎から応用までを網羅した問題集「ControlBench」を作成し、中身を公開しています。
参照論文情報
- タイトル：Capabilities of Large Language Models in Control Engineering: A Benchmark Study on GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra
- 著者：Darioush Kevian, Usman Syed, Xingang Guo, Aaron Havens, Geir Dullerud, Peter Seiler, Lianhui Qin, Bin Hu
- 所属：イリノイ大学アーバナ・シャンペーン、ミシガン大学、アレン人工知能研究所、カリフォルニア大学サンディエゴ
背景
LLMの応用範囲は広がり続けています。コーディング、論理的思考、数学、科学、計画立案など、様々なタスクで人間に匹敵する、あるいは人間を上回る性能を示しています。
一方で、LLMの応用可能性が十分に探求されていない分野もまだ多く残されています。その一つが制御工学です。数学と工学が融合した複雑な分野であり、システムのダイナミクス、PID制御器の設計、フィードバック機構の安定性や堅牢性の解析など、様々な概念を理解する必要があります。
もし制御工学にLLMを応用できれば、制御系設計の効率化や自動化が大きく前進すると期待されます。また制御工学のような複雑な問題を解決できるのであれば、LLMが他の専門的な領域に進出できる可能性にも繋がります。
このような背景から、研究者らは、最先端のLLMであるGPT-4、Claude 3 Opus、Gemini 1.0 Ultraを使って、制御工学の問題解決能力を評価する実験を行いました。
