ソフトウェアを自然言語で操作する新しい手法が研究されています。現代のソフトウェアは機能が豊富になる一方で、これまでの一般的な操作方法では限界が見えてきました。用意されたAPIや画面上のボタン操作だけでは、ユーザーの多様なニーズに柔軟に対応することが難しくなっているのです。

そうした状況を打開する可能性として、LLMを活用してソフトウェアの内部構造に直接アクセスする方法が提案されています。本記事では、研究の詳細と、その可能性について見ていきます。

背景

現代のソフトウェアは日々進化を遂げ、その機能は豊かになっていますが、同時に操作の複雑さも増しています。そのため、多くの利用者にとって使いこなすことが難しい状況が生まれています。

たとえばマウスやキーボードを使うGUI操作では、運転中や身体に不自由がある場合など、状況によって操作そのものが困難になることがあります。

これまでにも、現状を打開する方法が研究されてきました。主な手法は以下の2つに分類されます。

第一に、APIを介して操作する方式があります。ただし、あらかじめ機能を定義しておく必要があるため、柔軟な対応が難しいという課題を抱えています。

第二に、GUIを自動操作する方式があります。しかし、操作手順が長くなるほど誤りが蓄積されやすく、また処理に時間がかかるという問題点があります。

近年のLLMの発展により、人間の言葉を高度に理解し、適切な処理を推論できるようになりました。とはいえ、ソフトウェアの内部構造にアクセスできない従来型の手法では、依然としてAPIやGUIを経由する必要があり、効率や精度の向上には限界があります。

そこで注目されているのが、ソフトウェアの内部構造に直接アクセスする「ホワイトボックス」型のアプローチです。たとえば、LLMが生成したコードを直接ソフトウェアに組み込んで実行する手法などが研究されています。

このような新しい方式に着目し、より効率的で正確な操作の実現を目指した研究を紹介します。