LLMアプリ開発におけるプロンプトエンジニア作業実態の調査結果

本記事では、LLMアプリ開発におけるプロンプト設計と調整作業の実態を調べた研究を紹介します。

プロンプト開発は繰り返しの試行と修正が中心となるものの、現場で実際にどのような作業が行われているのかはあまり整理されていません。今回は、開発者がどんなタスクに取り組み、どのような疑問を抱くのかを体系的に分類し、既存ツールとの対応状況を明らかにしている調査を取り上げます。

LLM活用を検討する技術者やチームにとって、支援が行き届いていないポイントを見極める手がかりとなる内容です。

背景

LLMをソフトウェアの一部として組み込み、ユーザーの入力に応じて動作を変える仕組みを開発するケースが増えています。たとえば、入力に応じて要約を生成する機能や、ユーザーの質問に自動で答えるインターフェースなどがその一例です。

このような「LLMを組み込んだソフトウェア」では、モデルへの指示（プロンプト）の設計が開発の中心的な作業になります。エンジニアは、どのような言い回しでプロンプトを書くと望ましい出力が得られるかを試行錯誤しながら、指示の内容を何度も書き換えていきます。モデルの動作はブラックボックス的な側面が強く、同じプロンプトでも挙動が変わることがあるため、調整には根気のいる作業が求められます。

このプロンプトの調整作業では、「なぜこのような出力になったのか」「どこを直せば良くなるのか」といった問いを自ら立てながら開発を進めることが重要になります。こうした問いは、ソフトウェア開発におけるバグ修正や機能改善と同様に、プロンプト設計においても欠かせないものです。

ところが現在、市場や研究コミュニティには多くのプロンプト開発支援ツールが登場しているにもかかわらず、そうしたツールが本当に開発者の問いやニーズに応えられているかどうかは、ほとんど検証されていません。

本記事では、プロンプトを改善するときに開発者が実際にどのような問いを抱いているのかを体系的に調査し、その中で特に重要なものを明らかにしたうえで、既存のツールがそれらにどこまで対応できているのかを評価しています。プロンプトの試行錯誤を支えるツール設計や、その改善の方向性を考えるうえで、非常に示唆に富んだ研究です。