LLMベースの新しい言語『SUQL』が開発されました。SQLを拡張して「非構造化データのクエリ」を処理するためのパラダイムを導入するものです。
スタンフォード大学の研究者らによる発表です。
LLMに基づくプロンプトコンポーネントで構成される（恐らく）初の言語であり、今後の開発パラダイムを牽引する研究の一つだと述べられています。
@ Shicheng Liu et al., “SUQL: Conversational Search over Structured and Unstructured Data with Large Language Models”
論文によると、現実のデータソースは、構造化データ（例: データベース）と非構造化テキストデータ（例: 自由形式のテキスト）の両方を含みます。
しかし従来は、構造化データと非構造化データの両方を一括で処理することは難しいとされてきました。
そこで研究者らは、LLMベースでユーザーの求めるデータ検索を行う『SUQL（Structured and Unstructured Query Language）』という新しい言語を開発しました。
■『SUQL』言語のポイント
① 構造化データと非構造化データの両方を扱う
② SQLに、非構造化データをクエリするための新しいプリミティブを追加
③ 会話型検索エージェントでユーザーの質問を処理
④ クエリに関連するデータを構造化および非構造化データソースから抽出する
⑤ 従来のSQLよりも表現力が高く、複雑なクエリに対応しやすいとされる
■『SUQL』の性能に関する検証結果
論文で報告されている主な点は以下の通りです。
① 単一および複数ターンの会話設定で高い精度を達成した
② 従来の線形化テクニックや多段階検索および推論モジュールに比べて、SUQLは回収精度が大幅に高い
③ セマンティックパーシングの精度を高め、より複雑なユーザーの質問に対応
④ 一つのクエリで構造化/非構造化データの両方を処理
⑤ ユーザーが必要とする情報をより正確に、迅速に見つけ出すことができる
⑥ 実際のレストランに関するクラウドソースされた質問と会話を含むデータセットで実用性が確認された
LLMに基づくプロンプトで実装されているコンポーネントで構成される（恐らく）初の言語であり、今後の開発パラダイムを牽引する研究の一つだと述べられています。
