スタンフォード大学の研究者たちは、新しいプログラミング言語『SUQL』（Structured and Unstructured Query Language）を開発しました。

この言語は、SQL（Structured Query Language）の概念を拡張し、非構造化データのクエリ処理を可能にする新しいパラダイムを導入しています。構造化データ（例えばデータベース内のデータ）と非構造化テキストデータ（自由形式のテキストなど）の両方を処理する能力を持つ初めての言語として位置づけられています。

『SUQL』の開発は、データソースをより効果的に活用するための手法を模索する研究の一環です。従来の技術では、構造化データと非構造化データを一元的に処理することには課題がありました。
大規模言語モデル（LLM）に基づくプロンプトコンポーネントで構成される『SUQL』は、今後の開発トレンドを牽引する研究として位置付けられています。

この記事では、『SUQL』言語の主な特徴、性能に関する検証結果、そしてその実用性について詳しく紹介します。

参照論文情報

• タイトル：SUQL: Conversational Search over Structured and Unstructured Data with Large Language Models
• 著者：Shicheng Liu, Jialiang Xu, Wesley Tjangnaka, Sina J. Semnani, Chen Jie Yu, Gui Dávid, Monica S. Lam
• 所属：スタンフォード大学
• URL：https://doi.org/10.48550/arXiv.2311.09818

本記事の関連研究：GoogleがLLMで「非構造化文書」高精度テキスト抽出するOCR『LMDX』発表。Bardを強化する可能性

背景

現実世界のデータソースの複雑さ

論文によると、現実世界のデータソースは一般に、構造化データ（例: データベース内のデータ）と非構造化テキストデータ（例: 自由形式のテキスト）の両方を含んでいます。ビジネスからヘルスケア、金融業界に至るまで、幅広い分野でどちらの形式も重要な役割を果たしています。

従来のデータ処理手法では、構造化データと非構造化データの両方を統合的に処理することには課題がありました。
一方で会話型インターフェースの登場以降、異なる種類のデータを効率的に利用したいユーザーの要求に応えることには一層のニーズがありました。

構造化データと非構造化データの統合の必要性

実際の応用例として、レストランに関する情報を考えてみましょう。各レストランには、料理の種類や評価などの構造化データと、人気の料理や顧客のレビューなどの非構造化テキストがあります。例えば、「イタリアンレストランでロマンチックな雰囲気のある店は？」といったユーザーの質問に答えるためには、これら構造化データと非構造化データの両方を組み合わせて解析する必要があります。

このような背景から、構造化データと非構造化データの両方を効果的に活用し、ユーザーの質問に対する回答を生成する新たなデータ処理手法が求められていました。

そもそもSQLとは？

今回紹介するSUQLは、SQLをベースに開発されています。

SQL（Structured Query Language）は、データベース内のデータにアクセスし、操作するための標準的なプログラミング言語です。データベースは情報の整理された集まりであり、ユーザーがSQLを使って行う操作には以下のものがあります：

• データの検索: SELECT文を用いて特定の基準に一致するデータを抽出する
• データの追加: INSERT文を使って新しいデータをデータベースに加える
• データの更新: UPDATE文により既存のデータを変更する
• データの削除: DELETE文で不要なデータを取り除く

SQLは、単純なデータ抽出から複雑なデータ分析まで、幅広い用途に対応しています。データベース管理やビジネスインテリジェンスの分野で重要な役割を担っています。

本記事の関連研究：GPT-4などLLMのコード生成能力にデバッグ機能を追加する『SELF-DEBUGGING（セルフデバッギング）』と実行プロンプト

『SUQL』言語のポイント

上記の課題に対処するために開発された『SUQL』言語について詳しく見ていきます。

スタンフォード大学の研究者によって開発された新しいプログラミング言語『SUQL』（Structured and Unstructured Query Language）は従来のSQL（Structured Query Language）の機能に加えて、