AIDB Daily Papers
売上を伸ばし、無駄をなくす:LLMのリアルな販売スキルをベンチマーク
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- SalesLLMベンチマークを導入し、金融サービスと消費財を対象とした現実的な販売対話のデータセットを構築した。
- このベンチマークは、対話の進捗と成果を評価する自動評価パイプラインを提供し、販売エージェントの開発を促進する。
- 15のLLMを評価した結果、性能に大きなばらつきがあり、上位モデルは人間レベルの販売スキルを持つことが示された。
Abstract
Sales dialogues require multi-turn, goal-directed persuasion under asymmetric incentives, which makes them a challenging setting for large language models (LLMs). Yet existing dialogue benchmarks rarely measure deal progression and outcomes. We introduce SalesLLM benchmark, a bilingual (ZH/EN) benchmark derived from realistic applications covering Financial Services and Consumer Goods, built from 30,074 scripted configurations and 1,805 curated multi-turn scenarios with controllable difficulty and personas. We propose a fully automatic evaluation pipeline that combines (i) an LLM-based rater for sales-process progress,and (ii) fine-tuned BERT classifiers for end-of-dialogue buying intent. To improve simulation fidelity, we train a user model, CustomerLM, with SFT and DPO on 8,000+ crowdworker-involved sales conversations, reducing role inversion from 17.44% (GPT-4o) to 8.8%. SalesLLM benchmark scores correlate strongly with expert human ratings (Pearson r=0.98). Experiments across 15 mainstream LLMs reveal substantial variability: top-performance LLMs are competitive with human-level performance while the less capable ones are worse than human. SalesLLM benchmark serves as a scalable benchmark for developing and evaluating outcome-oriented sales agents.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: