AIDB Daily Papers
LLMは提供元のエコシステムを優遇するのか?コード生成における垂直統合バイアスの測定
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究では、LLMがコード生成時に提供元のエコシステムを優遇する「垂直統合バイアス(VIB)」を定義し、測定するためのベンチマーク「VIBench」を開発した。
- AIエージェントによるコード生成では、LLMが提供元のエコシステムを優遇する傾向が顕著に現れ、その影響は下流のファイルにも波及することが明らかになった。
- この結果は、コード生成におけるVIBの測定と考慮の必要性を示唆しており、特にAIエージェントの普及に伴い重要性が増している。
Abstract
Large Language Models (LLMs) have become an integral part of software development, especially with the advent of agentic capabilities. Yet, many frontier LLMs are affiliated with specific providers. This raises the question of whether generated code favors the provider's own ecosystem over comparable alternatives, potentially constraining developers' choices and increasing dependence on a single provider. We define this behavior as Vertical Integration Bias (VIB) and introduce textsc{VIBench}, a benchmark for measuring VIB in direct and agentic code generation across $20$ provider-selectable software-integration scenarios. Evaluating $10$ frontier provider-affiliated models against $3$ non-affiliated controls, we find positive VIB in direct generation, with six of ten affiliated models showing statistically significant effects up to $+18.8$ percentage points (pp). Agentic workflows further amplify VIB, reaching $+39.2$ pp. Moreover, early affiliated-ecosystem choices in agentic workflows can persist into conceptually decoupled downstream files, with persistence as high as $90.3%$. These findings underscore the need to measure and account for VIB in code generation, especially as agentic capabilities become more prevalent.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: