AIDB Daily Papers
意味論なしの構文:大規模言語モデルに未知の言語でのコーディングを教える
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 事前学習データに存在しない最小限の言語PyLangを導入し、大規模言語モデルのコーディング能力を評価した。
- ファインチューニングは構文を学習させるが、意味論的な能力の転移には失敗し、Pythonよりも性能が劣ることが判明した。
- モデルは言語非依存のアルゴリズム理解を持つが、未知の言語での実装能力に課題(実装忠実度ギャップ)があることが示された。
Abstract
Large language models (LLMs) achieve high pass rates on code generation benchmarks, yet whether they can transfer this ability to languages absent from pretraining remains poorly understood. We introduce PyLang, a minimal imperative language absent from all pretraining corpora, and evaluate frontier models zero-shot and fine-tuned Qwen3 (4B, 8B, 32B) on 352 problems. We find that fine-tuning quickly teaches syntax but fails to transfer semantic competence: Python outperforms PyLang by up to 19% across all configurations, and no intervention (multi-task learning, preference tuning, code infilling, or latent-space objectives) closes the gap. An LLM judge reveals that frontier models select an identical algorithm to Python 80% of the time, yet cannot translate it into a working PyLang implementation., and CKA analysis confirms that fine-tuned models converge to nearly identical internal representations across languages (CKA > 0.97) while diverging at the output stage. We term this the implementation fidelity gap: models possess language-agnostic algorithmic understanding but cannot express it in an unfamiliar language. Our findings highlight the need for training methods that decouple reasoning from language-specific realization.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: