RAGシステムの精度を上げたいとき、モデルの選定やプロンプト設計に目が行きがちですが、実は「文書をどう切るか」というチャンキングの工程が検索精度を大きく左右します。
段落で切る、固定長で切る、LLMに切らせる。さまざまな方式が提案されていますが、同じ条件で横並び比較しないと方針が立てられません。本記事では、6つのチャンキング戦略を2種類の検索タスクで体系的に比較した事例を紹介します。どのタスクにどの戦略を使うべきかという実務上見逃せない知見が得られています。
AIDBは、AI活用のノウハウ獲得や技術動向の調査のために、個人やチームが論文を探す・読む・活かす作業をサポートするプラットフォームです。なお、記事や投稿は人の手で書いています。
検索対象:
RAGにおけるチャンキング戦略をおさらい どの戦略をどんなタスクに使うべきか検証
