LLMの学習／チューニングに使用する「データの管理」に関する、現状の理解やノウハウを網羅的に調査した報告が行われています。
北京大学などの研究者らによる発表です。
ついやってしまいがち／忘れてしまいがちなことを中心に取り上げられています。
以下では報告内容を紹介します。
– “Data Management For Large Language Models: A Survey”
論文によると、LLMの事前学習やファインチューニング（用途に合わせた調整）において、データセットをどう評価したらいいのかあまり議論されておらず、多くの人が混乱する原因になっています。
そこで研究者らは、データの管理について体系的な調査を行いました。以下は報告内容の抜粋です。
■事前学習におけるデータ管理について
① データを増やすならモデルも大きくするべき
② データの過剰な重複は避けるべき
③ 品質を保つための過剰なフィルタリングは逆効果
④ 有害テキスト排除で一般化機能に悪影響のリスクも
⑤ 社会的バイアスは伝播するため多様性に考慮すべき
⑥ 時代間のデータ不一致は精度に悪影響を与える
⑦ 多くのドメインから多くのデータソースを含めるのが有益
⑧ データ管理システムの導入を推奨
■ファインチューニングにおけるデータ管理について
① 必ずしも多くの指示データが必要とは限らない
② 指示データの質や多様性、難易度の幅、プロンプトの設計が重要
③ （案外、）タスクごとにチューニングする方が良いとの見方もある
④ データの量や質も重要だが、学習効率の向上にも目を向けるべき
研究者らは、まだデータ管理のノウハウは中途半端な状態であり、より精密な理解が重要と主張しています。マルチモーダルを含めて、データ管理の枠組みを議論し作成していくことを推奨しています。
