本記事では、LLMと人間の価値観とのずれを調整する「アライメント」という考え方と、その代表的な手法を紹介します。

アライメントは、安全性や信頼性といった実用面にも関わる技術です。RLHFやConstitutional AIといったアプローチが登場し、注目が集まっています。

LLMを活用する立場にある方にとって、アライメントの理解は個人だけでなく組織としての仕事になりつつあると言えるかもしれません。

背景

LLMの実用が広がるにつれ、「LLMが人間の価値観と合っているか」という”アライメント”の問題がより現実的な関心ごとになっています。アライメントとは、モデルの出力が人間の意図や好みに沿っている状態を指します。LLMの情報を追う中で「現在のAIアライメントは〇〇という欠点がある」「〇〇社が公開したモデルには新しいAIアライメント手法が適用されている」といった文脈で何度も耳にするのではないでしょうか。

現在特に注目されているのは、人間のフィードバックを使ってモデルを微調整する手法です。言い換えるとこれは、「人間にとって望ましい振る舞い」に合わせる工夫です。

アライメントの話は単なる倫理や理論にとどまりません。何百万人が使うチャットシステムにLLMを組み込むとき、出力が適切かどうかは実務上の大きな問題です。

とはいえ、現在のアライメント技術には限界もあります。例えば、意図的におかしな答えを引き出すような攻撃に弱かったり、状況が変わると性能が落ちたりします。さらに、そもそも「人間の価値観とは何か」という根本的な問いや、それをどうモデルに落とし込むかという課題も未解決です。

本記事では、改めてアライメントとは何のために行うものか、理論と実装、そして実験結果をまとめて、重要なポイントをおさらいするための調査を取り上げます。

なお、「アライメントはモデルの開発企業が行うので、利用者（アプリ開発者含む）はやることがない」わけではありません。モデルだけではアプリケーション全体の健全性は確保できないため、工夫すべきことは多くあります。その上で、まずは全ての出発点であるモデル自体のアライメントを知っておくべきなのです。