Googleとコーネル大学の研究者らが「AIにも睡眠をとらせよう」と実装した所、新しいことを学んでも前のことを忘れにくくなり、長い文章の理解や知識の追加もうまくこなせるようになったそうです。
人間は寝ている間に、その日の出来事を整理して大事なものだけ長期記憶に焼き付け、夢を見て、 頭の中を再編成しています。
一方で、現在の一般的なLLMは、いったん訓練が終わると賢さがそこで止まってしまいます。
後から新しいことを教え込もうとすると、今度は前に覚えていたことを忘れてしまい、人間でいえば「新しい記憶を一夜漬けで詰め込んだら昨日の記憶が消える」ような困った状態になります。
そこで人間と同じように、AIも普段は人と会話して情報を受け取り、ときどき「睡眠モード」に入って、その間に得た知識をじっくり整理して脳(パラメータ)に定着させ、さらに自分で練習問題を作って復習させるようにしました。
「詰め込みっぱなしの優等生」だったAIに、ちゃんと寝て頭を整理する習慣をつけさせたら賢く育った、とのこと。