LLMの論理的な思考能力には「限界点」があり、その限界を超えると性能が徐々に落ちるのではなく、突然ガクッと崩壊するとのこと。
水を冷やしていくと0℃で突然凍るように、AIに与える論理問題の複雑さがある閾値を超えた瞬間、それまで正確に答えられていたAIが急にデタラメな回答しかできなくなるそうです。
特定のモデルだけの問題ではなく、調べられたすべてのモデルで同じ現象が起きました。
この「崩壊ポイント」をずらすことが非常に難しいそうです。
追加で訓練しても、思考の過程を言語化させるCoTという手法を使っても、モデルを大きくしても、各難易度での正答率は上がるものの、崩壊が始まる複雑さの閾値自体は動きません。
