人工知能（AI）は急速に進化し、その進歩は我々の生活に多大な影響を与えています。特に、GPT-3.5やGPT-4のような大規模言語モデル（LLM）は、顧客サービス、翻訳、記事作成など、あらゆる分野で人間の作業を補完、あるいは置き換える可能性を持っています。しかし、これらのモデルの振る舞いが時間の経過とともにどのように変化するのかは、まだ十分に理解されていません。スタンフォード大学とUCバークレーの研究者たちは、この疑問に答えるための研究を行い、興味深い結果を得ました。

参照論文情報

• タイトル：How is ChatGPT’s behavior changing over time?
• 著者：Lingjiao Chen, Matei Zaharia, James Zou
• 所属：スタンフォード大学、UCバークレー
• URL：https://doi.org/10.48550/arXiv.2307.09009
• GitHub：https://github.com/lchen001/llmdrift

関連研究

• 大規模言語モデルへのプロンプト、重要な情報はどこに書く？
• 大規模言語モデルは税理士になりうるか？ケーススタディの結果
• クラウドワーカーが大規模言語モデルを使用している現状の調査と分析

AIの振る舞いは、時間と共に揺れ動く

この研究では、AIの行動が一定であるとは限らないことが見事に描かれています。AIは、人間の脳のように学習し、経験から洞察を得る機能を持っています。つまり、時間と経験によって、その反応や能力は変化する可能性があるのです。そして、この研究はその可能性を具体的に捉え、定量的に評価したものとなっています。

数学問題解決能力の変動

まず注目すべきは、GPT-4が数学の問題解決能力において示した変動です。2023年3月には、GPT-4は素数を特定する問題に対して、驚くべき精度、97.6%を記録しました。しかし、そのわずか3ヶ月後、同じ問題に対する精度は2.4%にまで落ち込んでしまいます。これは、短期間にその性能が大幅に変化したことを示しています。一方、GPT-3.5では、2023年6月のバージョンが前のバージョンよりも高い性能を示しています。

センシティブな質問への反応の変化

また、GPT-4はセンシティブな質問への反応も時間とともに変化しました。2023年6月のバージョンは、3月のバージョンに比べて、これらの質問への反応を減らす傾向がありました。これは、AIが人間の感情や倫理観を理解する能力が進化した可能性を示しています。

コード生成能力の変動

そして最後に、コード生成の能力についても見てみましょう。