Geminiの「常識を推論する能力」を網羅的に調査した結果 間違えやすいタイプの問題も明らかに

   
★AIDB会員限定Discordを開設いたしました! ログインの上、マイページをご覧ください。

★企業と人材のマッチングサービスを準備中です。アンケートのご協力をお願いいたします!↓

Geminiは、テキストと画像を組み合わせたマルチモーダル推論に特化したLLMです。開発元であるGoogleは、Geminiは人間のような柔軟性と理解力を持つことを目指す存在だとしています。

本記事では、様々な常識推論タスクを通じてGeminiの性能を評価した研究を紹介します。

Geminiは登場からまだ間もなく、実験結果は貴重なデータかもしれません。

関連研究Googleが「人間の専門家レベルを超える最初のモデル」とする『Gemini』発表、GPT-4を凌駕


AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

研究に至る背景

私たち人間が日常で必要とする思考力の一つに常識推論があります。たとえば、天気予報をもとに服を選ぶ際には、気象や交通の知識や知恵が求められます。AIもこのような常識を理解するようになることが期待されています。

最近ではGPT-4VやGeminiのようなモデルが登場し、文章だけでなく画像なども理解するマルチモーダルLLM(MLLM)が注目され、常識推論の力も向上することが見込まれています。
現状ではモデルが「常識」をどれだけうまく扱えるのかは分かっていません。世の中の研究者たちはLLMの理解力を測定するために、色々な方法を試しているところです。

本記事の関連研究

そもそも常識推論とはなにか

常識というのは、私たちが何気なく使っている日常の知識や考え方を指します。直感的に世界を理解するために無意識のうちに働く思考とも言えます。たとえば、曇った日に誰かが傘を持っているのを見たら、雨が降るかもしれないと私たちは予想します。また、例えば図書館などで部屋のドアが閉じられていたら、その部屋の中では静かでいるべきだと理解します。私たちは日々の生活の中で「常識」に基づいた推測を自然と行っているのです。

今回紹介する研究では、

本記事を読むにはAIDBのアカウントが必要です。
アカウントの作成は無料ですが、記事の閲覧は有料の場合があります。



※ログイン/初回登録後、下記ボタンを押してください。







■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






業界/カテゴリー

PAGE TOP