Loading [MathJax]/extensions/tex2jax.js
次回の更新記事：LLMで複数のアイデアを組み合わせ、新しい有望な研究…（公開予定日：2025年04月02日）

ベンチマーク

LLM評価の盲点とそれを解消する手法

LLM評価の盲点とそれを解消する手法

天井が見え始めたこれまでのLLMベンチマークを超える究極の問題集 DeepSeek-R1もテスト

天井が見え始めたこれまでのLLMベンチマークを超える究極の問題集 DeepSeek-R1もテスト

企業実務タスクにおけるLLMエージェントの能力を評価する方法

企業実務タスクにおけるLLMエージェントの能力を評価する方法

実際の企業データからなるtext-to-SQLベンチマーク「Spider 2.0」と専門エージェント『Spider-Agent』

実際の企業データからなるtext-to-SQLベンチマーク「Spider 2.0」と専門エージェント『Spider-Agent』

OpenAIが新しくLLMの事実性評価ベンチマーク『SimpleQA』をリリース　実用に役立つ知見も得られる

OpenAIが新しくLLMの事実性評価ベンチマーク『SimpleQA』をリリース　実用に役立つ知見も得られる

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

複雑なプログラミングタスクに特化したベンチマーク『BigCodeBench』登場　最新モデルでも60%

複雑なプログラミングタスクに特化したベンチマーク『BigCodeBench』登場　最新モデルでも60%

マルチモーダルLLMの高難易度ベンチマーク『MMMU-Pro』で明らかになったこと

マルチモーダルLLMの高難易度ベンチマーク『MMMU-Pro』で明らかになったこと

Appleが「LLMエージェントの評価」に特化したベンチマーク『MMAU』を開発　5領域5能力で測る

Appleが「LLMエージェントの評価」に特化したベンチマーク『MMAU』を開発　5領域5能力で測る

包括的なRAG評価ベンチマーク『CRAG』Metaなどが開発

包括的なRAG評価ベンチマーク『CRAG』Metaなどが開発

MMLUをアップデートしたベンチマーク『MMLU-Pro』Phi-3やLlama 3、Claude 3、GPT-4oなどの評価結果

MMLUをアップデートしたベンチマーク『MMLU-Pro』Phi-3やLlama 3、Claude 3、GPT-4oなどの評価結果

LLMの「心の理論」能力を詳しく調べるためのベンチマーク『OpenToM』 GPT-4など複数モデルの評価結果

LLMの「心の理論」能力を詳しく調べるためのベンチマーク『OpenToM』 GPT-4など複数モデルの評価結果

大規模言語モデル（LLM）のこれまでとこれから④　-ベンチマーク別の優秀なモデルと将来展望編-

大規模言語モデル（LLM）のこれまでとこれから④　-ベンチマーク別の優秀なモデルと将来展望編-

AGIを見据えて専門家レベルの問題を集めたベンチマーク「MMMU」、GPT-4VやGemini Ultraでも正解率6割未満

AGIを見据えて専門家レベルの問題を集めたベンチマーク「MMMU」、GPT-4VやGemini Ultraでも正解率6割未満

日常能力を試すテスト『GAIA』正答率、人間92%に対してGPT-4は15%　一般的なニーズに応えるAI開発の指針に

日常能力を試すテスト『GAIA』正答率、人間92%に対してGPT-4は15%　一般的なニーズに応えるAI開発の指針に

プロフィールを登録すると
仕事のオファーが届きます

プロフィール登録
PAGE TOP