LLMには正解例だけでなく、「よくある間違い例」と理由も一緒に教えるのが有効

LLMには正解例だけでなく、「よくある間違い例」と理由も一緒に教えるのが有効

By AIDB Research / 2024/10/25
本記事では、LLMの思考プロセスに関する...
Read More
o1モデルが人間のように6つの思考パターンを使い分けているとの実験結果

o1モデルが人間のように6つの思考パターンを使い分けているとの実験結果

By AIDB Research / 2024/10/24
本記事では、AIの性能向上における「推論...
Read More
IBMから日本語対応の商用可能オープンソースLLM「GRANITE 3.0」公開　8Bから

IBMから日本語対応の商用可能オープンソースLLM「GRANITE 3.0」公開　8Bから

By AIDB Research / 2024/10/23
本記事では、IBMが新たに開発した軽量な...
Read More
計画のステップが増えるほど、LLMは最初の目標を見失っていく傾向がある

計画のステップが増えるほど、LLMは最初の目標を見失っていく傾向がある

By AIDB Research / 2024/10/22
本記事では、LLMを活用したエージェント...
Read More
500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

By AIDB Research / 2024/10/21
本記事では、マルチモーダルAIモデルの能...
Read More
「o1-preview」は自己評価メカニズムを持つ　計画立案中に自分の行動をチェックして修正　

「o1-preview」は自己評価メカニズムを持つ　計画立案中に自分の行動をチェックして修正　

By AIDB Research / 2024/10/18
本記事では、OpenAIの最新モデル「o...
Read More
ロングコンテキストLLMでも、情報の数は「多ければ多いほど良い」わけではない

ロングコンテキストLLMでも、情報の数は「多ければ多いほど良い」わけではない

By AIDB Research / 2024/10/17
本記事では、長い文脈を扱えるLLMをRA...
Read More
OpenAIのo1-previewモデル、Kaggleのグランドマスター基準を上回るデータ分析性能を発揮

OpenAIのo1-previewモデル、Kaggleのグランドマスター基準を上回るデータ分析性能を発揮

By AIDB Research / 2024/10/16
本記事では、OpenAIが開発した「機械...
Read More
LLMの推論能力は単純に文脈を繰り返すだけでも大幅に向上　最大で30%改善

LLMの推論能力は単純に文脈を繰り返すだけでも大幅に向上　最大で30%改善

By AIDB Research / 2024/10/15
本記事では、LLMの多段階推論能力を向上...
Read More
「あなたは〇〇です」などのペルソナ設定を与えても、事実に基づく質問への回答精度は向上しないとの主張

「あなたは〇〇です」などのペルソナ設定を与えても、事実に基づく質問への回答精度は向上しないとの主張

By AIDB Research / 2024/10/11
本記事では、LLMのシステムプロンプトに...
Read More

ベンチマーク

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

複雑なプログラミングタスクに特化したベンチマーク『BigCodeBench』登場　最新モデルでも60%

複雑なプログラミングタスクに特化したベンチマーク『BigCodeBench』登場　最新モデルでも60%

マルチモーダルLLMの高難易度ベンチマーク『MMMU-Pro』で明らかになったこと

マルチモーダルLLMの高難易度ベンチマーク『MMMU-Pro』で明らかになったこと

Appleが「LLMエージェントの評価」に特化したベンチマーク『MMAU』を開発　5領域5能力で測る

Appleが「LLMエージェントの評価」に特化したベンチマーク『MMAU』を開発　5領域5能力で測る

包括的なRAG評価ベンチマーク『CRAG』Metaなどが開発

包括的なRAG評価ベンチマーク『CRAG』Metaなどが開発

MMLUをアップデートしたベンチマーク『MMLU-Pro』Phi-3やLlama 3、Claude 3、GPT-4oなどの評価結果

MMLUをアップデートしたベンチマーク『MMLU-Pro』Phi-3やLlama 3、Claude 3、GPT-4oなどの評価結果

LLMの「心の理論」能力を詳しく調べるためのベンチマーク『OpenToM』 GPT-4など複数モデルの評価結果

LLMの「心の理論」能力を詳しく調べるためのベンチマーク『OpenToM』 GPT-4など複数モデルの評価結果

大規模言語モデル（LLM）のこれまでとこれから④　-ベンチマーク別の優秀なモデルと将来展望編-

大規模言語モデル（LLM）のこれまでとこれから④　-ベンチマーク別の優秀なモデルと将来展望編-
PAGE TOP