ベンチマーク

ホーム
過去の記事一覧

コンテンツ検索

LLMには正解例だけでなく、「よくある間違い例」と理由も一緒に教えるのが有効

By AIDB Research / 2024/10/25

本記事では、LLMの思考プロセスに関する...

o1モデルが人間のように6つの思考パターンを使い分けているとの実験結果

By AIDB Research / 2024/10/24

本記事では、AIの性能向上における「推論...

IBMから日本語対応の商用可能オープンソースLLM「GRANITE 3.0」公開　8Bから

By AIDB Research / 2024/10/23

本記事では、IBMが新たに開発した軽量な...

計画のステップが増えるほど、LLMは最初の目標を見失っていく傾向がある

By AIDB Research / 2024/10/22

本記事では、LLMを活用したエージェント...

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

By AIDB Research / 2024/10/21

本記事では、マルチモーダルAIモデルの能...

「o1-preview」は自己評価メカニズムを持つ　計画立案中に自分の行動をチェックして修正　

By AIDB Research / 2024/10/18

本記事では、OpenAIの最新モデル「o...

ロングコンテキストLLMでも、情報の数は「多ければ多いほど良い」わけではない

By AIDB Research / 2024/10/17

本記事では、長い文脈を扱えるLLMをRA...

OpenAIのo1-previewモデル、Kaggleのグランドマスター基準を上回るデータ分析性能を発揮

By AIDB Research / 2024/10/16

本記事では、OpenAIが開発した「機械...

LLMの推論能力は単純に文脈を繰り返すだけでも大幅に向上　最大で30%改善

By AIDB Research / 2024/10/15

本記事では、LLMの多段階推論能力を向上...

「あなたは〇〇です」などのペルソナ設定を与えても、事実に基づく質問への回答精度は向上しないとの主張

By AIDB Research / 2024/10/11

本記事では、LLMのシステムプロンプトに...

2023/12/30
LLM ベンチマーク論文

AIDB

コンテンツ検索

LLMには正解例だけでなく、「よくある間違い例」と理由も一緒に教えるのが有効

o1モデルが人間のように6つの思考パターンを使い分けているとの実験結果

IBMから日本語対応の商用可能オープンソースLLM「GRANITE 3.0」公開　8Bから

計画のステップが増えるほど、LLMは最初の目標を見失っていく傾向がある

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

「o1-preview」は自己評価メカニズムを持つ　計画立案中に自分の行動をチェックして修正

ロングコンテキストLLMでも、情報の数は「多ければ多いほど良い」わけではない

OpenAIのo1-previewモデル、Kaggleのグランドマスター基準を上回るデータ分析性能を発揮

LLMの推論能力は単純に文脈を繰り返すだけでも大幅に向上　最大で30%改善

「あなたは〇〇です」などのペルソナ設定を与えても、事実に基づく質問への回答精度は向上しないとの主張

AGIを見据えて専門家レベルの問題を集めたベンチマーク「MMMU」、GPT-4VやGemini Ultraでも正解率6割未満

コンテンツ検索

おすすめポスト

コンテンツ検索