Claude 3.5 Computer Useのケーススタディ集　示唆される「GUIエージェントの夜明け」

Claude 3.5 Computer Useのケーススタディ集　示唆される「GUIエージェントの夜明け」

By AIDB Research / 2024/11/21
本記事では、PCの画面を見て操作できる「...
Read More
LLMが長々と説明するときは自信がない傾向にある　14個のモデルで検証

LLMが長々と説明するときは自信がない傾向にある　14個のモデルで検証

By AIDB Research / 2024/11/20
本記事では、LLMが「答えに自信がない時...
Read More
LLMプロジェクト開発に必要な新しい概念「AgentOps」とは

LLMプロジェクト開発に必要な新しい概念「AgentOps」とは

By AIDB Research / 2024/11/19
本記事では、LLMエージェントを安全に開...
Read More
オープンソースのコード生成LLMが商用LLMに追いつく　Qwen2.5-Coderの能力値全容

オープンソースのコード生成LLMが商用LLMに追いつく　Qwen2.5-Coderの能力値全容

By AIDB Research / 2024/11/18
本記事では、コード生成に特化したLLM「...
Read More
画像も文字も表も全部まとめて理解するRAGシステムの提案　Bloombergなど

画像も文字も表も全部まとめて理解するRAGシステムの提案　Bloombergなど

By AIDB Research / 2024/11/15
本記事では、複数の文書やページから図や表...
Read More
Llama 3.1シリーズ、8ビット量子化で半分以下のサイズでも性能をほぼ完全維持、実験で確認

Llama 3.1シリーズ、8ビット量子化で半分以下のサイズでも性能をほぼ完全維持、実験で確認

By AIDB Research / 2024/11/14
本記事では、LLMの推論コストを削減する...
Read More
LLMにおける長文処理能力の進化を調査 Claude 3.5は情報の流れを追跡するスキルに長ける

LLMにおける長文処理能力の進化を調査 Claude 3.5は情報の流れを追跡するスキルに長ける

By AIDB Research / 2024/11/13
本記事では、LLMの長文処理能力について...
Read More
上司役のLLMが部下LLMたちに的確に仕事を振り分ける『Magentic-One』マイクロソフトが開発

上司役のLLMが部下LLMたちに的確に仕事を振り分ける『Magentic-One』マイクロソフトが開発

By AIDB Research / 2024/11/12
本記事では、マイクロソフトが開発したマル...
Read More
「HTMLをそのままLLMに入力してはどうか」という新しいアプローチ

「HTMLをそのままLLMに入力してはどうか」という新しいアプローチ

By AIDB Research / 2024/11/11
本記事では、LLMの精度向上のために用い...
Read More
LLMの機能別「領域」はまるで脳のようであるとの仮説

LLMの機能別「領域」はまるで脳のようであるとの仮説

By AIDB Research / 2024/11/08
本記事では、LLMの内部で発見された驚く...
Read More

ベンチマーク

OpenAIが新しくLLMの事実性評価ベンチマーク『SimpleQA』をリリース　実用に役立つ知見も得られる

OpenAIが新しくLLMの事実性評価ベンチマーク『SimpleQA』をリリース　実用に役立つ知見も得られる

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

500以上の実世界のマルチモーダルタスクを含む、過去最大規模の評価ベンチマーク『MEGA-BENCH』登場

複雑なプログラミングタスクに特化したベンチマーク『BigCodeBench』登場　最新モデルでも60%

複雑なプログラミングタスクに特化したベンチマーク『BigCodeBench』登場　最新モデルでも60%

マルチモーダルLLMの高難易度ベンチマーク『MMMU-Pro』で明らかになったこと

マルチモーダルLLMの高難易度ベンチマーク『MMMU-Pro』で明らかになったこと

Appleが「LLMエージェントの評価」に特化したベンチマーク『MMAU』を開発　5領域5能力で測る

Appleが「LLMエージェントの評価」に特化したベンチマーク『MMAU』を開発　5領域5能力で測る

包括的なRAG評価ベンチマーク『CRAG』Metaなどが開発

包括的なRAG評価ベンチマーク『CRAG』Metaなどが開発

MMLUをアップデートしたベンチマーク『MMLU-Pro』Phi-3やLlama 3、Claude 3、GPT-4oなどの評価結果

MMLUをアップデートしたベンチマーク『MMLU-Pro』Phi-3やLlama 3、Claude 3、GPT-4oなどの評価結果

LLMの「心の理論」能力を詳しく調べるためのベンチマーク『OpenToM』 GPT-4など複数モデルの評価結果

LLMの「心の理論」能力を詳しく調べるためのベンチマーク『OpenToM』 GPT-4など複数モデルの評価結果
PAGE TOP