近年の人工知能（AI）技術の発展により、大規模言語モデル（Large Language Model, LLM）が様々な分野で活用されています。本記事では、最新のGPT-4をはじめとするGPTシリーズのLLMが、日本の医師国家試験にどの程度対応できるかを検証した研究について解説します。

目次

• 医師国家試験とは
• 大規模言語モデルと医師国家試験
• 評価手法：Igaku QAベンチマーク

  • Igaku QAベンチマークの概要
  • 評価指標と多言語対応の評価

• 評価結果と考察

  • GPT-4の性能と問題点
  • 評価方法の制約と今後の研究課題

• 関連研究と将来の展望

  • 関連研究と基盤
  • 将来の展望と課題

• まとめ

参照論文情報

• タイトル：Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations
• 著者：Jungo Kasai, Yuhei Kasai, Keisuke Sakaguchi, Yutaro Yamada, Dragomir Radev
• URL：10.48550/arXiv.2303.18027
• GitHub：jungokasai/IgakuQA

関連研究

「BloombergGPT」金融分野に特化した言語モデル登場

人の音声からAIが「性格」を予測

ディープラーニングによって「細胞の老化」をスコアリングするシステムを開発　慶應の研究グループ

高齢者の日常動作を認識するディープラーニング技術

医師国家試験とは

医師国家試験は、医学生が6年間の医学部教育を終えた後に受験する資格試験です。この試験に合格することが、医師としての実務を行う上での最低限の知識と技能を持っていることの証明となります。試験は一般的に年に1回実施され、出題範囲は基礎医学から臨床医学まで幅広い分野を網羅しています。

医師国家試験では、受験者の専門的知識だけでなく、問題解決能力や判断力も試されるため、試験問題は症例に基づく診断や治療方針の選択など、実際の医療現場で直面する状況を想定して作成されています。また、試験問題には画像や図表などのマルチモーダルな（様々な形態による）情報が含まれることもあり、受験者は様々な情報を統合して正確な判断を下さなければなりません。

医師国家試験の合格基準は厳格であり、医師としての専門性を確保するためにも、この試験が重要な役割を果たしています。

大規模言語モデルと医師国家試験

医師国家試験は、専門的な知識や臨床技能が問われる場です。これに対して、大規模言語モデルは多様な情報源から学習しており、専門性の高い医学分野においても一定の知識を持っていることが期待されますが、その知識の正確さや適用能力は未知数です。

ワシントン大・札幌心臓血管クリニック・東北大・イエール大の研究者グループは、GPT-3、ChatGPT（GPT-3.5）、GPT-4といった異なる世代のGPTシリーズを、2018年から2022年までの日本の医師国家試験に挑ませました。
この研究では、Igaku QAベンチマークを用いて、医師国家試験における大規模言語モデルの回答精度や選択肢の適切性を詳細に調査しました。

その結果、GPT-4は他のモデルを上回る性能を示し、医師国家試験に合格するレベルの知識を持っていることが明らかになりました。

評価手法：Igaku QAベンチマーク

Igaku QAベンチマークの概要

本研究で用いられた評価手法は、Igaku QAベンチマークという日本の医師国家試験を対象とした評価基準です。このベンチマークは、2018年から2022年までの試験問題を集めて構築されており、専門性の高い医学分野での大規模言語モデルの性能を詳細に評価するために設計されました。Igaku QAは、実際の医療現場で必要とされる知識や技能を測ることを目的としており、モデルの有用性や限界を明らかにする上で重要な役割を果たします。

評価指標と多言語対応の評価

Igaku QAベンチマークでは、各試験問題に対するモデルの回答精度や、回答にかかる時間、選択肢の適切性など、さまざまな指標によって評価が行われます。これにより、モデルがどの程度医学的知識を習得しているかや、その知識がどのように適用されるかを定量的に把握することが可能になります。

また、Igaku QAベンチマークは、日本語で書かれた問題を対象としているため、英語とは異なる言語特性や文法構造を持つ言語でのモデルの性能も評価できます。これにより、大規模言語モデルが多言語対応や特定の言語における専門性をどのように学習・適用できるかを検証することができるのです。

さらに、Igaku QAベンチマークはオープンソースとして公開されており（URLは記事下部に記載）、今後の研究でこの評価基準を利用し、さまざまなモデルや設定に対する評価を行うことが期待されています。これにより、医学分野における大規模言語モデルの発展や、その応用範囲の拡大が促されることが予想されます。

評価結果と考察

GPT-4の性能と問題点

GPTシリーズのLLMを日本の医師国家試験に適用した結果、