ハーバード医科大学などの研究者らが、1億枚以上の病理画像から学習したAIアシスタント『PathChat』を開発しました。
病理学に関する25万以上の指示チューニングしたLLMによって、画像もテキストも両方理解する能力を持つとのことです。
なお病理学とは、病気の原因や影響を、組織や細胞レベルで研究する医学の一分野です。
– “A Foundational Multimodal Vision Language AI Assistant for Human Pathology”
■『PathChat』のポイント
① 病理の専門的な画像を分析し解釈する
② 病理学の関連文章を理解し答える
■アーキテクチャ
① 1億枚以上の病理学画像と、120万枚のキャプションデータを使ってエンコーダを作成
② 25万以上の指示チューニングをしたLLMと連携
■実験結果
① 「画像のみ」で70.8%、「画像とテキスト」で81.2%の正確性を示した
② オープンエンドの質問で86.1%の正確性を達成
③ なお「顕微鏡」では83%、「診断」では73.9%の正確性だった
→他のモデルと比較して正確かつ好ましい応答だった
研究者らはこのような結果をもって、医学におけるAIの応用がさらに進む展開が期待できるとしています。
ただし性能を厳しく評価すること、そして倫理面に配慮すべきと注意しています。
