LLMを医療分野、ヘルスケア分野でどのように活用できるかについての網羅的な調査が行われました。
結論としては、多くのタスクで応用できる可能性があり、従来のツールよりも効率性に長けるとのことです。
シンガポール国立大学などの研究者らによる発表です。
@ Kai He et al., “A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics”
医療・ヘルスケア分野で言語モデル（BERTやGPT-2）を使用するアイデアは以前からありましたが、説明性やロバスト性が不足していました。
LLMはそんな課題を乗り越える可能性があります。
そこで研究者らは包括的に調査を行い、下記のように報告しています。
■従来の言語モデルとLLMの違い
① PLM（Pretrained Language Model）は主に単一タスクのシステムであり、表現力と対話能力が不足している
② LLMは多様なタスクに対応可能であり、説明性やロバスト性が向上している
③ LLMはゼロショットやフューショットの状況でも高い性能を発揮する
■医療分野でのLLMトレーニングについて
① 一般的なデータソースにはEHR（電子健康記録）、科学文献、ウェブデータ、公共の知識ベースが含まれる
② データ構造としては、QA（質問応答）と対話データが最も一般的
③ 医療分野専用のLLMが多く、IFT（Instruction Following Training）がよくあるトレーニング手法
④ RLHF/RLAIFはまだ安定性が不足していると考えられ、論文出版時点では十分に活用されていない
■医療分野でのLLM最適化戦略
① LoRA、ZeRO、モデル量子化などが一般的な最適化技術
② プロンプトの選択も重要で、異なるプロンプトがモデルの性能に大きな影響を与える
■医療分野でのLLM使用法
下記のような医療分野での基本的なタスクに適用されます。
・固有表現抽出
・関係抽出
・テキスト分類
■注意点
① モデルがトレーニングデータを記憶して単にそれを再生する問題がある
② EHR（電子健康記録）は重要なトレーニングデータであるが、一部のEHRはプライバシーに関する問題がある
