どのLLMにおけるメンタルヘルスケア能力が最も優れているのか調査した結果、GPT-4を退けてAlpacaとFLAN-T5に軍配が上がりました。
MIT・スタンフォードなどの研究グループが報告しています。
○ Xuhai Xu et al. Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data
研究者らは、今後多岐にわたる応用を期待の「大規模言語モデルの精神衛生タスク」性能を確かめるべく、以下5つのLLMを比較しました。
■Alpaca
■Alpaca-LoRA
■FLAN-T5
■GPT-3.5
■GPT-4
その結果、微調整されたAlpacaである「Mental-Alpaca」と微調整されたFLAN-T5である「Mental-FLAN-T5」が最も優秀なパフォーマンスを出しました。
人種やジェンダーの格差などの倫理的な問題も考慮しながら、実用化可能な技術として発展させられることが望まれています。
