Xのポストから精神状態を高い精度で解析するオープンソースLLMツール『MentalLLaMA（メンタル・ラマ）』が登場しました。
マンチェスター大学などの研究者らによる開発です。
○ Kailai Yang et al., “MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models”
SNSの投稿からメンタルヘルスを分析する研究は数多く行われてきましたが、あまり精度が高いとは言えないのが現状でした。
そこで研究者らは、LLMを高品質な特化データで訓練するアプローチで解決を行いました。
■MentalLLaMAのレシピ
① Reddit、X（旧Twitter）、SMSテキストなど、合計10種類のSNSからデータを収集
② ChatGPTによってデータに説明を付与
③ ChatGPTによって生成された説明をAIGC評価
AIGC：AI Generated Content（AI生成コンテンツ）
④ 上記「データ＋説明」を用いてLLaMA2を訓練
⑤ MentalLLaMAの完成
■性能評価実験と結果
MentalLLaMAの性能はメンタルヘルス分析性能を評価するベンチマーク（8つのタスクと10のテストセット）で評価されました。
その結果は以下のとおりです。
① 10テストセット中7つで最優秀以上のスコアを出した
② 4つのテストセットでは100%の性能を示した
→「MentalLLaMAはSNS投稿からの精神解析性能に優れている」と結論づけられた
■MentalLLaMAが優れている理由
それは以下のように考察されます。
① LLaMA2基盤モデルがそもそも優秀である
② ChatGPTを利用した”Instruction Tuning”が優れている
③ 人間フィードバックによる強化学習（RLHF）が機能している
④ モデルサイズが大きい（13Bは7Bより優れていた）
■メリットとリスク
メリット：
① 早期診断や予防に活用できる
リスク：
① プライバシーの侵害につながる恐れがある
② 誤診断の恐れがある
③ ①や②の結果、精神的被害につながる恐れがある
📄 参照論文
MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models
