対話型AIのユーザーの3割以上がすでにAIに心の悩みを相談していると推定されています。
この状況におけるリスク面を深刻に受け止めたハーバード大学、オックスフォード大学など24機関の研究者らが共同で「AIのメンタルヘルスケア能力を評価するシステム」を開発したとのことです。
昨今、対話型AIが進化するに従い、便利さなどのポジティブな話だけでなく、ユーザーがAIに感情的に依存してしまったり妄想を悪化させてしまうといったリスクが報告されています。
そして問題の一つは、メンタルヘルスケアAIサービスを展開する多くの企業で、「セラピーを提供する」と謳いながら規約の細かい文字で「医療サービスではない」と書いて規制を逃れているケースがあることです。
そこで研究チームは全米最大の患者団体との協力で、AIの「性格」のようなものや、実際の臨床場面でどれくらい適切な判断ができるかを総合的にチェックする仕組みを作りました。
単なる一時的な評価ではなく、新しい問題が見つかれば更新され続ける「生きた資源」として機能することを目指しているそうです。
今後こうした仕組みに支えられて、人の心のケアを行う際のAIの振る舞いがより適切になっていくことが期待されます。
📄 参照論文
MindBenchAI: An Actionable Platform to Evaluate the Profile and Performance of Large Language Models in a Mental Healthcare Context
所属: Beth Israel Deaconess Medical Center, Harvard University, Rice University