Geminiで、スマホ動画から自閉症の行動を医師並みに採点

スマホで撮影した1〜3分の家庭動画から、自閉症に関わる子どもの行動を、医師に近い精度で採点するAIを作ったという報告が出ています。

研究を行ったのは、スタンフォード大学を中心とする研究チームです。

研究者らは、医師が採点した400本のホームビデオを使い、GoogleのGemini 2.5 Proを微調整しました。モデルには動画を見せ、視線の合い方、物を使った遊び方、名前を呼ばれたときの反応など、診断に関わる30項目の行動を一つずつ採点させるよう訓練しました。

その結果、AIの採点と医師の採点の一致度は4割向上し、ほぼ人間の評価者と同じ水準に到達しました。特に、共同注意やまねっこのように、診断上は重要でありながら、動画だけでは見極めが難しい行動で大きく改善したといいます。

興味深いのは、モデルに「自閉症かどうか」という診断そのものは一度も教えていない点です。訓練したのは、個々の行動を医師のように採点することだけでした。それでも、診断の当て方まで自然に上達しました。

さらに実務面では、AIが読み取った30項目のスコアを別の判定器に渡す方法のほうが、AIに直接診断させるよりも常に高い精度を示しました。最高で正答率77%、AUC86%に達しています。

自閉症は、米国では31人に1人に見られる一方、診断がつくのは平均4歳超と遅れがちです。そのため、効果の高い早期介入のタイミングを逃してしまうことがあります。こうしたしくみは、専門医が足りない地域で、子どもを早期に支援へつなぐ手段になるかもしれません。

早期診断を阻む人手のボトルネック

問題の根には、診断のしくみそのものがあります。

自閉症に結びつく行動上の兆候は、生後の早い時期から、自然な生活場面の中で観察できます。それにもかかわらず、実際に診断がつくのは平均4歳超です。最も信頼できる兆候が見えてから、2年以上遅れている計算になります。

早期介入は、3歳前に始めるほど、認知、言語、適応の面で効果が大きいとされています。紹介が1年遅れるたびに、最も介入効果が出やすい時期が削られていくことになります。

ボトルネックになっているのは、標準的な検査の設計です。自閉症診断観察検査、ADOSは、訓練を受けた専門家が子どもとやり取りしながら評価する標準的な検査です。また、適応行動を測る尺度もあります。

しかし、これらは長時間の評価、対面での実施、専門訓練を前提としています。世界の多くの地域では、人口規模に対して専門家の数が足りません。

そこで、保護者が撮影した短い家庭動画から、診断に関わる行動情報を取り出すアプローチが10年以上研究されてきました。レトロスペクティブなコホートと前向きコホートの両方で90%超の精度が報告され、すでに承認された医療機器も生まれています。

ただし、この分野には一つの壁が残っていました。

下流の分類器に渡す「行動スコア」を付ける作業には、依然として大量の人手アノテーションが必要だったのです。

マルチモーダルLLMは、動画フレーム、音声、自然言語の指示を1回の推論でまとめて扱えます。さらに、評価尺度を平易な言葉のまま指示できます。この人手の壁を崩せるかどうかが、今回の研究の出発点になりました。

30項目の採点だけを教え、診断は隠した

研究チームが集めた動画は595本です。地理、人口、撮影状況の幅を確保するため、出所の異なる3系統から集めています。

このうち400本を微調整に使い、96本を検証用、99本を最終テスト用に回しました。最終テストの内訳は、自閉症49人、定型発達50人です。

微調整といっても、モデル全体を更新したわけではありません。ごく一部のパラメータだけを更新する、省コストな方式です。動画の長さは1本あたり89秒前後で、家庭で撮れる範囲に収まっています。

診断ラベルを学習に入れなかった

設計上の肝は、何を教えたかではなく、何を教えなかったかにあります。

訓練で正解として与えたのは、30項目の行動採点だけです。「自閉症かどうか」という診断ラベルは、訓練データから完全に外しました。診断の情報が、行動採点の学習に漏れ込まないようにするためです。

30項目がカバーするのは、診断上重要な観察領域です。具体的には、言語と発話、社会的な視線と非言語コミュニケーション、社会的な感情と働きかけ、遊びの質、感覚と反復行動といった領域を、おおむね4段階、0〜3で評価します。

重要なのは、その行動が動画内で本当に観察できなかった場合に、「評価不能（N/A）」と答えてよい設計になっている点です。医師も、観察できなければ採点しません。同じ作法を、モデルにも許しています。

テスト時は、1本の動画につき5回独立に推論しました。診断は多数決でまとめ、確率は平均しました。

医師との一致度が4割向上した

一致度は、重み付きカッパ係数で測っています。重み付きカッパ係数、κは、2人の評価者の一致を、偶然の一致分を差し引いて測る指標です。0.6以上で、臨床的に十分とされます。

30項目の平均では、κが0.40から0.56へ向上しました。評価可能な28項目のうち27項目で改善し、悪化したのは1項目、首を縦横に振る動作だけでした。

特に伸びたのは、診断上重要な行動です。

これらは、60〜90秒の動画の中で複数の手がかりを拾い、文脈ごと統合して初めて見えてくる行動です。

研究者らは、微調整によって、モデルの判断が「普通の子どもはこう振る舞う」という一般的な先入観から、医師の採点基準へ寄ったと見ています。

一方で、微調整後も難しいままの項目もあります。自傷行動や常同的な言語は、そもそも出現頻度が低かったり、短い自然な動画では音として捉えにくかったりします。

つまり、この限界はモデルだけの問題ではなく、観察できる時間の短さにも由来します。著者らは、より長い動画、構造化した働きかけ、保護者からの補足情報が、自然な改善策になると指摘しています。

教えていない診断まで上達した

最も意外なのは、診断ラベルを訓練で一度も使っていないにもかかわらず、診断の当て方そのものが大きく改善した点です。

具体的には、微調整前は49人の自閉症児のうち33人を見逃していました。微調整後は、見逃しが18人へと半減しました。

一方で、誤って拾った定型発達児は6人から10人に増えています。見逃しを大きく減らし、その分、誤検出が少し増えた形です。後続の評価につなぐためのふるい分けとしては、妥当な方向のトレードオフだと考えられます。

しかも、この診断成績は、医師が採点した30項目をそのまま診断に使った場合と同等以上でした。正答率は0.717対0.697で、統計的な差はありませんでした。

行動を採点する力が、診断の土台になった

なぜ、診断を教えていないのに診断できたのでしょうか。

著者らは、個々の行動を医師のように採点できるようになる過程で、それらを統合して診断的な印象へ翻訳する推論力を、モデルが暗黙のうちに獲得したと考察しています。

部品を一つずつ正しく採点する訓練が、全体を見立てる力の土台になったということです。

これは、構造化された中間目標を学ばせると、直接は訓練していない下流の能力が引き出される、というこれまでの観察とも一致します。

直接診断より判定器に渡すほうが強い

実装を考えるうえで重要なのが、次の点です。

AIに直接「自閉症です」と言わせる方法と、AIが出した30項目のスコアを別の機械学習分類器に渡す方法を比べると、後者があらゆる指標で上回りました。

AUCは、閾値に依存せず判別力を測る指標です。1に近いほど、判別力が高いことを意味します。

最も強かったのは、ランダムフォレストに30項目スコアを渡す方法でした。ランダムフォレストは、多数の決定木を組み合わせる定番の分類器です。この経路は、医師の採点を同じ分類器に入れた場合と、統計的に区別がつかない水準に達しました。

既存の検証済みロジスティック回帰に渡す方法でも、同じように改善しています。

行動ごとに分解すると、検証しやすくなる

なぜ、分解したほうが強いのでしょうか。

直接診断では、種類の異なる行動信号を一度の生成ですべて統合しなければなりません。その途中には、訓練で監督できる中間表現がありません。また、どの行動が診断にどれくらい関わるかを、対象集団に合わせて重み付けするしくみもありません。

一方で、先に30項目へ分解すると、各項目が医師ラベル付きの監督対象になります。そのうえで、下流の分類器が「どの行動の組み合わせが診断的に意味を持つか」を、検証可能な形で学べます。

これは、医師が観察を積み上げ、それを診断的な印象へ統合していく流れに近い構成です。

実際の運用では、人間のレビューにつなぐ入口になる

現実的な運用は、次のような形になりそうです。

保護者がアプリで1〜3分の動画を撮影します。AIがその動画を5回採点し、多数決と確率の平均からリスクスコアを出します。そのスコアをもとに、通常の予約に回すか、優先的な人間のレビューに振り分けるかを決めます。

見落とせないのは、30項目のスコアが人間に検査可能な形で残ることです。

フラグが立った子どもについて、医師はブラックボックスの確率だけを見る必要がありません。どの行動がどう採点されたのかという、解釈できる行動プロフィールを見ながら判断できます。

実用化の前に残る課題

ここまでの結果には、いくつか注意しておくべき点があります。

訓練に使ったのは、米国、YouTube、バングラデシュを含む単一の多源データセットです。出所の多様性は助けになりますが、別の地理、人口、撮影状況へ一般化できるかどうかは、前向きな検証が必要です。

また、400本という規模は、この大きさのモデルを微調整するには小さいデータです。唯一悪化した項目は、軽度の過学習と整合的でした。より大きな訓練データと、幅広い行動のカバレッジがあれば、こうした悪化は減ると見込まれています。

テストに使った99本も、独立に取り分けられているとはいえ小規模です。低頻度の項目では、一致度の信頼区間が広いままです。

さらに、土台にしたGemini 2.5 Proはクローズドな商用モデルです。管理されたクラウド経由で使うため、独立した再現が難しく、ベンダー側の無告知の更新で挙動が変わる可能性もあります。

今後の課題としては、重みが公開されたモデルでの検証や、複数のモデルを組み合わせて頑健性を高める方向が挙げられています。

まとめ

短い家庭動画から、自閉症に関わる行動を、医師に近い精度で採点できるところまで来ました。

ポイントは2つあります。

1つは、診断そのものではなく「行動の採点」を教えるだけで、診断に関わる判断力まで伸びたことです。もう1つは、AIに最終診断を下させるのではなく、行動の読み取り役に徹させ、最終判定は別の検証済み分類器に任せる構成のほうが堅実だったことです。

この技術の価値は、医師の代替ではありません。むしろ、限られた専門医の判断が必要な子どもを、早く見つけるための入口になる点にあります。

専門医が不足する地域や、診断まで長く待たされてきた層にとって、家庭での気づきから早期介入までの距離を縮める方向性だと言えます。

本記事の関連研究