本記事では、スマートフォンに標準的に搭載されているセンサーから得られるデータで自動的に生活記録を生成するシステムの設計を紹介します。

日常的に利用されているスマートフォンのセンサー技術と最新のLLM（大規模言語モデル）を組み合わせることで、写真や音声を使用せずに、ユーザーの行動や状況を自然な文章で記録することが可能となります。

従来の手動入力に依存した日記アプリケーションや、単純なデータ記録に留まるライフログシステムの限界を超え、新しい形の自動生活記録を実現するアプローチです。

背景

スマートフォンの普及は私たちの生活を大きく変化させました。世界中の多くの人々が、日々スマートフォンを持ち歩き、多様な用途に活用されています。

また、モバイルデバイスからのデータ活用は年々進化し、センサー技術の進歩により、位置情報や動きの検知など、さまざまな情報が取得可能となりました。

同時に、個人の日常生活を詳細に記録し、理解可能な形で残していく「ライフログ」への関心も高まっています。従来のライフログシステムは、写真やビデオ、センサーデータなどの生データを記録することに主眼が置かれてきました。
そして、人間の活動認識（HAR）の研究分野では、「歩く」「走る」といった基本的な動作の識別は実現されていますが、より複雑な生活文脈の理解までには至っていません。

なお、市販のデジタル日記（ジャーナリング）アプリケーションも存在しますが、これらは基本的にユーザーの手動入力に依存しており、自動的な記録・生成機能は備わっていません。

これまで、商用のスマートフォンだけでユーザーの日常生活を自然な言葉で記述し、自動的に記録していく技術は、まだ実現されていません。写真や音声を使わずに、センサーデータのみから生活を理解し、記述する技術が求められています。

今回研究者らはこうした課題に取り組むため、スマートフォンのセンサーデータから自動的に生活記録を生成するシステムの開発に着手しました。LLMの活用により、センサーデータから意味のある文脈を抽出し、自然な記述を生成する新しいアプローチが模索されました。

以下で詳しく紹介します。