モーションセンサーの時系列データをLLMで理解する「SensorLLM」の動作検証レポートが公開

要点

• ABEJAのエンジニアが、モーションセンサーデータから人間行動を認識するAIモデル「SensorLLM」の検証結果を公開した。

• センサーデータを効率的に扱うための時系列エンコーダーには、Amazonが開発した時系列予測基盤モデル「Chronos」が採用されている。

• 検証では、胸部加速度センサーのデータから、歩行や走行などの動きのトレンドを説明する自然言語レポートの出力に成功した。

• 検証者は非公式の学習済みチェックポイントを利用し、動作環境を整備した独自のコードをGitHubで公開している。

• 株式会社ABEJAのエンジニアである坂井氏は2026年8月5日、同社のテックブログにおいて、モーションセンサーのデータから人間の行動を認識するAIモデル「SensorLLM」の検証結果を公開した。この検証は、大規模言語モデル（LLM）のマルチモーダル化（複数の異なる種類の情報を処理できるようにすること）を物理世界のセンサーデータへと拡張する試みの一環として行われた。坂井氏は検証に際して、動作環境を整理した独自のコード一式をGitHub上で公開している。

物理世界の情報とLLM of the Future

LLMのマルチモーダル化は、テキストから画像、動画、音声へと対応する領域を広げてきた。坂井氏は、この発展の次に重要となるのが、温度、振動、電力、加速度、生体信号といった物理世界を捉えるセンサーデータのマルチモーダル化であると指摘している。物理世界の情報が扱えるようになれば、現実世界を観測して意思決定や行動を行う「フィジカルAI」（物理世界で動作するAI）の知覚部分を汎用モデルで一気通貫で処理できるようになり、これは汎用人工知能（AGI、人間のような汎用的な知能を持つ人工知能）やフィジカルAIの実現に向けた必須の流れだという。

「SensorLLM」の仕組み

検証された「SensorLLM」は、加速度計やジャイロセンサーといったモーションセンサーの時系列データをLLMに理解させ、人間行動認識（HAR: Human Activity Recognition、加速度センサーなどから人間の行動を自動分類・推定する技術）を行うモデルである。人間行動認識とは、スマートフォンやウェアラブル端末に内蔵された慣性計測ユニット（IMU、物体の動きを計測するセンサーデバイス）などの信号から、歩行、走行、階段昇降、着座、静止、睡眠といった「今その人がどのような行動をしているか」を自動で分類・推定する技術を指す。

SensorLLMの処理プロセスは大きく以下の4つの段階で構成されている。

1. 時系列データのエンコード
   時系列データを効率的に入力するため、Amazonが開発した時系列予測の汎用基盤モデル「Chronos」をエンコーダーとして採用し、センサーデータを埋め込みベクトル（数値の並び）に変換する。

2. 特殊トークンの付与
   LLMがセンサーデータを認識できるように、変換された埋め込みベクトルに対し、<ts>や<chest_x_acc_start>, <chest_x_acc_end>といった専用の特殊トークンを付与する。これにより、テキストとセンサーデータを同じトークン列として一括入力できるようになる。

3. 自然言語レポートの出力（Stage 1: Sensor-Language Alignment stage）
   センサーの埋め込みベクトルとテキストを統合したプロンプトをLLMに入力し、センサー信号のトレンドを説明する自然言語レポートを出力できるように学習を行う。この段階で、センサーデータと言語表現の対応付け（アラインメント）が行われる。

4. 人間行動認識の判定（Stage 2: Task-Aware Tuning stage）
   アラインメントが完了した学習済みLLMをベースに、言語生成用の出力層を人間行動認識の分類用出力層（Linear層とsoftmax関数で構成されたネットワーク）に置き換えてファインチューニング（特定のタスクに合わせてモデルを微調整すること）を施し、最終的な行動ラベルの推定を可能にする。

動作検証と推論結果

坂井氏は、NVIDIA A100（GPUメモリ40GB）を用いて検証を実施した。SensorLLM의公式リポジトリでは学習や推論コードが存在するものの、学習済みのチェックポイント（モデルの学習状態を記録したデータ）が公開されていなかったため、そのままでは推論を行うことができなかったという。そこで、Hugging Face上で第三者が公開している非公式の「Stage 1」学習済みチェックポイントを利用し、dockerコンテナ化やパッケージ管理ツール「uv」の導入、makeコマンドの整備などを行って使いやすくした自前のコード一式を構築した。なお、学習コードでは「flash-attn 2」（高速なアテンション計算を行うライブラリ）を使用するため、GPUにはAmpere世代以降（A100など）が必要となる。

検証では、MHealthデータセットの胸部加速度センサーのデータを用い、「歩行」「走行」「静止」の3種類の活動について、Stage 1の推論による自然言語レポートの出力を試みた。

センサー信号の全体的なトレンドを尋ねるプロンプトを入力したところ、モデルは周期的な加速度の上下動を区間ごとに説明することに成功した。歩行データでは周期的な上下動が交互に発生する様子が記述され、走行データでは歩行よりも速い周期の波形が捉えられた。また、静止データではほぼ平坦な微小な変化として出力され、それぞれの動作特性を正確に説明できることが確認された。さらに同氏は、歩行データに大きなスパイク異常（急激な数値の変化）を注入した異常データでの検証も試みている。