一人称視点動画から手の動きを3D復元、ABEJAが商用利用可能なロボット学習データ生成パイプラインを開発

要点

• ABEJAのエンジニアが、GoProなどで撮影した一人称視点動画から手の動作を3D復元し、ロボットの学習用データを生成するパイプラインを開発した。
• 既存の有力な先行研究「VITRA」が商用利用不可のコンポーネントに依存していた課題を解決するため、商用利用に配慮した独自の手姿勢推定モデルを構築した。
• 手の構造を解剖学的な21個の回転関節でモデル化し、連続16フレームの時系列処理や可動域制約を導入して推定の安定化を図った。
• 日常の家事動画からロボット学習用フォーマット「LeRobotDataset v3.0」のデータセットを自動生成し、公開データセット「EgoExo4D」で精度を検証した。

---

株式会社ABEJAのロボティクス開発チームは2026年8月28日、一人称視点の動画から人間の手の動きを3D復元し、ロボットの模倣学習（手本となる動作データからロボットの制御を学習させる手法）向けデータセットを自動生成するパイプラインの開発と検証結果を公式技術ブログで公表した。

従来のロボット開発で主流となっている遠隔操作（テレオペレーション）によるデータ収集のボトルネックを解消するため、カメラ1台で日常の作業映像から効率的に学習データを生成する手法を検証している。既存手法に存在したライセンス上の制約を回避するため、手の3D姿勢推定モデルを独自に設計したという。

遠隔操作の限界と「事後推定型」エゴセントリック動画への着目

ロボットに動作を学習させる模倣学習では、膨大な行動データが必要となる。しかし、ロボットの行動データは自然言語処理におけるインターネット上のテキストのように容易には収集できず、物理的な収集作業が不可欠となっている。

ロボットの実機を手で動かす「直接教示」や専用装置を用いる「テレオペレーション」は、機体の停止による中断や操作者の習熟が必要であり、データの大量収集には限界があった。また、手に治具を持つ「UMI」やグローブなどの計測機器を用いる手法も、機材コストや調達の手間が課題となる。

これに対し、作業者の目線で撮影するエゴセントリック動画（装着型カメラなどで撮影された一人称視点の映像）のうち、カメラ1台のみで撮影し後から手を3D復元する「事後推定型」は、特殊な機材を必要とせずデータ収集を最もスケールさせやすい手法として位置づけられている。

先行研究「VITRA」と商用利用におけるライセンスの壁

映像から人間の手の動きを読み取りロボットの動作データへ変換するアプローチは、米マイクロソフトの研究「VITRA」によって大規模な実現性が実証されていた。VITRAは注釈のない日常動画から100万本規模の学習データを自動生成し、少量の実機データと組み合わせる事前学習（実機向け微調整の前に基礎的な感覚をモデルに習得させる工程）の枠組みを提案している。

しかし、VITRAのコード自体は緩いライセンスで公開されているものの、内部で利用されている手姿勢復元のコンポーネントには非商用ライセンスの部品が含まれていた。具体的には、標準的な手の3D形状モデル「MANO」、姿勢推定モデル「HaWoR」の学習済み重み、手検出器「WiLoR」の3点が商用利用できない制約となっていた。そのため、商用サービスへの適用にはモデルの独自再構築が必要となっていた。

21関節の解剖学的定義とブレを抑える時系列処理

ABEJAの取り組みでは、ライセンス依存を断つため手の表現方法そのものを見直した。標準モデルのMANOを使用せず、親指に5個、他の4指に各4個を割り当てた計21個の解剖学的な回転関節によって手の可動自由度を定義した。

指の可動域制限においては、範囲外の角度を単純に切り詰める手法では学習時の勾配が消失する問題が生じる。これを回避するため、出力を常に可動範囲内に収める滑らかな関数を適用し、解剖学的に不自然な姿勢を防ぎながら学習勾配を維持する工夫を施した。

また、動画フレームごとの細かなブレを抑えるため、連続する16フレームを一括して処理する時間方向の平滑化を導入した。さらに、一人称視点特有のカメラの動きと手の動きを分離し、カメラから見た手の相対姿勢のみを推論させた上で、別途推定したカメラの移動軌跡と合成する構成を採用している。

家事動作からのデータセット自動生成と精度評価

開発されたパイプラインの検証として、頭部に装着したGoProで撮影した日常の家事動作（食品をラップで包む作業など）の映像を入力し、ロボット学習向けデータセット形式である「LeRobotDataset v3.0」のデータが自動出力されることを確認した。3D可視化ツール「Rerun」での確認では、ラップを把持する際の手の開閉などが再現された一方、物体を持った際に手の誤検知が生じるケースも確認されたという。

さらに、客観的な精度評価として、VITRAと同じ学術データセット「EgoExo4D」を用いた比較測定を実施した。測定された誤差（数値が小さいほど高精度）は以下の通りである。

• 指の関節位置誤差（手の形状）: 自作モデル 17〜19mm ／ VITRA 12mm
• 手首の位置誤差: 自作モデル 80〜95mm ／ VITRA 27mm

現時点の精度はVITRAの実測値に及ばず、特に手首位置の推定精度に開きが見られる。ただし、本パイプラインで生成するデータは主に事前学習用としての利用を想定しており、実機による最終調整前のベースデータとしては機能し得ると説明している。今後は手首位置の精度向上を中心とした改善を進める方針だとしている。