Activity Understanding

チームミッション

Activity Understandingチームでは、実世界においてAIサービスを実現するための基盤研究に取り組んでいます。リテールテック（小売）やガブテック（行政）といった事業でAIを活用するためには、複雑に変化する実環境において人々の多様な行動を計測・理解し、AIによって生成された情報を適切に伝達する技術が必要です。また、人々の日常生活と密接に関わる技術やサービスは、人々の生活やプライバシーを尊重し、社会的に受け入れられる形であることが不可欠です。本チームは機械学習やコンピュータビジョン、ロボティクス、ユビキタスコンピューティングなど複数分野に基づく多角的なアプローチによって、このような技術の創出と実世界AIサービスへの還元を目指します。

プロジェクト

①　IMUを用いた人物行動計測

スマートフォン等のモバイルデバイスに搭載されたIMU（慣性計測ユニット）を活用し、カメラシステムの導入が難しい環境において人物の移動や注視といった行動を計測する手法を研究しています。モダンなニューラルネットワークの学習に基づくニューラル慣性測位と、環境の物理的・意味的制約に基づく最適化によって、人物の移動を高精度に計測できる手法を開発しました。

②　LLMを用いた多様なセンサデータのマルチモーダル学習

画像やテキストだけでなく、環境に配置された多様なセンサを用いて、マルチモーダルなデータから人物の行動を解析する手法を研究しています。新たに導入されるセンサのデータを既存のモダリティのデータと組み合わせて、プロンプトなどを介して簡単に扱えるようにするためのマルチモーダル学習技術を研究しています。

③　LLM、センシング技術を活用した自律移動広告ロボット

リテールテック（小売）でよい購買体験を提供するためのロボティクス技術の基盤研究に取り組んでいます。自律移動ロボットにおけるLLMを活用した情報提示・インタラクション技術、屋内センシングによる環境理解技術、公共スペースにおける環境・販促活動に適したナビゲーション技術を研究しています。

▼実環境を手軽にシミュレータ環境に持ってくるpointcloud2gazebo