こんにちは。
AI Lab 接客対話エージェントチーム所属の諸戸です。

AI Labでは現在、博士課程後期向けのインターンシップを募集中ですが、今回のブログではインターンでの研究内容やインターンを通して学んだことなどを紹介します。



諸戸 祐哉
北海道大学 博士後期課程1年
研究内容は視線や脳活動情報を用いた機械学習。
趣味は夏はテニス、冬はスノボをよくしています。スリムな体だったのですが、二郎系ラーメンにどハマリしてからデブ一直線です。

インターンシップ参加の経緯

　私は、博士後期課程修了後のキャリアとして研究職を考えています。研究者として働く主な方法として、大学の研究室・民間の研究部署があります。大学の研究室に関しては、自分自身が学生として研究室に所属しているため、ポスドクや先生方の働く様子を知っています。一方で、民間の研究部署の事は詳しく知らないため、どのような仕事をしているのか、大学とどう違うのか、という疑問がありました。そこで、民間の研究部署にインターンシップとして参加し、大学の研究室と比較することで、自分がどちらに向いているかを知ろうと思いました。情報やITの分野では、多くの企業が研究部署でのインターン生を受け入れており、条件や待遇も様々でした。CyberAgent AI Labは画像の認識・理解シンポジウム（MIRU）での発表や企業ブースで知っており、候補の１つとして考えていました。しかし、自分が博士後期過程に進学したあたりで、「CyberAgent AI Labが博士後期課程の学生を対象にインターンシップを募集している」、「CyberAgent AI Labには日本学術振興会の特別研究員専用のプログラムがある」等のニュースを度々見かけるようになり、他社と比べてCyberAgentが博士後期課程に高い関心があることを知りました。日本の民間企業では博士後期課程の評価が欧米等の海外と比べて高くない中で、博士後期課程の学生を積極的に迎え入れるCyberAgentの姿勢にとても魅力を感じ、インターンシップに応募しました。


研究テーマについて

　CyberAgent AILabでは、インターンシップ生向けの募集テーマが公開されており、自分が選択したテーマに取り組みます。テーマによっては、事前に研究内容や方針を自分で考えて、研究調書として提出する必要があります。私が選択した「通行人の状態認識モデルを用いた新しいサイネージ広告の研究開発」というテーマも研究調書が必要で、この調書をもとにインターンシップ中に取り組む研究テーマを決定しました。

　このテーマを選んだ理由として、「通行人の状態認識」について研究したいと思ったからです。私は、大学で所属しているメディアダイナミクス研究室にて、Computer Vision等の画像処理と人間の感性や状態の研究を行っています。所属研究室の先生の専門が画像処理ということもあり、人間の感性や状態は自分で論文や書籍を読んで勉強してきました。自分だけで勉強を進めることに限界を感じ、人間の感性や状態を専門で研究している方のもとで勉強したいと思ったため、このテーマを選択しました。

　インターンシップが始まってからは、自分の研究調書をもとにして、メンターの尾崎さんに毎日ディスカッションをしていただき、研究の具体性や実現可能性を高めていき、研究テーマの推敲を行いました。研究テーマの立案時点で、課題の発見方法や仮説の立案方法を丁寧に教えていただきました。インターンシップ開始前は、メンターの方が自分のために毎日時間を作ってくださるとは考えていなかったのでかなり驚きましたが、とても有意義な勉強となりました。

2ヶ月のインターンでやったこと

　今回のインターンシップは、主にオンラインでの作業が多かったのですが、研究テーマについての打ち合わせや現場での実験の際には、大阪大学の先端知能システム（サイバーエージェント）共同研究講座に設置されている研究室で作業を行いました。オンラインでの作業時においてもメンターの尾崎さんと毎日打ち合わせを行い、開発時に困ったことや今後の方針等の相談を親身に聞いていただきました。

　具体的な研究内容としては、通行人の状態に適した広告を自律的に表示するデジタルサイネージの研究開発です。様々な場所で見かけるようになったデジタルサイネージですが、通行人がデジタルサイネージを背景の一部として捉えてしまい、サイネージに表示される内容が通行人に伝えられないという問題が存在しています。そこで、通行人の位置や状態を認識し、通行人に適したコンテンツを表示することで、デジタルサイネージへ通行人が興味を通常よりも抱くのではないかと仮説立てました。実際に、通行人の位置や状態を検出するモデルの実装、位置や状態から表示するコンテンツを決定するモデルの実装を行いました。具体的には、MoveNetモデルを用いて通行人の位置を検出し、Person Attributes Classificationモデルを用いて通行人の属性推定を行いました。MoveNetモデルは深層学習を使用しており、リアルタイム処理を行う場合にはGPUが必要となります。しかし、実店舗ではGPUを搭載したPCを設置するスペースがないので、事前学習したモデルをOpenVINOを用いてCPUで推論できるように実装しました。普段の実装では、GPUを使って深層学習を行っていたので、CPUで深層学習を使用することに慣れていませんでした。同チームで深層学習モデルの軽量化や最適化に詳しい兵頭さんに実装に関するアドバイスをたくさんいただき、なんとかCPUを使って深層学習モデルのリアルタイム処理を実現することができました。このように同チームに様々な分野のスペシャリストが在籍しており、困ったらすぐにアドバイスを聞くことができました。また、位置や状態から表示するモデルは、メンターの尾崎さんと数多のディスカッションを繰り返すことで、 少しずつ作り上げていきました。

実環境での実験について

　今回のインターンシップでは、スーパーマーケットという実環境（図1）での実験を経験させていただきました。実環境での実験では、場所を使用させていただく先方に実験内容を説明し、スケジューリングや実験環境の調整を行う必要がありました。私は、今まで研究室での実験しか行ってこなかったので、この一連の流れを体験できたことは非常に良い経験でした。研究テーマがデジタルサイネージを用いた研究だったため、開発したデジタルサイネージを実際に設置した様子（図2）を見れたときは感動しました。一方で、実験中に周りの商品の配置が変わるといった実験環境が変わってしまい、実験条件を統一できなくなってしまった、というトラブルがありました。実環境での実験ならではのトラブルを経験できた良い機会であり、「場所を使わせていただいている」意識がより一層高まった事件でした。

図1: スーパーマーケットにおける環境

図2: 開発したデジタルサイネージを設置した時の様子


インターン終了後

　インターンシップが終了してからは、実験で取得したデータの解析や社内発表用の資料を作成しています。通常は2ヶ月で終わりますが、現場での実験という難しい問題に挑んだため、例外として期間を延ばしてもらっています。データの解析の際には、統計的仮説検定を行っています。普段の研究では平均値の差の検定を用いることが多く、他の検定手法をあまり知らなかったので、統計の基本から勉強し直しています。学び直しの良い機会となり、たくさん勉強させていただいています。


最後に

　私は博士後期課程でインターンシップに参加しました。博士後期課程に所属する学生であれば、研究室によって多少の違いはあれど、自分の研究以外でも後輩の指導や研究室の器具の管理などのやるべきことがあると思います。CyberAgent AI Labのインターンシップは2ヶ月であり、この時間を確保するとなるとかなり大変です。私も研究室の先生方に相談して、インターンシップの勤務外の時間で、研究室の作業を行っておりました。インターンシップでの業務をこなしつつ研究室での仕事をこなすのはかなり大変でしたが、それでも2ヶ月というまとまった期間でインターン生として研究させていただいたことはとても良い経験となりました。特に、CyberAgent AI Labでは、メンターの方が研究の立案から実験まで丁寧にサポートしてくれるので、学びの機会が多いです。また、メンターの方と相談して勤務時間を変更することもできるので、自分の研究室での作業との兼ね合いもできます。もし、博士後期課程の方で、自身との研究の兼ね合いでインターンシップの参加を迷っている方がいれば、CyberAgent AI Labを強くおすすめします！



＜関連リンク＞
▼リサーチインターンシップ応募詳細
https://cyberagent.ai/ailab/careers/internship/research-internship/
▼AI Lab 接客対話エージェントチーム
https://cyberagent.ai/ailab/research/hci/
▼チーム紹介
https://www.cyberagent.co.jp/way/features/list/detail/id=26049