領域分割についての研究を行ってきた下田さんが、今回クリエイティブリサーチチームのリサーチインターンに参加されたきっかけを教えてください。

AI Lab自体については研究員の大谷さん、山口さんと学会などで話をする機会があったので知っていたのですが、リサーチインターンの募集については、MIRU（※1）のCyberAgent企業ブースで話を聞いて知りました。博士課程専門のインターンシップを募集していたりと他の企業ではあまり聞かない試みをされていて面白そうだなと思ったことを覚えています。

実際の参加については、カリフォルニア州のロング・ビーチで開催されたCVPR’19（※2）へ参加した際、大谷さんが発表で参加されていて、現地にてご一緒する機会があり、その際に改めてリサーチインターンへ誘っていただいたことがきっかけで参加する事を決めました。

（※1）…画像の認識と理解技術に関する国内最大規模の会議

（※2）…コンピュータービジョンとパターン認識に関するトップカンファレンスの1つ

下田さんとメンターの山口さんは元々面識があったのですね。メンターの山口さんにお聞きしますが、研究テーマや目標はどのように決めていったのでしょうか？

（山口）研究テーマは基本的に、「社内で必要とされていながらも、技術的に実現できていないこと」を洗い出し、その中からインターンに適切なものを選んで決定しています。インターンひとりひとりで経験や能力は異なるので、それぞれに適した目標を一緒に考えて計画を立てます。ゴールとしては、例えば論文の完成だったり社内向けシステムの実装だったり、プロジェクトの性質によって決まります。

下田さんの場合は、研究されている領域の親和性が高かった事もあり、彼の研究者としての素養が活かせる”Cropping”をテーマに選択しました。

”Cropping”が研究テーマとのことでしたが、具体的にはどのような研究か教えてください。

Croppingは大きめの画像から見栄えのよい部分を自動でCropするという技術なのですが、今回はこれを広告バナー画像の自動生成に活かすための改良を行いました。特に、Cropの精度を追求するのではなく、物体の位置情報を活用し、Variationの豊富なCropを行うというアプローチについての研究を行いました。また、成果として今回はインタラクティブなデモを作成し、実際に簡単な操作で様々なCropの候補が生成できる事を示しています。

企業のリサーチに触れることで手に入れた新たな視点

アプローチだけでなく実際にデモまで作るのは凄いですね！下田さんが思うこのリサーチインターンの経験における、一番の収穫は何でしたか？

インターンでは研究の方針を決める部分についての検討に時間を割いたのですが、その際の経験が一番の学びだったと思います。

はじめはCroppingというテーマの研究について精度向上を目指していたのですが、予想以上に既存手法の精度がよかったので、精度を追求するよりVariationを増やした方がいいのではと考えて方針を変更しました。また、方針を変更する際にユーザー側でCroppingの結果を操作できた方が使いやすいだろうと考えて、インタラクティブなデモを作成しました。
このように、企業のリサーチに触れたことで、精度以外の視野や着眼点の重要さに気がつくことができたのが大きかったです。

今後の研究活動に活かせるような気づきや学びがあればぜひ教えてください。

上記と関連しているのですが、大学では精度の向上を目指す研究を主に行っていたのに対して、今回のインターンでは精度の追求ではなく結果のVariationを増やすという方向性で研究を行いました。

終わってみるといくつか反省点はあったのですが、大学の研究とは異なるモチベーションの研究に、新鮮な気分で取り組めたと思います。
また、大学では弱教師あり領域分割という分野の研究に長く取り組んでおり、その分野での課題はほぼ把握していたので解法のみを考えていたのに対して、今回はCroppingという新しい分野での挑戦だったので、手法の問題点を検証しながらの研究でした。
今回のインターンでは大学での研究とは異なり、研究の最中に手法の有効性を検証しながら、目的が何かを整理して臨機応変に考える必要があったのですが、それがとても有益な経験だったと思います。自身の研究の進め方を見直す機会にもなり多くの学びがあったと思います。

印象に残ったのは、アカデミックと親和性の高い環境

リサーチインターンの期間中で、一番印象に残っている事は何ですか？

インターンに参加したことで広がった人脈の強さを感じました。

インターンシップの期間中にICCVというComputer Vison分野における国際学会に参加をしたのですが、そこで過去にAI Labでインターンをしていた菊池さんや高濱さんと交流する機会がありました。普段、同世代の研究者と話す機会はなかなか無いのでインターンという同じ経験を持つ人と

話せたのは非常に刺激的でした。
また、今回はAI Labで同時期にインターンを行っていた同じ博士課程の学生である加藤さんとも色々と話をして情報の共有ができました。AI Labでのインターンを通じて同じ研究分野の学生同士のつながりがたくさんできたのではないかなと思います。

博士課程ではなかなか他の研究室の学生との交流は限られているのですが、リサーチインターンは近い研究分野の学生同士が知り合う機会としてもとても良いなと思いました。

インターンを通して近い研究分野の学生と知り合うきっかけが出来たのですね！その他、企業研究所で働いてみて感じたことはありましたか？

AI Labの方々は皆さん自分のペースで研究に取り組んでいて働きやすそうだなという印象を持ちました。大学の研究室と同じような環境と聞いていましたが、実際似たような雰囲気だなと思いました。

研究室との違いでいうと、今回のインターンでは実際にデザイナーの方々に使ってもらえるような技術を意識して取り組みましたが、その際にどういった需要があるのかなどの情報を実際に企業のデザイナーさんからも詳しく話を聞くことができて、これは現場と近い企業研究所ならではだなと思いました。

また、大学などでは取り組むのが難しいユーザーからのフィードバックを活かした学習(Active learning)といった分野などにも挑戦できる可能性がありそうだなと思いました。

下田さんはインターンシップという限られた期間内に研究だけでなくデモの作成までしているなんて凄いですね。

（山口）そうですね、下田さんにはCroppingというテーマに対して目標を決めるところから一緒に深く考えてもらい、試行錯誤しつつ最も必要とされている技術を追及してもらいました。

検証しながら必要とされる点を考えていったために最終的にまとめるのが若干難しかったかとは思いますが、一方で必要要件に対して下田さんが想定以上の進捗を見せてくれた点が心強く思いました。

企業研究所で学んだ経験を今後の自身の研究へ

下田さんが今後、研究者として挑戦したいことを教えてください。

研究においてはざっくりと新規性があるかと役に立つかどうかという評価の観点があると思うのですが、どちらかに偏重するのではなくて両方の観点からよい研究ができればと思っています。

今回のインターンの研究ではデザイナーを支援することを意識していたのですが、実際に使ってもらえるかもしれないというのは大きなモチベーションになるなと思いました。

新規性と利便性、両方の点で優位性のある手法を考えることができればより多くの人の役に立つシステムを作ることにも繋がると思うので、こういった観点から頑張っていきたいと思います。