論文紹介 | AI tech studio https://cyberagent.ai AI事業本部は、サイバーエージェントグループのデジタルマーケティング分野におけるサービス開発を行う組織です。 Thu, 06 Apr 2023 10:12:45 +0000 ja hourly 1 https://wordpress.org/?v=5.3.26 【採択論文紹介】クラウドソーシングを使った画像生成の評価 (CVPR2023) https://cyberagent.ai/blog/research/computervision/18702/ Thu, 06 Apr 2023 10:11:14 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=18702 Media fundamentalsチームの大谷です。今回はText-to-Imageモデルを人手で評価する方法について分析した研究について概説します。この研究成果はCVPR2023に採択されています。論文はこちら。

画像生成の良さはどうやって評価する?

最近は高品質な画像生成AIが発表されて、世間でも非常に注目されています。研究でもここ数年、大量の論文が出版されています。ですが新しい画像生成モデルが次々と開発されている一方で、そのモデルを評価する方法はまだまだ発展途上です。

生成された画像の性能を測る方法として、研究では自動評価指標が主に使われています。例えば一般的な画像生成でよく使われるFID(Fréchet inception distance)は、生成された画像の集合と本物の画像の集合をある特徴空間に埋め込み、その空間でそれぞれの分布がどれだけ近いかを測定しています。FIDは多くの研究で採用されていますが、欠点も多く報告されています。例えば、人の知覚としては軽微な変化に過剰に反応したりするなど、FIDにおいて良いモデルが人にとって必ずしも良いとは言えないことが知られています。

また画像とテキストの内容がどの程度正確に対応しているかを判定することも、まだ難しい点があります。最近は大規模な画像とテキストのペアデータから、画像とテキストの対応づけを可能とする強力なモデルが発表されていますが、十分に細かい内容まで正確に扱うのはまだ難しいところがあります。特にここ最近は画像生成モデルの性能がどんどん上がってきているので、生成された内容の正確性を評価しようと思うと、細かい対応まで考慮した評価が必要になってくると考えられます。

そこで今回の研究では、あらためて人による画像生成の評価に取り組みました。人は画像とテキストを高いレベルで理解することができるので、自動評価では見落とされていたことがわかるかもしれません。また人による評価ラベルを収集すれば、自動評価指標と人の判断のズレを分析することで自動評価指標自体の評価にも使えるなど、自動評価の改良にとっても有益です。

人によるText-to-Image生成評価実験の現状

これまでの研究でも人を使った評価実験は実施されてきました。ですが、この分野として共有された評価方法は確立されていません。そのため、論文がそれぞれみんな違う方法で画像の品質を評価しており、いったいどうやって評価したらいいのかわかりにくい状態になっています。

この研究ではまず主要なコンピュータビジョンの会議で出版されたText-to-Imageに関する論文など37本を調査しました。結果見えてきた現状の人手評価における主な課題は以下の2点です。

1. 実験の詳細報告が不十分
2. 収集されたデータの品質をチェックしていない

まず実験詳細の不透明性についてですが、例えば、一つのサンプルに対して評価したアノテータの数などはデータの信頼性を判断する上で重要な項目なのですが、ほとんどの論文でこの人数は明記されていません。また実際のアノテーションタスクで使われたインターフェースなども公開されていないことが多いです。

また、データ収集方法を正しく設計しないと、同じサンプルに対するアノテータの回答がバラバラになったり、間違った回答を誘発してしまいます。そのような問題を検知するために、アノテータの間の一致率をチェックするなど、収集したデータの品質をチェックすることは実験の信頼性を確かめる上で重要な手順です。しかし、調査した論文の中でそのような分析、特にアノテータ間の一致率を報告している論文はありませんでした。

人による評価実験方法の共有

このような現状をふまえて、今回の研究ではクラウドソーシングを使って評価実験をする標準的な方法を実装し、今後の研究でも使えるように整備することを目指しました。また分野として結果報告のやり方にも問題があることがわかったので、報告文のサンプルなど、今後の評価がやりやすくなるようなリソースを作ることにしました。

この研究では特に新しい評価方法の提案などはしていませんが、実験的に適切な評価方法の設計を探索しました。その過程については論文を参照ください。

自動評価と人による評価

実験ではいくつかの画像生成モデルを使って画像を生成し、(1)画像が本物に見えるか、また(2)入力キャプションの内容を正確に反映しているか、の2点について人手評価したデータを収集しました。そして自動評価指標の評価結果と比較しました。

まず主要な自動評価指標であるFIDの良さと、人が画像を本物らしいと判断するかどうかはあまり一致していないことが確認されました。このような傾向は従来の研究でも多く指摘されています。

もう一つの指標としてCLIPScoreと比較しました。CLIPScoreは、画像のキャプション生成のための指標として提案されましたが、最近では画像生成でも、キャプションと画像の意味的な類似度を計測するために使われるようになっています。この指標についても、やはり人の感覚とは異なる結果になることがわかりました。さらに本物の画像とキャプションのペアよりも、生成された画像との類似度の方が高く評価されていることも確認されました。少なくとも、より良いモデルができたとしても、その改善幅をCLIPScoreで適切に評価することはできなさそうです。やはり自動評価指標のみに頼ることはまだ難しいと言えるでしょう。

CLIPScoreの例。不正確な生成画像が高いCLIPScoreを達成している例。

キャプションに対応する本物の画像よりも、生成された画像の方が高いCLIPScoreを達成している例。テキストとの対応がより正確というわけではなさそうです。

人による評価のこれから

今回はクラウドソーシングを利用してText-to-Image生成を評価をする標準的な方法を整備しましたが、まだまだ改善の余地が残されています。たとえば、信頼性のある結果を得るにはそれなりの量のデータを収集する必要があるのですが、その結果、一回の評価実験にかかる費用は高額になりがちです。アノテーションインターフェースの改善や評価をするデータの選出方法を工夫することで、この費用を抑えることはできると思います。今回の実験方法はオープンソースにする予定なので、今後画像生成コミュニティで改善していくことができれば理想的です。

]]>
【採択論文紹介】Daycare Matching in Japan: Transfers and Siblings https://cyberagent.ai/blog/research/publication_review/18396/ Mon, 30 Jan 2023 01:54:41 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=18396 AI Lab EconSIチームの孫と竹浪です。この記事では、人工知能分野のトップカンファレンスであるAAAI-23に採択されたSun et al. ”Daycare Matching in Japan: Transfers and Siblings” [1]について紹介します。本研究は孫を中心とし、竹浪、森脇、冨田および九州大学の横尾真教授により実施されました。論文のarxivバージョンはこちらです。

はじめに

保育所入所選考にはマッチング理論が応用できます。しかし、実務ではきょうだいや転園などに考慮する必要があるため、先行研究で提案されているアルゴリズムをそのまま実務に適用することはできません。そこで、本論文では実務で求められる性質を全て満たすアルゴリズムを整数計画法にてデザインしました。このアルゴリズムを実際のデータに適用したところ、実際の割り当てよりも少なくとも同等以上に望ましいマッチング結果を得ることができました。

保育所入所選考とマッチング理論

保育所を利用するときは、自治体で行う保育所入所選考を経る必要があります。

利用希望者は、居住している自治体に希望保育所名とその希望順位、世帯の就労状況等を記載した申請書を提出します。そして、自治体は申請された情報をもとに保育の必要性に応じた指数を決定し、指数順に児童を希望する保育所に割り当てます。まさに児童と保育所のマッチングです。AI Lab EconSIチームでは、マッチング理論による保育所入所選考の改善に取り組んでおり、東京大学マーケットデザインセンター(UTMD)と共同研究を行い、実際に東京都多摩市の制度変更に貢献しました。

保育所入所選考固有の問題

保育所入所選考を難しくさせる固有の問題として、きょうだいの存在と転園の存在があります。

きょうだい

異年齢・同年齢問わず、複数のきょうだいが同時に保育所を希望する場合があります。このとき応募者は、

  • きょうだい全員を同時に入園させたいか、別の時期でも構わないか
  • 同じ保育所への入園だけを希望するか、別々の保育所への入園でも構わないか

といった意思表示を行い、自治体に申請します。例えば、東京都渋谷区では希望の組み合わせを提出できるようになっています。自治体は、こうした希望に配慮して保育所を割り当てています。したがって、マッチングの際はきょうだいの希望の組み合わせを考慮する必要があります。

しかし、標準的なマッチングアルゴリズムではあくまで個人の割り当てを考えているため、きょうだいの希望の組み合わせを踏まえた割り当てには対応していません。例えば、きょうだい2名がともにA保育所が第一希望、B保育所を第二希望にしている場合、きょうだいが一緒に入れない(A保育所、B保育所)という組み合わせではなく、(B保育所、B保育所)の組み合わせを優先したいということがありえます。このように、きょうだいが希望する保育所の組み合わせのパターンによって希望順序が決まりますが、個人をもとにしたアルゴリズムではこうした構造を考慮できません。

転園

通園する保育所を変更したい場合、多くの自治体では転園を希望することができます。その際、転園希望者については、

  • 希望する保育所に入園させる
  • すでに入園している保育所(転園元)に戻る

のいずれかを実現し、待機児童にはさせない入所選考を行う必要があります。

さらに、

  • 転園が成功すれば転園元に空きが出るため、希望者がいれば割り当てる必要がある
  • きょうだいのうち1人が、あるいは全員が転園を希望する場合がある

ことにも留意する必要があります。

きょうだいと転園に関する先行研究

保育所入所選考におけるきょうだいと似た状況として、

  • 学校選択制におけるきょうだいの申し込み
  • 研修医マッチングにおけるカップルの存在

があります。

先行研究におけるきょうだいや転園の取り扱い状況

表1: 先行研究におけるきょうだいや転園の取り扱い状況([1]のTable 1を改変)

表1では、保育所入所選考においてきょうだいを取り扱うにあたり重要な学校選択制、研修医マッチング、保育所入所選考の先行研究における

  • 転園
  • きょうだい・カップル
  • きょうだいの希望の組み合わせ

の取り扱い状況をまとめました。一番下の本論文を除き、

  • 転園のことを検討していない[2,3,5,6,7]
  • きょうだい(カップル)が2名の場合のみを検討しているため、2人より多いきょうだいがいる場合に対応していない[4,5,6]
  • きょうだいの組み合わせに制約がある。例えばきょうだいが同じ学校のみを希望していると仮定しているが、実際にはきょうだいが別の保育所を希望する場合もある[7.8]

という状況であり、先行研究にて提案されているアルゴリズムをそのまま保育所入所選考に応用することができません。

実務において要求される性質

きょうだい、転園の他に、保育所入所選考の実務において要求される性質として、次のようなものがあります。

  • 個人合理性:希望していない保育所に割り当てない
  • 公平性:優先順位が高い人から順に割り当てる
  • 非浪費性:「その保育所を希望する応募者がいるにもかかわらず受け入れ枠に空きがある状況」(浪費的な状況)をつくらない

したがって、保育所入所選考の実務においては、割り当ての結果が以下の制約を満たしている必要があります。

  • きょうだいへの対応
  • 転園への対応
  • 個人合理性
  • 公平性
  • 非浪費性

本論文の貢献

そこで、本論文では上記した制約を満たす新たなアルゴリズムをデザインしました。本論文による貢献は次の通りです。

  • 実際のデータに基づき、日本で実施されている保育所入所選考を現実的なモデルとして定式化しました。転園、きょうだい、制約のないきょうだいの希望の組み合わせを全て取り扱った研究は我々の知る限り初めてです。
  • これまでのマッチング理論で用いられてきた個人合理性(Individual Rationality)、非浪費性(Non-wastefulness)、公平性に関連するブロッキングペア(Blocking Pair)といった概念を、転園やきょうだいの組み合わせを考慮することで一般化しました。具体的には、個人をベースに構成されていたこれらの概念を、家族をベースにし、それぞれ家族合理性(Family Rationality)、家族非浪費性(Family Non-wastefulness)、ブロッキング連合(Blocking Coalition)として定義しました。
  • きょうだい、転園、家族合理性、公平性(ブロッキング連合がない状態)、家族非浪費性に対応したアルゴリズムを開発し、実装しました。
  • 自治体から提供された匿名データにてアルゴリズムの性能を確認したところ、実際の割り当てと少なくとも同等、自治体によっては上回る結果を得られることを確認しました。
  • きょうだい、転園、家族合理性、公平性、家族非浪費性といったすべての制約を満たす解が存在しない場合があり、実際に児童が4人(うち2人はきょうだい)の例でそのような場合を例示しています。しかし、シミュレーションで用いたすべての自治体のデータで、これらすべての制約を満たす解が求められました。

モデル

本論文ではきょうだいに対応するため、家族をベースにしたモデルを設定しています。本論文のモデルは、次のインスタンス\(I\)にて記述しています。

$$I = (C, F, D, G, \omega, \succ_{C}, \succ_{F}, \succ_{D}, q)$$

それぞれ次を意味します。

  • \(C\):児童の集合
  • \(F\):家族の集合
  • \(D\):保育所の集合
  • \(\omega(c)\):児童\(c\)の転園元(転園元がない場合にも対応)
  • \(\succ_C\):\(D\)に対する各個人\(c \in C\)の選好順序\(\succ_c\)の集合
  • \(\succ_F\):\(D\)に対する各家族\(f \in F\)に属する児童\(C_f\)の選好の組み合わせ\(\succ_f\)の集合
  • \(\succ_D\):各個人\(c \in C\)に対する各保育所\(d \in D\)の優先順序\(\succ_d\)の集合
  • \(q\):各保育所の募集人数のベクトル

各児童\(c\)はひとつの家族\(f \in F\)に所属し、各家族\(f\)は児童の集合\(C_f \subseteq C\)により構成されます。

アルゴリズム

アルゴリズムは線形計画法の整数バージョンである整数計画法によりモデリングされています。具体的には、きょうだいの希望の組み合わせ、転園を考慮しつつ、家族合理性、公平性(ブロッキング連合がない状態)、家族非浪費性の制約下で、マッチングされる児童を最大化(待機児童を最小化)する問題を整数計画法により解いています。興味のある方は論文をご覧ください。

自治体データを用いたシミュレーション

実際の割り当ての結果と今回デザインしたアルゴリズムの結果の違いについて解説します。東京都の渋谷区と多摩市から提供された2021 年度と 2022 年度の一斉入所における希望者データ(匿名加工処理済み)と保育所データに対して、このアルゴリズムを用いたシミュレーションを行いました。そこで、各自治体における実際の割り当て結果とシミュレーションの結果とを比較・考察します。

実際の割り当て結果と本論文で提案されたアルゴリズムの割り当て結果の比較

表2: 実際の割り当て結果と本論文で提案されたアルゴリズムの割り当て結果の比較([1]のTable 2を改変)

表2は、各自治体における実際の割り当て結果と本論文で提案されたアルゴリズム(提案手法)の割り当て結果を比較したものです。この表から 2 つのことが言えます。

  1. 各自治体で性質の良い割り当てや待機児童が少ない割り当てが達成できました。多摩市においては、今回実装したアルゴリズム(提案手法)を用いることで実際の結果と同等以上に児童を割り当てているだけではなく、家族合理性と家族非浪費性を満たしています。また、渋谷区においては、実際のマッチングと同一の結果が得られました。
  2. いずれの自治体、年度においてもアルゴリズム(提案手法)により公平性(ブロッキング連合がない状態)を満たすマッチング結果を得ることができました。

アルゴリズムの社会実装

AI LabとGovTech開発センターは、この論文で示されたアルゴリズムを用いた自治体向け保育所入所選考システムを開発しています。研究に基づいた保育所入所選考システムにご興味のある自治体の方はこちらからご連絡をください。

参考文献

[1] Sun, Z., Y. Takenami, D. Moriwaki, Y. Tomita, and M. Yokoo (in press) ”Daycare Matching in Japan: Transfers and Siblings”, AAAI, Thirty-Seventh AAAI Conference on Artificial Intelligence

[2] Biró, P.; Manlove, D. F.; and McBride, I. 2014. The hospitals/residents problem with couples: Complexity and integer programming models. In International Symposium on Experimental Algorithms, 10–21. Springer. 

[3]Manlove, D. F.; McBride, I.; and Trimble, J. 2017. “Almost stable” matchings in the Hospitals/Residents problem with

Couples. Constraints, 22(1): 50–72.

[4]Hamada, N.; Hsu, C.; Kurata, R.; Suzuki, T.; Ueda, S.; and Yokoo, M. 2017. Strategy-proof school choice mechanisms with minimum quotas and initial endowments. Artificial Intelligence, 249: 47–71. 

[5]Okumura, Y. 2019. School choice with general constraints: a market design approach for the nursery school waiting list problem in Japan. The Japanese Economic Review, 70(4): 497–516.

[6]Kamada, Y.; and Kojima, F. 2020. Fair matching under constraints: Theory and applications. Review of Economic Studies.

[7]Dur, U.; Morrill, T.; and Phan, W. 2022. Family Ties: School Assignment with Siblings. Theoretical Economics, 17(1): 89–120.

[8]Correa, J.; Epstein, N.; Epstein, R.; Escobar, J.; Rios, I.; Aramayo, N.; Bahamondes, B.; Bonet, C.; Castillo, M.; Cristi, A.; Epstein, B.; and Subiabre, F. 2022. School choice in Chile. Operations Research, 70(2): 1066–1087.

 

]]>
VQVAEを中心とした生成モデルの動向 https://cyberagent.ai/blog/research/computervision/16718/ Thu, 02 Jun 2022 08:25:14 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=16718  AI Lab Creative Researchチームの下田です. 本稿では, VQVAEを中心とした生成モデルの動向というタイトルで近年の生成モデルの動向について, VQVAE[1]を中心に紹介します.

これまで様々な深層生成モデル(図1)が提案されてきましたが, その中でも特に, GANとVAEによるアプローチは広く注目を集めてきました. 高解像度な画像生成手法としてはGANが黎明期から注目を集めていましたが, 近年の高解像度な画像生成についての論文ではVAEに基づいたモデルもよく目にします. 今回は, 近年の生成モデルの動向について, VQVAEを中心に調べたので情報共有できればと思います. 

図1 著名な深層生成モデル(link).

 

VAE

VAEはLatent code(図1におけるz)をサンプリングし, 復号モデルにより復号することで, 学習データの分布に近い画像を生成可能です. GANとは異なり尤度を明示的にモデリングしており, 多様なデータを生成する上で利点があることが知られています. 一方で, 画像の生成結果がぼやけやすい傾向にあります. (図2, VAEとGANの比較[2])  

図2 VAEとGAN, 並びにVAE/GAN(VAEとGANの組み合わせ)の結果例[2].

VQVAE

VQVAE[1]はVAEベースのアプローチにおいて, 高解像度な画像を生成する上で近年頻繁に活用されている手法です. Patchを離散的に符号化し, 自己回帰モデルの生成と組み合わせることで, 多様で高解像度な画像生成を可能にしています. 

 

Latent codeの離散化とPatchについての符号化

VQVAEはLatent codeに一様分布の離散表現を仮定し, Patchについての符号化, 復号を行うモデルです(図3). VQVAEにおける符号化結果はPatchごとに分かれており, 従来のVAEのように単一のLatent codeをサンプリングし, そのまま復号することはできません. そこで, VQVAEでは自己回帰モデルを用いてPatch集合をサンプリングします. 

図3 VQVAEの概要.

 

 

自己回帰モデルによるPatch集合のサンプリング

自己回帰モデルによる生成手法はNLP分野をはじめとした幅広い分野で使われている生成手法です. 自己回帰モデルによる生成においては, 既知の時系列情報を入力として未知の時系列情報の尤度を推定し, この尤度から時系列情報のサンプリングをします. サンプリングと尤度の更新を繰り返し, 徐々に全体の時系列情報を生成します. 画像分野における自己回帰モデルとしてはPixelCNN[3]が著名です. 連結しているピクセルを時系列情報とみなし, 左上のピクセルから一列ごとに図4のような順(raster scan order)でサンプリングを行い画像を生成します. 

VQVAEでは, PixelCNNを活用し符号化された画像のPatchの集合を生成します. Patchをバラバラにサンプリングすれば学習データに存在しない組み合わせが生じやすくなりますが, 自己回帰モデルによりこのような不整合が生じる問題を緩和しています. 

また, VQVAEのLatent codeは離散表現になっていますが, このLatent codeの表現がPixelCNNの学習の安定化に役立っています. 連続表現では, 入力の条件を無視しデータの最頻値を出力するように学習してしまう問題(posterior collapse)が発生することが知られていましたが, VQVAEでは離散表現を活用することにより, このような問題を回避し, 自己回帰モデルを高次元な空間で適用可能にしています. また, Top-kサンプリングやTop-pサンプリングをはじめとしたカテゴリカルなデータのサンプリングが可能になっています. 

 

Figure 1 for Conditional Image Generation with PixelCNN Decoders

図4 PixelCNN概要.

 

 

VQVAE-2

VQVAEにおける離散的なLatent codeに画像の情報を圧縮する方法は, ImageNetのような高解像度かつ大規模な画像データにおいてもスケールすることが報告され(VQVAE-2[4]), 大きく注目を集めました. VQVAE-2[4]はVQVAEについて階層的なLatent codeの活用を加え, 当時のGANベースのアプローチ[5]に匹敵するクオリティの画像を生成しています. また, GANベースのアプローチと比較して, 特定のカテゴリにおいても多様性のある画像が生成可能であることが示されています(図5). 

 

図5 VQVAE-2[4]とBigGAN[5]の比較例.

 

Patch集合のサンプリング方法

VQVAEの登場により, 高解像度な画像をPatch単位で符号化, 復号できるようになりましたが, Patchの集合のサンプリングは自己回帰モデルに依存しています. 自己回帰モデルは時系列情報を順繰りに生成するので, 推論とサンプリングを繰り返す必要があり, 誤差が蓄積する問題と生成時の計算コストが大きくなる問題があります. VQVAEにおいてもこのような自己回帰モデル由来のデメリットがあります. 近年はPatch集合の生成方法についての研究が注目を集めているように感じられるので, こちらについても紹介します. 

VQGAN

VQVAEではPixel CNNを活用していましたが, 近年の時系列データの生成においてはTransformerが標準的な手法になりました. VQGAN[6]ではPixelCNNの代わりにTransformerを活用することを提案しています. 精度, 速度ともに画像生成のために設計されたPixel CNNを上回っていることを示しました. また, VQGANではGANも併用しています. GANを併用することにより, 一定の範囲内であればPatchの解像度を圧縮しても高解像度な画像が復元可能であることを示しました. 

また, VQGANではサンプリングの順序に着目した実験も行っています. 著者らは背景から画像を生成することになるであろう”Spiral in”(外側から中心にサンプリング)が最もよくなると予測していましたが, 結果としては”Row major”(raster scan order)が優れていたと報告しています(図6).  原因は不明ですが学習時にランダムな位置のPatchをマスキングしているのでその影響がでているのではないかと考えられます.

図6 VQGANによるサンプリングパターンと生成画像の変化

サンプリング方法の派生として, サンプリング回数を減らし高速化を狙うために, 複数のパッチを同時にサンプリングするアプローチがあります. Image-GPT[7]では列ごとにサンプリングする方法(図7a), Cogview2[8]においては, Inpaint+斜めにサンプリングしていく方法(図7b)を提案しています.

図7 その他のサンプリングパターン例.

VQDiffusion

VQDiffusion[9]においては, Diffusionモデルを活用してPatch集合のサンプリングを行う方法を提案しています(図8). Diffusionモデルは, VAE同様尤度を最大化する生成モデルですが, VAEとは異なり符号化に学習が不要です. そのため, 符号化に失敗する恐れを考慮せずに, 自己回帰モデルによるサンプリングをDiffusionモデルによるサンプリングに置き換えることが可能です.

VQDiffusionにおいては, 従来のDiffusionモデルをMasked Language Model(MLM)に見立て, Patch集合のサンプリングに適用しています(図8). 自己回帰モデル同様, 繰り返し推論する必要がありますが, 生成順が存在せずサンプリングによる誤差の蓄積の心配がありません. また, 自己回帰モデルと比較して, 速度と生成クオリティについて良いトレードオフを達成しています.

図8 VQDiffusionによるPatch集合のサンプリング

 

 

 

まとめと今後の展望

今回のブログではVQVAEを中心とした生成モデルの動向というタイトルでVQVAEを中心とした近年の生成モデルの動向について紹介しました. VQVAEの登場により, VAEベースのアプローチでも高解像度な画像が生成可能になりましたが, 依然として計算速度の問題などが残っています. クリエイティブ領域ではインタラクティブな画像生成によるアプリケーションなども考えられるので, 生成速度についての研究には今後も注目したいです. 現状のVQVAEベースの手法では, Diffusionモデルと組み合わせた方法が良い性能と速度のトレードオフを達成していますが, Diffusionモデルは実装が複雑であるといった問題もあります. Cogview2のようなサンプリング方法を工夫するようなアプローチの進展にも注目していきたいです. できれば, 従来のVAEのようにワンショットでLatent codeを復号可能で有望なモデルが出てきて欲しいところですが, まだしばらくは難しそうな状況かと思います. 近年は自己教師あり学習などにおいて, 符号化の研究も広く注目を集めているので, こちらの進展にも注目しておきたいです.

[1]Neural Discrete Representation Learning, Van et al, NIPS, 2017

[2]Autoencoding beyond pixels using a learned similarity metric, Boesen et al., ICML 2016

[3]Conditional Image Generation with PixelCNN Decoders, Van et al, NIPS 2016

[4]Generating Diverse High-Fidelity Images with VQ-VAE-2, Razavi et al, Advances in neural information processing systems, 2019

[5]Large Scale GAN Training for High Fidelity Natural Image Synthesis, Brock et al., ICLR 2019

[6]Taming Transformers for High-Resolution Image Synthesis, Esser et al, CVPR 2021

[7]Generative Pretraining from Pixels, ICML 2020

[8]CogView2: Faster and Better Text-to-Image Generation via Hierarchical Transformers, Ding et al., arXiv preprint arXiv:2106.06866

[9]Vector Quantized Diffusion Model for Text-to-Image Synthesis, Gu et al, CVPR 2022

 

]]>
【IJCAI’22】推薦システムにおけるバイアス除去手法 https://cyberagent.ai/blog/research/publication_review/16557/ Fri, 06 May 2022 07:27:53 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=16557

 

AI Lab Creative Researchチームの野村です。本稿では、推薦システムのバイアス除去に関する研究について概要を解説します。この研究成果はコーネル大学/半熟仮想株式会社の齋藤優太さんとの共同研究成果であり、IJCAI2022に採択されています。論文のリンクはこちらです。

 

推薦システムとデータの欠損メカニズム

推薦システムにおいては、ユーザーに関連のあるアイテムを適切に推薦できるよう、予測器を高精度で学習することが重要となります。これが推薦システムにおいて困難になる理由としては、一般にデータの欠損メカニズムがランダムではない(missing-not-at-random; MNAR)ことが挙げられます。具体的には、過去の推薦システムが人気のアイテムをより高い確率で推薦していたり、ユーザーが好みのアイテムを評価しやすいといった理由から、観測されるデータはバイアスを持ったものになってしまっています。

 

問題設定

いまやりたいことの定式化を行います。\(u \in [m]\)をユーザー、\(i \in [n]\)をアイテムとし、\(\mathcal{D} := [m] \times [n]\)をユーザーとアイテムのペアとします。そして、\({\bf R} \in \mathbb{R}^{m \times n}\)を真のレーティング行列とします。

ここでの目的はより良い予測行列\(\hat{{\bf R}}\)を得ることです。そこで、\(\ell(\cdot, \cdot): \mathbb{R} \times \mathbb{R} \mapsto [0, \Delta]\)として、真に最小化したい損失関数を以下で定義します。

$$\mathcal{L}^{\ell}_{ideal} ( \widehat{\boldsymbol{R}} ) := \frac{1}{mn} \sum_{(u,i) \in \mathcal{D}} \ell (R_{u,i}, \hat{R}_{u,i} ).$$

ここで欠損メカニズムを正確に記述するため、後に使用する2つの行列を導入しておきます。1つ目が傾向行列で、\({\bf P} \in \mathcal{P}\)と書きます。ここで\(\mathcal{P}\)は\(D\)上の確率分布の集合です。もう1つは観測行列\(\boldsymbol{O} \in \{ 0,1 \}^{m \times n}\)であり、\(\mathbb{E}[O_{u,i}] = P_{u,i}\)です。\(O_{u,i} = 1\)のときはユーザーとアイテムのペアが観測されたことを表し、\(O_{u,i} = 0\)のときは観測されていないことを表します。

 

既存手法
最も基本的な方法として、以下で定義されるNaive推定量があります。

$$\mathcal{\hat{L}}^{\ell}_{naive} ( \widehat{\boldsymbol{R}}; \boldsymbol{O} ) := \frac{1}{\sum_{(u,i) \in \mathcal{D}} O_{u,i}} \sum_{(u,i) \in \mathcal{D}} O_{u,i} \cdot \ell (R_{u,i}, \hat{R}_{u,i} ).$$

Naive推定量は観測されたユーザー/アイテムのペア\((u,i)\)の損失について単に平均をとったものです。これはもし欠損メカニズムが完全にランダム(missing-completely-at-random; MCAR)であれば有効なアプローチですが、そうでない場合には一般にバイアスされた推定量となり、精度が悪化する原因となります。

Naive推定量より優れた方法として、傾向スコア\(P_{u,i}\)を用いた補正を行う手法であるInverse Propensity Score (IPS)推定量があります。

$$\mathcal{\hat{L}}^{\ell}_{IPS} ( \widehat{\boldsymbol{R}}; \boldsymbol{O} ) := \frac{1}{mn} \sum_{(u,i) \in \mathcal{D}} O_{u,i} \cdot \frac{\ell (R_{u,i}, \hat{R}_{u,i} )}{P_{u,i}}.$$

これは真の損失に対して不偏な推定量となっています(つまり,\(\mathbb{E}[\mathcal{\hat{L}}^{\ell}_{IPS}] = \mathcal{L}^{\ell}_{ideal}\))。しかし、この不偏性が保証されるのは真の傾向スコアが利用可能な場合のみであり、一般に推薦システムでは利用できません。既存手法ではこの傾向スコアを推定するためにMCARデータを利用していました。しかし、元々IPS推定量はMCARデータが存在しない状況で真の損失を推定するために用いられた方法であることを考えると、MCARデータを利用することはそのモチベーションに矛盾しているといえます。

 

提案手法

そこで本研究では、傾向スコアやMCARデータに依存しない理論とアルゴリズムの構築を行いました。ドメイン適応的な方法により真の損失の上界を導出した上で、それに基づいた次の目的関数の最小化を行います。

$$
\min_{\widehat{\boldsymbol{R}} \in \mathcal{H}}
\underbrace{\mathcal{\hat{L}}^{\ell}_{naive} ( \widehat{\boldsymbol{R}}; \boldsymbol{O}_{MNAR} )}_{\text{naive loss on MNAR training data}}+ \beta \cdot \underbrace{\psi_{\widehat{\boldsymbol{R}}, \mathcal{H}} (\boldsymbol{O}_{MCAR}, \boldsymbol{O}_{MNAR} )}_{\text{discrepancy}}.
$$

ここで\(\psi_{\widehat{\boldsymbol{R}}, \mathcal{H}}\)は2つの傾向行列の異なり具合を定量化したものです。\(\psi_{\widehat{\boldsymbol{R}}, \mathcal{H}}\)や他のパラメータの正式な定義などは論文をご参照ください。重要なこととしては、この目的関数は傾向スコアやMCARデータに依存しておらず、傾向スコアを推定することなくモデルを学習することが可能となっています。

実験では、MCARデータが全く存在しないという現実的な設定においてNaive推定量やIPS推定量を用いて学習された行列分解モデルより正確なレーティング予測が可能になることが確認されました。

 

最後に

欠損メカニズムがランダムでないデータのみから学習を行う手法について紹介しました。手法の詳細や数値実験の結果などについては論文をご参照ください。また、今回我々が対象としていた明示的フィードバックを用いた推薦システム構築については、施策デザインのための機械学習入門の3章により詳細な説明がありますのでそちらもご覧ください。

 

]]>
[CVPR’22採択論文] 動画検索の評価指標AxIoU https://cyberagent.ai/blog/research/computervision/16436/ Fri, 01 Apr 2022 01:06:59 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=16436

AI Lab Algorithmsチームの富樫です。
AI Lab Algorithmsチームでは、推薦・検索及び離散最適化に関する研究に取り組んでいます。

Video Moment Retrieval

この記事ではvideo moment retrievalというタスクにおける評価指標に関する研究 [1]について概要を紹介します。 Video moment retrievalとは、テキストクエリを入力として動画データベースの中からある動画の一部分(video moment)を検索するタスクです。 例えば、動画サイトにおけるユーザが、歩いている犬の映っているシーンを頭に思い浮かべたときに「犬が歩いている」というクエリによって検索することでクエリをよく表すような動画の一部分を探す機能などが応用先として考えられます。 動画と自然言語からなるマルチモーダルな情報を扱う上に複数動画内の時間位置検出とランキング問題を解く必要があるコンピュータビジョン分野における比較的新しいタスクです。

上に挙げた応用例のような高度な機能を提供しているサービスは多くないため、 video moment retrievalにおける研究開発は、便利そうだけど使ったことのない少し先の未来の技術といったフェーズにあります。 学術的な研究において実世界で成功する手法を開発するために、これまでベンチマークのデータセットの整備が行われてきました。[2][3][4]

一方で、評価指標の設計に関してはあまり議論されておらず、2017年頃にタスクが盛んに研究されるようになってから最初期の評価指標 [5]がそのまま使われ続けています。 今回の論文では、この指標が多くの好ましくない性質を持つことを指摘し代替指標を提案しました。

Recall@\(K,\theta\) (\(\mathrm{R@}K,\theta\))

現在まで使われていた指標Recall@\(K,\theta\)は、あるテキストクエリに対してシステムの出力した上位\(K\)個のvideo momentに対して、 正解video momentに対して\(\theta\)より大きいintersection over union (IoU)を持つものがあるかどうか、を図る指標です。 これを式で書くと以下のようになります。 \[\begin{align} \mathrm{R@}K,\theta(q, \sigma) = \unicode{x1D7D9}\left\{\sum_{k=1}^K \unicode{x1D7D9}\{r(\sigma_q(k)) > \theta\} > 0\right\}. \end{align}\] ここで、\(q\)はテキストクエリ、\(\sigma\)は検索システムです。\(\sigma_q(k)\)はシステム\(\sigma\)のクエリ\(q\)に対する\(k\)番目のvideo momentです。 \(r(\cdot)\)はあるモーメントの正解に対するIoUです。 これまで幅広く使われてきた\(\mathrm{R@}K,\theta\)ですが、我々の知る限り式で表記している論文もほぼ見つからない状態でした。 しかし、上のように式で書いてみるとこの指標の異様さがわかります。 指標の値を0~1に収めるためにIndicator function \(\unicode{x1D7D9}\)によって二値化が適用されており、 「IoU (\(r(\sigma_q(k)\)))がどれくらいなのか」及び「何番目に正解があったのか (\(k\))」という情報が消えてしまっています。 例えば、長さ\(K\)のランキングの1位に完璧なIoUを達成するmomentをランクインさせたシステムと\(K\)位にIoU \(\theta\)のmomentをランクインさせたシステムに対する評価値が等しく1になります。

この指標における諸々の問題を引き起こしているのは\(\theta\)というIoUに対する閾値になります。 これは、正解領域に対してどれくらいの重なりがあれば正解かを決める重要なパラメータですが、これを色々なデータセットに対して適切に決めることは極めて困難です。 この問題を回避するために複数の\(K\), \(\theta\)に対して指標を計測することで現状の評価は行われています。

ここで、「\(\mathrm{R@}K,\theta\)を異なる\(K\), \(\theta\)で計測して眺める」という運用を通じてvideo moment retrievalの研究者たちが本当に測りたかったものを言語化する必要があります。 \(\mathrm{R@}K,\theta\)が実は上位\(K\)個のmomentのIoUの最大値しか見ていないということにここで注意してください。 \[\begin{align} \mathrm{R@}K,\theta(q, \sigma) &= \unicode{x1D7D9}\left\{\sum_{k=1}^K \unicode{x1D7D9}\{r(\sigma_q(k)) > \theta\} > 0\right\} \\ &= \unicode{x1D7D9}\left\{\max_{1 \leq k \leq K} r(\sigma_q(k)) > \theta\right\}. \end{align}\] なぜ\(\mathrm{R@}K,\theta\)がこのような設計になっているのかというと、(設計経緯が明文化されていないので憶測の域を出ないですが) moment retrievalでは正解momentが複数あり得る一方でそれらはほぼ同じものである、という考えがあるのだと推察されます。これはvideo momentがある動画の連続した時間領域であり、良いIoUを達成する複数の異なるvideo momentをランキングに含むこと自体によってユーザが得られる情報が増えないということからも納得できる思想です。これを踏まえて、上位に入っている一番良いmomentのみに価値がありその他のmomentには価値がない、という設計になったのだと考えられます。

Normalised Cumulative Utility (NCU)

本研究では、\(\mathrm{R@}K,\theta\)の設計思想を汲みながら新しい指標を設計するためにNormalised Cumulative Utility (NCU) [6]という検索指標のフレームワークを用います。 NCUは、テキストクエリを入力したユーザが検索結果のランキングを上から順番に見ていき、ある位置\(k\)で検索結果を見ることをやめる、というユーザモデルを仮定します。\(k\)番目までmomentを精査するユーザの割合を\(P_A(k)\)、位置\(k\)までランキングを走査したユーザはランキング1~\(k\)番目までのmomentに依存した効用(utility)を\(U(\sigma_q, k)\)、とした場合のexpected utilityとしてNCUは定義できます。 \[\begin{align} \mathrm{NCU}(q, \sigma) = \sum_{k=1}^{|\mathcal{M}_q|} P_A(k) U(\sigma_q, k) \end{align}\] ここで、\(\mathcal{M}_q\)はクエリ\(q\)に対するランキング候補となるすべてのvideo momentの集合です。 余談ですがAverage Precision@\(K,\theta\) (AP@\(K,\theta\))はNCUの一つとして解釈することができます。 \[\begin{align} \mathrm{AP@}K,\theta(q, \sigma) &= \sum_{k=1}^{K} \frac{1}{K} \mathrm{P@}k,\theta, \end{align}\] ここで、\(\mathrm{P@}k,\theta=(1/k)\sum_{j=1}^{k} \unicode{x1D7D9}\{r(\sigma_q(k)) > \theta\}\)は上位\(k\)件のうち\(\theta\)より大きいIoUを持つmomentの割合です。

Average Max IoU@\(K\) (\(\mathrm{AxIoU@}K\))

今、\(\mathrm{R@}K,\theta\)では\(k\)番目までのリストの価値はその位置までのIoU最大値のみによって決まりました。 扱いの難しい閾値処理を除きたいので、\(U(\sigma_q, k)=\max_{1 \leq j \leq k} r(\sigma_q(j))\)のようにutilityを定義し、normalised cumulative max IoU (NCxIoU)というNCUを考えます。 \[\begin{align} \mathrm{NCxIoU}(q, \sigma) = \sum_{k=1}^{|\mathcal{M}_q|} P_A(k) \max_{1 \leq j \leq k} r(\sigma_q(j)) \end{align}\] さらに、\(\mathrm{R@}K,\theta\)をいろいろな\(K\)において計測する現状の運用を、 ユーザがどのくらい下までランキングを走査するかを表す\(P_A(k)\)を\(k = 1,\dots,K\)までの一様分布とすることで指標に埋め込みます。 これによって、提案指標であるAverage Max IoU (AxIoU)が得られます。 \[\begin{align} \mathrm{AxIoU@}K(q, \sigma) = \frac{1}{K}\sum_{k=1}^{K} \max_{1 \leq j \leq k} r(\sigma_q(j)). \end{align}\]

 

指標の”良さ”

今回の論文において特に重要な議論は、どのようにして具体的なアプリケーションが想定されていない段階で評価の評価を行うかという点です。 Web検索などと異なり典型的なUIや応用例も固まっていない以上クラウドソーシングによる人手評価も困難であることを考慮して、本研究では公理的アプローチを採用しました。 我々の公理的アプローチでは、\(\mathrm{R@}K,\theta\)の挙動を考慮しつつmomentのクオリティ(IoU)とランク位置を反映したような指標が満たすべき性質を列挙し、それを既存指標が満たすかどうかを確認しています。 その結果、既存のランキング指標であるAPやdiscounted cumulative gain (DCG)はランキング位置やIoUの改善を反映するものの、IoUの最大値を更新しないmomentは指標に影響しないという\(\mathrm{R@}K,\theta\)の性質を満たさないことがわかります。 一方で、\(\mathrm{R@}K,\theta\)はこの性質を持つ代わりにランク位置やIoUの情報を捨ててしまいます。 \(\mathrm{AxIoU@}K\)はこの二つの性質を両立することができるため、\(\mathrm{R@}K,\theta\)を複数の設定で見ることで実現している評価を単一の評価指標で代替することができます。

さらに、本論文では数値実験により、\(\mathrm{R@}K,\theta\)が偏った\(K\)あるいは\(\theta\)の設定によって互いに矛盾しうることや、データセットが小さい場合に極めて不安定な点などを確認しています。

ご興味がある方は論文をぜひご確認ください。

 

参考文献

[1] AxIoU: An axiomatically justified measure for video moment retrieval”, Riku Togashi, Mayu Otani, Yuta Nakashima, Esa Rahtu, Janne Heikkila, Tetsuya Sakai, CVPR, 2022.

[2] Activitynet: A large-scale video benchmark for human activity understanding, Fabian Caba Heilbron, Victor Escorcia, Bernard Ghanem,
and Juan Carlos Niebles, CVPR, 2015.

[3] Localizing moments in video with natural language, Lisa Anne Hendricks, Oliver Wang, Eli Shechtman, Josef Sivic, Trevor Darrell, and Bryan Russell, ICCV, 2017.

[4] TVR: A large-scale dataset for video-subtitle moment retrieval, Jie Lei, Licheng Yu, Tamara L Berg, and Mohit Bansal, ECCV, 2020.

[5] Tall: Temporal activity localization via language query, Jiyang Gao, Chen Sun, Zhenheng Yang, and Ram Nevatia, CVPR, 2017.

[6] Modelling a user population for designing information retrieval metrics, Tetsuya Sakai and Stephen Robertson, EVIA, 2008.

]]>
【CVPR’22】物体検出アルゴリズムの新しい評価指標 https://cyberagent.ai/blog/research/computervision/16366/ Fri, 01 Apr 2022 01:05:10 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=16366 Media fundamentalsチームの大谷です。今回は物体検出を評価するための新しい指標を設計したので、その研究について概要を解説します。この研究成果はCVPR2022に採択されています。論文のリンクはこちらです。

 

Mean Average Precisionはなにを見ている?

物体検出の評価では多くの場合Mean Average Precision (mAP)が使われています。まずAPについて概要を確認しておきましょう。APは検出したオブジェクトをconfidence score順に並べてprecision-recall curveを求め、その曲線の下の面積で求められます。これをカテゴリごとに計算し、全てのカテゴリ上で平均したものがmAPです。ここでは詳細に触れませんが、実際のAPの計算では諸々の実装上の事情があり、それらがAPの振る舞いにおいて少なくない影響を及ぼしています。ここの説明はAPが評価しているものについての簡単な説明なので、実際のAP計算とは異なる点があるので悪しからず。

mAPは物体検出をデータセット全体から見つけたオブジェクトのランキング問題として評価しています。この前提は物体検出を開発しているコミュニティでもあまり意識されていない点ではないでしょうか。この「データセット全体における」「ランキング問題」として物体検出を評価するという姿勢は、なかなかに強い前提です。

一つ論文で出した極端な例を紹介します。下のイラストに示すような、アヒルとロバの検出器、A,B,Cと3枚の画像からなるデータセットを考えます。この例ではある検出器Bはデータセットの画像2枚を完全に無視していますが、mAP上では検出器Aと区別がつきません。APは見つけたオブジェクトを画像からひっぺがして評価するので、データセットの画像それぞれで検出が成功したかどうかという情報は基本的には失われています。これはある画像グループで性能が極端に悪くなっていたとしても、評価指標上では現れないことがあるということです。これは多様な画像で安定した性能を求められるようなアプリケーション、例えば画像認識APIの評価などでは好ましくないでしょう。また検出器Cは大量のロバを誤検出しています。しかし、これらの誤検出はAPを下げません。これは検出された物体のうち、正しいものが誤検出よりも上位にランキングされているかどうかを重視しており、ランキング下位の誤検出については直接ペナルティを課していないことが理由です。

もう一つ、クラス識別を重視するという点もAPの特徴的なスタンスです。APでは予測クラスが間違っていた場合、その検出結果は「完全な失敗」として扱われ、位置の正確性については評価されません。これは扱うクラス数が膨大な場合や、クラス識別よりも位置の予測を重視するアプリケーションには少々厳しすぎる方針かもしれません。

このようにmAPには、データセット全体に対するランキング性能を見ていることに由来する、評価の「クセ」があります。以下は今回の研究で注目したmAPの性質です。

 

  • 物体検出をデータセット全体における検出物体のランキングとして扱っている

  • confidence scoreの低い誤検出の影響は小さい

  • 各画像のAPに対する影響は平等ではない

  • クラス識別が位置推定よりも重視される

  • 評価時に参照する真値アノテーションが最適でない場合がある

 

これらの特徴のほとんどは良い悪いというものではありません。最終的にやりたいことが画像データセット全体から見つけた物体領域のうちconfidence scoreの上位~%を検出とするようなアプリケーションであれば、これらの性質はそれなりに妥当と言えそうです。評価の際は最終的にどんな検出器が欲しいのかを考慮して、目的に合った評価指標を使うことが理想でしょう。ですが、今のところ物体検出に関してはAPとAPをベースに改良された指標がいくつかあるぐらいで、実質的な選択肢は限られています。そこで今回は、APとは違った発想で検出結果を評価する別の指標を考えました。

Optimal Correction Cost

今回提案した指標はOptimal Correction Cost (OC-cost)と呼んでいます。OC-costは誤差を含む検出結果を正解に修正するためにかかるコストを使って、検出結果の品質を測ります。この方法は去年物体検出モデルの学習法として提案されたOTAを参考にしています。実際、その最終的な目的を学習とするか評価とするかで、OTAと提案指標は設計が異なってきますが、技術的には多くの部分で共通しています。

まず検出結果と真値アノテーションからコスト行列を作ります。コスト行列のそれぞれの要素はある検出結果を真値アノテーションのどれかに修正するためにかかるコストです。このコストはクラス識別に関する誤差と予測位置の誤差から計算します。このコスト行列からトータルの修正コストが最小となるような検出結果と真値アノテーションの対応を最適輸送問題を解くことで求めます。そしてその時かかった修正コストをOC-costとします。バウンディングボックスに対する編集距離のようなイメージです。この指標の性質としては以下のようなものがあります

  • 画像1枚に対して検出精度を評価できる

  • 識別の誤差と位置ずれの誤差を同時に評価できる(クラス識別が間違っていても位置予測精度は評価される)

  • 適当な真値アノテーションとの比較に基づく評価ができる

  • 余分な検出に対してペナルティを積極的に与える

繰り返しになりますが、この性質も最終的なアプリケーションによって良し悪しです。基本的には画像1枚1枚の検出精度が重要で、事前に検出結果を間引いておく必要があるようなアプリケーションに合っていると思います。

 

OC-costの実例

実際にこの指標の振る舞いを実例を使ってみていきます。左からOC-costが低い(=良いと判断された)検出結果です。まあまあ納得感のある結果ではないでしょうか。

 

次にmAPとOC-costをそれぞれ使って検出結果をフィルタリングするパラメータを調整してみます。具体的にはNon maximum supressionの閾値パラメータをmAPを最大化、あるいはOC-costを最小化するようにパラメータを最適化しています。この結果を見比べてみることで、それぞれの指標がどのような検出器を高く評価するのかわかります。以下が実例です。

 

mAPは正しい検出結果を得るチャンスを上げるために、なるべくたくさんの予測を出すモデルを好みます。余計な検出が大量に出力されたとしても、そのconfidence scoreが相対的に低ければあまり問題としません。mAPはユーザがそれぞれconfidence scoreの適切な閾値を決めるものと想定しています。一方、OC-costは余計な検出にはペナルティを与えます。検出結果を事前にフィルタリングしておく必要があるような場合にはOC-costを用いたチェックが有効でしょう。

さいごに

物体検出アルゴリズムの新しい評価指標を紹介しました。さらに詳しい内容については論文を見ていただけると幸いです。さて、物体検出の評価もこれをもって十分とはまだ言えません。また他の領域でも評価方法の改良はまだまだやることがありそうです。コンピュータビジョンの発展に評価の観点から貢献することに興味のある方がいればぜひご連絡ください。

]]>
画像色変換関連の研究紹介 https://cyberagent.ai/blog/research/computervision/16052/ Fri, 28 Jan 2022 08:36:18 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=16052 AI Lab Media Fundamentalsチームの邱です。この記事では、画像の色変換における代表的な手法をご紹介します。

画像変換における課題は、私見でStyle Transfer、Colorization / Color Transfer、Image Recoloringという3つのテーマに分かれています。Style TransferあるいはColor Transferとは参照画像のスタイルや配色を他の画像へ転送する手法です。Recoloringとは画像の代表色をベースに画像の色を変換する手法です。今回は特に、カラーパレットベースの画像の色変換について詳しく解説します。

カラーパレットベースの画像色変換のアプローチは、「カラーパレット抽出」「画像を色レイヤーに分解」「色編集」の3段階で構成されることが多いです。カラーパレットはいわゆる色の組み合わせを指し、カラーシームとも呼ばれます。画像色変換の方法はカラーパレットの抽出方法により、主にクラスタリングによるアプローチ(Clustering methods)と幾何学的アプローチ(Geometric methods)があります。

Clustering methods

2015年にChangら[1]はLab色空間を用い、K-meansクラスタリングでカラーパレットを抽出して画像全体の色を編集する手法を提案しました。この研究は、カラーパレットベースの色編集手法が研究の根幹となっています。この手法は主に2つのステップになります。まず、画像からカラーパレットを抽出します。次に、カラーパレットを編集し、その変更を画像全体に伝播させます。画像内の明度の順序を保存するために、ユーザーがカラーパレットを変更後、画像の色がL*方向とa*b*平面それぞれ独立に編集されます。更に、インタラクティブに色を編集してリアルタイムに変換後の画像を確認できるデモシステムが公開されています。

https://recolor.cs.princeton.edu/demo/index.html 

その後、Changら[1]のアプローチの拡張として、画像を色レイヤーに分解することで色変換の効果を改善する方法が提案されました[2, 3, 4]。特に、Akimotoら[4]の研究では、深層学習を用いて1枚の画像を複数のRGBAレイヤーに分解し、画像品質を維持しつつ時間の短縮を実現しました。提案モデルでは、まず、K-meansクラスタリングでカラーパレットを抽出します。次に、U-Netに基づいてアルファレイヤーを予測します。最後に、分解されたレイヤーを使って再構成した画像と元画像の色残差を推定するネットワークを学習します。

Geometric methods

幾何学的アプローチでは、色空間での画像の色値を使い、凸包(Convex Hull)構造からカラーパレットを抽出します。このアプローチでは、各ピクセルの色は、パレットの色を線型結合として表すことができます。Tanら[5]の研究では、5D RGBXYの空間における色の幾何的形状に基づいて、RGB凸包を求め、その頂点(vertices)をパレットの色として抽出します。画像がカラーパレットに対応したレイヤー(additive mixing layers)に分解されます。ただし、5D凸包の構築には時間がかかり、1枚の画像の処理に数分かかることがあります。

凸包の頂点は画像に表われる色と乖離する場合があるため、Wangら[6]は凸包に基づくカラーパレットの抽出を最適化問題として下図のように改善しています。レイヤー分解の場合は、多面体(polyhedron)の中の色が多面体の頂点の線形補間として表すことができるので、平均値座標(mean value coordinates)を使用してアルファレイヤーを計算します。計算スピードが更に改善されます。

広告画像の色変換への応用

私が研究しているWeb広告のボタン要素を対象に、今回紹介したクラスタリング[1]と幾何学的アプローチ[5]による色変換を適用してみました。色編集UI及び色変換結果を下図に示します。幾何学的アプローチでは凸包構造の頂点が4以上だったことから、パレットの色数も4以上になります。クラスタリングアプローチではパレットの色数を2から選択します。経験的にボタン画像のようなシンプルな画像では、パレットの色数を4色以上に設定すると、色変換が直感的にうまくいきます。ボタン画像の文字色の白を抽出したい場合、幾何学的アプローチでは凸包の頂点から白を抽出できますが、クラスタリングアプローチではクラスターの平均値を代表色として抽出しているので、白を抽出できないことがあります。なお、幾何学的アプローチでは、凸包内にある重要な色を見逃す可能性があります。

おわりに

今回は画像の色変換におけるクラスタリングと幾何学的アプローチについて紹介しました。初心者でも直感的で使いやすい背景から、カラーパレットベース画像編集の研究が近年盛んです。画像の色変換技術から転じて、動画の色変換[7]にも広がっています。この技術はWeb広告デザインにとって重要なトピックなので、これからの動向も注目していきたいです。また、カラーパレットの編集は多くのデザイナーにとって難しいタスクです。AI Labでは、Web広告の配色に向けてカラーパレットの自動推薦をテーマに研究を進めています。

 

参考論文

[1] Palette-Based Photo Recoloring, Chang et al., SIGGRAPH 2015

[2] Palette-Based Image Recoloring Using Color Decomposition Optimization, Zhang et al., TIP 2017

[3] Decomposing images into layers with advanced color blending, Koyama et al., Pacific Graphics 2018

[4] Fast Soft Color Segmentation, Akimoto et al., CVPR 2020

[5] Efficient palette-based decomposition and recoloring of images via RGBXY-space geometry, Tan et al., SIGGRAPH 2018

[6] An Improved Geometric Approach for Palette-based Image Decomposition and Recoloring, Wang et al., Pacific Graphics 2019

[7] Video Recoloring via Spatial-Temporal Geometric Palettes, Du et al., SIGGRAPH Asia 2021

]]>
SIGGRAPH2021 参加報告 https://cyberagent.ai/blog/research/computervision/15290/ Tue, 17 Aug 2021 00:29:53 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=15290 AI Lab Graphics & Audioチームの武富です。8月9日から8月13日に開催されたコンピュータグラフィックス分野のトップ会議であるSIGGRAPH2021に参加してきました。SIGGRAPH2021は昨年と同様にオンラインの開催となりました。開催形式は、参加者は開催1週間前からプレゼンテーションの動画へのアクセスが可能となり事前に視聴し、本会議期間中はQ&Aがライブで行われるという方式でした。各セッションでは、座長の方が各発表の短い動画を再生した後にDiscord上で参加者から質問を受け付けるという形をとっていました。各発表のQ&Aが終了した後、発表者と座長でのパネルディスカッションがセッションの残りの時間を使って行われていました。多くの座長の方々は事前に各論文を読み込まれているようで、様々な質問をし各論文の利点や欠点、残された課題などを著者の方から聞き出されていて大変勉強になりました。SIGGRAPHはいわゆる研究論文であるTechnical Paperのセッション以外にもCourse、Electronic Theaterなど様々なセッションがあるのですが、この記事では武富が参加したCG in JapanというセッションとTechnical Paperで発表されていたアバター関連の研究を中心に簡単に紹介しようと思います。

CG in Japan

ACM SIGGRAPH VILLAGEというイベントの中でCG in Japanというセッションが開催されました。CG in Japanセッションでは、「日本のCG業界のいま」を紹介するという主旨で、東海大学の久保尋之先生、Mercariの山村亮介氏、筑波大学の落合陽一先生、武富がそれぞれの研究室や組織で取り組んでいるCG関連の技術について紹介を行いました。久保先生はプロジェクターカメラシステムを使った人体内部の計測、撮影領域のマスキング、インタフェースなどの取り組みを紹介されました。山村氏はpoimoと呼ばれる軽く持ち運びが便利な移動体の研究や柔らかな素材で構成されるセンサについての紹介を行われました。落合先生は御朱印を自動生成する取り組みについて紹介されました。また、武富はサイバーエージェントにおけるインターネット広告分野でのグラフィックス技術の利用というテーマで極予測AI人間、極予測LED、デジタルツインレーベルの事例を交えながらAILabの研究開発について紹介を行いました。質疑ではLED Displayを用いた撮影に関する質問が多く、このような撮影方法に対する関心の高さが伺えました。

研究紹介1: Portrait Editingに関する研究

Total Relighting: Learning to Relight Portraits for Background Replacement

Googleの研究グループの発表で著者の中にはライトステージを使った研究で有名なPaul Debevec氏(最近Netflixへ移籍)が含まれています。この研究でも、やはりライトステージを使って取得したデータセットを利用しています。

この研究では人物写真の背景を別の背景に入れ替えることを目的としており、背景入れ替えの際に背景画像のライティングを人物領域へも反映した上で合成するということを行っています。提案されている手法は、Mattingのためのalpha matteを生成するMatting Moduleと人物のリライティングを行うRelighting Moduleで構成されています。

Matting Moduleに関しては、1つのエンコーダとtrimap、前景、alpha matteをそれぞれ生成するための3つのデコーダで構成されています。この構成に関しては、従来研究と同様ですが、ライトステージで取得したデータセットを用いることで人物写真に特化したネットワークになっています。Relighting ModuelではGeometry Moduleを用いて人物領域の法線を推定しています。その後、法線情報と入力画像からAlbedo Networkを用いてAlbedo画像を取得します。また、入れ替え対象となる背景のHDR MapについてはDiffuse convolutionとSpecular convolutionに分解され、Diffuse light mapとSpecular light mapの生成のために用いられます。この方法についてはリアルタイムのゲームエンジンなどで広く用いられているライティングの方法です。上記で得られたAlbedo画像、Diffuse light map、Specular light map、そして入力画像を用いてShading Netでリライティングされた人物画像を生成します。最終的に、生成されたリライティング画像と新たな背景画像をalpha matteを用いて合成することで高品質な背景画像の入れ替え結果を得ています。

PhotoApp: Photorealistic Appearance Editing of Head Portraits

マックスプランク研究所の研究で2Dの顔画像の顔の向きの変更、リライティングを可能にする手法です。この研究でも学習にライトステージを使って取得したデータセットを使っています。1枚の顔画像に対して、このような顔向きの変更とリライティングを同時に実現する手法はこれまでに実現されていなかったとのことです。

ライトステージで取得したデータセットを用いたリライティング手法ではライティングの変更は可能だが顔向きの変更は困難であるという問題があります。また、StyleGANを用いて顔向きの変更の変更を行う研究がありますが、こちらはリライティングが困難であるという問題があります。この研究では、これらの問題に対して、それぞれのアプローチを相補的に組み合わせることで顔向きの変更とリライティングの両方を実現しています。

この研究ではpSpNetをベースにフレームワークが構築されています。入力画像はpSpNetを用いてエンコードされます。その後、取得されたLatent vectorと新たなライティング情報、顔向きの情報からStyleGANのデコーダへ入力するための新たなLatent vectorをPhotoAppNetを用いて取得します。学習にはライトステージで取得したデータを用いているため、対応する光源環境、顔向きに対するGround truthの画像があるため、生成された画像とGround truthの画像間でlossを取ることができるようになっています。また、Ground truthの画像をpSpNetのデコーダに入力して得られるLatent vectorをガイドとしてPhotoAppNetの出力を学習しています。このように、StyleGANベースの顔画像生成に対して、ライトステージのデータをうまく活用することで顔向きの変更とリライティングの両方を実現することが可能なネットワークを構築しています。

研究紹介2: Face Animationに関する研究

Real-time 3D Neural Facial Animation From Binocular Video

Facebook Researchの研究で、ステレオカメラ映像を使ってリアルタイムにアバターをアニメーションさせる手法です。発表動画では、以下のように著者と著者のアバターが左上に表示されており、リアルタイムで著者の表情がアバターの方へ反映されている様子が確認できるようになっていました。

この研究で用いられているアバターは多視点カメラを用いて均一な照明環境下で撮影されたデータをもとにDeep Appearance Modelを用いて作成されています。そのため、実環境では照明環境が異なり、生成されるアバターの表情の精度が低下してしまうという問題があります。そこで、この研究では、照明環境の差を補償するためにGain mapとBias mapを新たに導入することでトレーニング時とテスト時の照明環境の違いに対する頑健性を向上させています。

また、リアルタイムでのアニメーションを実現するために、この研究ではPCAに基づく顔モデルを利用した顔形状のトラッキングを行っています。これによって得られた形状、顔向き、テクスチャを初期値として最終的な顔形状とテクスチャを生成するようになっています。

Learning an Animatable Detailed 3D Face Model From In-the-wild Images

マックスプランク研究所の研究で、1枚の画像からアニメーション可能な3次元モデルを構築する手法(DECA)です。これまでに提案されている手法と異なり、この手法では顔のしわなどの詳細な形状を含めた形状復元およびアニメーションが可能になっています。これにより、個人の特徴的なしわなどの形状を再現した表情の転写が可能になります。

DECAのフレームワークは以下のようになっており、Albedoテクスチャを生成するネットワーク、大まかな顔形状を表現することができるFLAMEモデルのパラメータを推定するネットワーク、しわなどの詳細形状を表現するためのDisplacement mapを生成するためのネットワークで構成されています。DECAでは、AlbedoテクスチャとFLAMEモデルのジオメトリを使ってレンダリングした結果と入力画像間のLoss(下図青線部分)と詳細な形状情報を含めてレンダリングした結果と入力画像間のLoss(下図赤線部分)を利用することで学習を行います。

ここで、各個人の特徴的な詳細形状情報と表情による変化を分離するために、以下のようなConsistency lossを採用しています。このLossを用いることで、同一人物の異なる表情の画像を入力した場合において、エンコーダーから同一の詳細形状を表す特徴量が得られるように学習することができるようにしています。

DECAについては、コードおよび学習済みのモデルが公開されています。
Code:https://github.com/YadiraF/DECA

Deep Relightable Appearance Models for Animatable Faces

Facebook Researchの研究で、彼らが取り組んでいるCodec Avatar研究シリーズになります。これまでのCodec Avatarではアバターをリライティングすることができなかった問題をこの研究では解決しています。これまでに、動的な人物のリライティング研究や静的な人物のリライティングおよび視点に依存したライティングの実現の研究は行われていますが、この研究ではさらにアニメーションを可能にしています。

この手法ではExpression Code、Viewpoint、Lightingの情報から対応する形状情報およびテクスチャをVariational auto-encoderを用いて生成しています。利用されているモデルでは、形状情報はExpression Codeのみから生成され、テクスチャはExpression Code、Viewpoint、Lightingの情報を用いて生成されるようになっていることが分かります。

また、この研究でもライトステージを使って学習用のデータを取得しているのですが、OLAT (One-Light-at-A-Time)による計測は時間がかかるため動的な人物のライティング情報の取得には適さないという問題があります。そこで、この研究ではライティングを時分割多重することによって90 fpsでのライトステージを使ったデータ取得を可能としてます。

ネットワークについてですが、Condition情報をネットワークの初期に導入する方法(Early-conditioned)はリアルタイムな処理を行うのには向いているのですが、オーバーフィッティングしやすいという課題があり、ネットワークの最後にCondition情報を導入する場合(Late-conditioned)は汎化しやすいという利点がある一方で処理時間がかかりリアルタイム処理には適さないとう問題があります。この問題に対して、この研究ではTeacher/Student Frameworkを利用し、Teacher Networkを用いて学習データを大量に生成しStudent Networkを学習することを行っています。これにより、リアルタイムかつ汎化性能の高いネットワークの構築を実現しています。

研究紹介3: Neural Renderingに関する研究

ACORN: Adaptive Coordinate Networks for Neural Scene Representation

スタンフォード大学のグループの研究で、座標を入力としてOccupancy field、Signed distance fieldなどの信号を出力するNeural Implicit Representaionを大規模なシーンでも利用できるようにするための研究です。この研究では、特徴量から信号を出力するExplicitな表現の計算効率の良さとメモリ効率の良いImplicitな表現のハイブリッドな表現を提案しています。

ACORNは、Global coordinate encoderとLocal coordinate encoderで構成されており、Global coordinate encoderではGlobal座標を入力とし特徴量を出力するようになっており、Local coordinate encoderでは局所座標と特徴量を入力とし信号を出力するようになっています。

ACORNでは、Training時の誤差に応じて誤差が大きくより詳細な分析が必要な場所は動的により細かく空間を分割するようになっています。分割には2次元の場合はQuadtreeを用い、3次元の場合はOctreeを用いています。座標情報とスケール情報はCoordinate Encoderに入力され、Coordinate Encoderの出力ベクトルからFeature Gridが生成されます。その後、このFeature Gridを補間することで特徴量を生成、Decoderを用いて信号を復元するという構成になっています。ACORNを用いることで、以下のようなGigapixel画像に対するフィッティングタスクにおいても詳細な情報を復元できていることが確認できます。

ACORNについては、以下にコードが公開されています。
Code: https://github.com/computational-imaging/ACORN

Mixture of Volumetric Primitives for Efficient Neural Rendering

Facebook Researchの研究で、Deep Relightable Appearance Models for Animatable Facesなどと同様にCodec Avatar関連の研究になっています。これまでのCodec Avatarで利用されていたメッシュ表現をベースとしたDeep Appearance Modelでは髪の毛などの複雑な形状を高品質に再現することが難しいという問題があります。一方で、Volumetricな表現は髪の毛などの複雑な形状に対しても高品質に再現することができるという利点があります。ただし、Volumetricな表現はメモリを多く必要とするため解像度を上げることが難しいという問題があります。そこで、この研究ではメッシュ表現とVolumetric表現のハイブリッドな手法を提案しています。

基本的なアイデアとして、各メッシュに対してUVのテクスチャマップを対応付けるのではなく、小さなVolumeを割り当てるというアプローチをとっています。これによりメッシュ表現、Volumetric表現の両社の利点を生かし高品質な映像の生成を可能としています。

まとめ

本記事では、アバター関連の研究を中心にいくつかの研究を紹介しました。この分野では、Facebook、Google、マックスプランク研究所が多くの発表をしており、多くの研究でライトステージや高性能な多視点カメラシステムがデータ取得に用いられておりある程度の資金力が研究を実施するために必要な印象でした。中でも、Facebook Researchについては既に数百人分のライトステージデータを取得済みとのことで、データの質、量ともにこの分野で現在トップなのではないかと思います。また、今回の記事では取り上げることができませんでしたが、この他にも様々な研究発表がありました。特に、Differentiable Renderingに関しては2つのセッションがあり、注目度が高いことが伺えました。

]]>
CVPR2021 参加報告 https://cyberagent.ai/blog/research/cvpr2021-report Fri, 16 Jul 2021 03:00:40 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=15193 はじめに

AI Labの井上です.6月に開かれたコンピュータビジョン分野の最難関国際会議の1つ,CVPR2021に参加してきました.AI Labは「広告クリエティブの制作支援と自動生成」に関連する研究に取り組んでおり(博士インターンも通年募集中です),研究成果の一部は極予測AI・極予測AI人間・極予測LP・極予測トリミングなどといったサイバーエージェントの実プロダクトに還元されています.本記事では膨大なCVPR2021論文の中からクリエイティブに関わるトピックの研究を,実務との関わりにも触れながら紹介していきます.

開催概要

CVPR2021は昨年に引き続きバーチャル開催でした.本会議の採択数 (率) は 1661本 (23.6%) となっており,前年の1467本 (25.0%) と比べても着実に増加しており,この分野への関心が引き続き高いレベルにあることが見て取れます.本会議のページには,下の画像のように基本的に各セッションごとに論文一覧がずらっと並んだページが用意され,そこから各発表のページ へと移動するスタイルになっています.今回はBest Paper等の各種賞の受賞作・最終候補作や,Oralの論文には少々目立つバッジが付与されていますが,それ以外には特別な扱いがないスタイルでした.個人的な感想としては,1600を超える論文を(興味の範囲内だけでも)数日間で見切るのはやはり大変で,事前にプレプリントやプロジェクトページ,コードを公開して継続的に宣伝することの大事さを再認識しました.リモート開催での公平性とアクセス性を担保する配慮は随所に伺えましたが,ライブでしか聞けないトークもあり(ワークショップに多い)日本から毎日リアルタイム参加は少々厳しいものがありました.

 

本会議論文紹介

素材の配置・組み合わせに関する研究

広告を構成するには,素材を加工して適切な位置に配置する必要がありますが,最終的な見た目の良さのために何をすれば良いかは非自明なことが多く,試行錯誤を伴います.ここではそのための部分問題に着目した研究を紹介します.

Composing Photos Like a Photographer

広告は様々な縦横比で出稿されるため,素材写真をトリミングして縦横比を調整することは日常茶飯事です.人が写真を撮る際には,メインの被写体を際立たせより良い印象を与えるための,定石(構図)があることが広く知られています(例:三分割法).この研究では,この構図情報を考慮した写真のトリミングモデルを提案しています.提案手法は下図のようにトリミングと構図分類(9種類)の教師ありマルチタスク学習になっており,構図分類の際にどこに注目しているかを示す key composition map (KCM) を生成し,トリミング問題の補助情報とすることで構図情報を明示的に考慮したトリミングを実現しています.

 

Variational Transformer Networks for Layout Generation

多様かつ現実的なレイアウトを生成する計算モデルを作ることは,広告分野でも非常に重要な問題の1つです.この論文では,近年のCV分野で流行り始めた transformer と variational auto encoder (VAE) を組み合わせて従来手法より良いモデルを提案しています.下図に示すように,提案手法は様々なドメインのデータセットから学習して現実的なレイアウトを生成することができています.

効果・印象予測に関する研究

広告がどれくらい見られそうか,なぜ印象に残るのか,といった要素の分析は,広告の制作支援のためのフィードバックとして必要不可欠です.このような分析では画像・テキスト・テーブルデータなど多様なドメインの情報を効率よく統合したり,ドメイン間の対応を発見したりする事が必要です.これに関連した研究を紹介します.

Metadata Normalization

何らかの予測モデルを構築する際に,入出力として明示的に使わない(が入手は出来る)情報が実は結果に影響するケースというのが存在します.例えば,顔画像から性別予測をするときに実はその人の人種情報が結果に影響を及ぼす [Buolamwini+, 2018] などがあります.このような情報は剰余変数と呼ばれ,テーブルデータでは一般線形モデルなどを用いてその影響を排除する手法がよく知られています.しかし,入力が画像や映像である場合,大量のピクセルが相互に依存しており前述のような手法を直接適用できるかは非自明でした.この論文では,metadata normalizationという,batch normalization等の正規化層の代わりとして用いる層を使って.ニューラルネットの学習中に剰余変数の影響を排除しながら学習する方法を提案しています.実務ではなかなかにありがちかつ悩ましい問題ですが(広告の効果予測等に取り組んでいても大量のメタデータがあります),モデル本体の構造を大きく変えることなく組み込める,実用的な手法だと感じました.

ArtEmis: Affective Language for Visual Art

CV分野の認識系の多くの研究は物体やその関係性を理解するためのものですが,この研究では個人によっても捉え方の異なる,より主観的な感情の認識のための基盤作りに主眼を置いています.具体的には,画像に対し「見たときに何を感じたのか」のカテゴリ情報と「それは画像内の何によって引き起こされたのか」を説明する記述文を収集した数十万件規模のデータセットを提案しています.また感情分類や説明文生成のベースライン実験を行い,アノテータの主観によって様々な解答が存在するような難しい問題でありながら.それなりの良さのモデルが構成できることを実験的に示しました.

画像生成・編集に関する研究

広告画像には高解像度・高品質が求められますが,所望の写真が得られるまで被写体を繰り返し撮影したり,素材画像ストックを検索し編集し続けたりするのは非常に骨の折れるプロセスです.深層学習の発展に伴い,高解像度画像をユーザがコントロールできる形で自動生成する取り組みが目覚ましく発展しており,いくつかの面白い研究を紹介します.

Taming Transformers for High-Resolution Image Synthesis

Generative adversarial network (GAN)を用いて写実的な画像を生成する取り組みは長く行われてきていますが(例:DCGAN),高解像度な画像を生成しようとすると生成画像の大域的な整合性が崩れる問題がありました.この論文では,VAEの安定化のためにvector quantization(ベクトル量子化)を使用したVQVAEのアイデアをさらに空間方向に拡張し,transformerを使ってcodebookのグリッドを自己回帰的に生成することで整合性を担保し,そのグリッドをCNN decoderに入力して高解像度画像を生成するVQGANと呼ばれるモデルを提案しました.このモデルは条件付き画像生成にも容易に拡張でき,論文中では 画像変換(例:edges, depth, segmentation, …)や画像補完での応用例を大量に紹介しています.

 

Anycost GANs for Interactive Image Synthesis and Editing

Image2StyleGANに代表されるように,画像とStyleGAN等の生成モデルの入力になるlatent codeの対応を見つけ,多種多様な画像編集タスクを生成モデルのlatent codeの空間上で表現する試みが汎用性の高さゆえに注目を集めています.しかし,理想的には画像編集では「ユーザの入力が低遅延で反映されること」かつ「生成される画像が高品質・高解像度」という相反する2つの特徴を実現する必要があり,単一の生成モデルではどちらかを満たすことができなくなります.そこで,この論文では生成モデルが出力解像度と使用できる計算量を追加入力として取得し,その制限に沿ったサブネットワークを使って画像を生成できるようなモデル,AnycostGANを学習することを提案しています.これにより,低解像度・低計算量の出力モデルを使った「プレビュー」モード上でユーザは低遅延な画像編集をし,その裏側で高解像度・高計算量のモデルの推論が走ることで,最終的な編集結果を高いクオリティで取得することも可能になります.

動画生成・編集に関する研究

Youtube等様々な媒体での動画試聴時間が増大する中,動画広告もより一般的なものになってきました.しかし動画の生成・編集は静止画以上に労力とコストのかかるものです.ここでは動画編集のための新たな問題やインターフェースを提案している論文を紹介します.

Hierarchical Motion Understanding via Motion Programs

この論文では,動画中のキーポイントの動きを複数の中間ステップを経て最終的に Abstract Motion Program という擬似コードのようなプログラムに落とし込み,またそこからキーポイントの動きを再構成するパイプラインを提案しています. 推定されたプログラム上で直感的かつ簡単な編集をユーザが行うと,その編集が反映された動画を生成することが出来ます.また,推定されたプログラムの汎化性は高く,動きの内挿や予測といったタスクに関して補助情報として使うと keypoint heatmap 等に比べてより良い結果を得ることが出来ます.定量評価はゴルフスイングの動画データセットでのみ行われており,より複雑な動作でも同等の事が出来るのか等の疑問は残りますが,物量で押し切って質を上げていく主流の方向性とは別方向の研究として非常に興味深かったです.

Omnimatte: Associating Objects and Their Effects in Video

この論文では,ビデオとその中の1つの物体のマスクが与えられた時,それがシーンに対して及ぼす影響(例:影・煙・水の波)の部分を分割する手法です.デモビデオが非常に印象的なのでぜひプロジェクトページをご覧になることをお勧めします.静止画像でドメインを限ればこのようなタスクは研究されていたりするのですが,ドメイン知識を廃して汎用的な機構として解けるようになっている点,optical flowやtracking等の既存手法を補助情報として取り入れながら,自己教師あり学習として解いている為アノテーションが必要ない点,などは実応用を考えると非常に嬉しいです.

 

おわりに

本記事ではカバーできなかったですが,今年はtransformerやimplicit functionを発展させた研究で面白いものが顕著に多かったように感じます.Computer Visionの研究のスピードは凄まじく,例えば画像生成・編集分野では数年前には実用化までの道のりがまだ遠そうに見えた技術が次々に改良され,ドメインによっては実製品に組み込まれるようなケースも出てきました.最新の研究のトレンドを知るとても有意義な機会となりました.

 

]]>
近年の画像のStyle変換とVector graphicsとの関連について https://cyberagent.ai/blog/research/computervision/14908/ Mon, 24 May 2021 10:22:36 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=14908  AI lab creative researchグループの下田です。今回のブログ記事では機械学習を活用した画像のスタイル変換について注目を集めてきた手法の変遷と近年のトレンドについて私見でまとめた内容をご紹介しようと思います。加えて、最近の自分の研究トピックと関連の深いText style transfer、Text editingの研究について合わせて紹介させていただければと思います。

 

Style transfer

 機械学習を活用した画像のスタイル変換としてNeural style transferと関連研究について紹介します。Style transferは画像のスタイルを他の画像へと転送する手法です。画像からスタイル情報を抽出し、異なる画像にスタイル情報を転送する処理が必要になります。Style transferは困難なタスクであると考えられていましたが、2015年に提案されたGatysらによるNeural style transferはこれを可能にしCV界隈に留まらず広く注目を集めました。Gatysら[1]はImagenetでPre-trainingされたクラス分類モデルの中間特徴量の自己相関をスタイル情報として抽出し、画像間におけるスタイル情報の類似度を考慮した最適化を行うことでスタイル情報の転送を実現しています。

Style transfer関連研究

 Gatysらの手法は、自然なスタイルの変換を可能にしましたが、スタイルの転送における計算コストが大きいという問題があります。この問題の解決に向けて、Johnsonら[2]はスタイルの転送を直接行うモデルの学習方法を提案しました。各モデルにつき一枚分のスタイル情報のみという制約はあるものの、提案モデルは大幅な速度改善を実現しました。その後、このアプローチの拡張として、一つのモデルでスタイル情報の抽出とスタイル情報の転送両方を行う試みがArbitrary style transferという枠組みで広く取り組まれています[3][4][5]。特に、Adain[5]ではNormalizationの重みとバイアスについての単純な計算のみでStyle transferが可能であるということが示され注目を集めました。また、FUnit[6]では生成モデルの成功から着想を得たアプローチにより意味的なスタイル特徴の抽出も可能であることが示されました。

 

Neural style transferの例。左上:入力画像、他:スタイル変換画像 [1]

スタイル変換+Vector graphics 

 Neural style transferをはじめとしたスタイルの変換手法は広く研究され様々な手法が提案されましたが、スタイルの変換結果をコントロールするのが困難という課題があります。こういった課題に対して、Zhuら[7]は領域ごとにスタイル特徴を抽出し転送するSEANという手法を提案しています。ちなみにこちらは自分の学生時代に所属していた柳井研究室でもラーメンのStyle transferという形で応用に取り組んでいた例があるのでぜひご覧ください[8]。このようにモデルの入力に何らかの条件を与え、変換結果を操作する研究は生成モデルの研究でも広く取り組まれています。ただし、こういったアプローチでさらに操作対象を拡張しようとすると、新しい条件を追加するたびに新しいモデルを考案、学習する必要が生じます。

 このような条件付けとは異なるアプローチで操作性の向上を目指す研究としては、他にVector graphicsを活用したスタイル変換があります。Vector graphicsはWeb上で広く使われている画像表現の一つです。画像を幾何的な図形の集合として表現しており、スケールの変化を介しても解像度が落ちず編集しやすくなっています。パワーポイントの図形のようなものをイメージしてもらうとわかりやすいかもしれません。Vector graphicsについての研究はCGの分野で古くから取り組まれていますが、近年はCVの分野にもVector graphicsの要素を取り入れる動きが盛んになってきたように思います。そこで、今回はVector graphicsのフォーマットでスタイル変換を実現した論文としてStylized Neural Painting[9]を簡単に紹介します。

 

Stylized Neural Painting

Stylized Neural Paintingの例[9]

 

 Stylized Neural Paintingは筆による描画をモデリングすることで油絵風のスタイル変換をVector graphicsの問題として取り扱っています。Stylized Neural Paintingによるスタイルの変換結果画像はVector graphicsなので拡大縮小の際にジャギが発生せず、既存のスタイルトランスファーとの併用もスムーズに行うことが可能です。また、描画順序の再現なども可能でVisualに描画行程を確認できます。

Stylized Neural Paintingにおけるモデル。入力:Color、Shape、Alphaについてのパラメータ。出力:パラメータに対応するStroke。[9]

 

 Stylized Neural Paintingでは機械学習モデルで油絵のための筆のレンダリングエンジンを再現しています。入力として、Color、Shape、Alphaの数値によるパラメータを与えることで、これに対応する筆の描画結果をStrokeとして推定するモデルを学習しています。このStrokeの描画を繰り返し重ね合わせて画像を表現すると、油絵のように見えるという仕組みになっています。

Stylized Neural Paintingにおける概要図。Canvasに描画したStrokeのパラメータであるColor、Shape、AlphaをAppearanceの損失から最適化。[9]

 基本的に世に出回っているレンダリングエンジンは微分できませんが、Stylized Neural Paintingではこれを微分可能なモデルで再現しているため、Backwardの計算が可能になっています。また、Backwardの計算が可能なのでStrokeの描画の繰り返しにより表現された画像と対象画像との損失を最小化するための勾配が計算可能になります。Stylized Neural Paintingではこの損失を最小化するようなStrokeのパラメータ:Color、Shape、Alphaを探索しています。以下の画像が最適化しながらストロークを描画している例です。

 

Stylized Neural Paintingにおける最適化の過程。[9]

 繰り返しになりますが、変換結果画像はVector graphicsなので拡大縮小の際にジャギが発生せず、既存のスタイルトランスファーとの併用もスムーズに行うことが可能です。複数の画像からスタイルを抽出すること自体は既存のアプローチでも可能でしたが、複数のスタイルを組み合わせるという処理は既存のStyle transferだと難しい問題であったように思います。Stylized Neural Paintingではこういった変換の組み合わせも自然に行えているようです。

Stylized Neural Paintingにおける既存のStyle transferとの組み合わせ結果。[9]

 

 

 

Text style transfer

 自然画像のスタイル変換について取り上げてきましたが、テキストのスタイル変換手法についても簡単に紹介します。画像中のテキストは構造がシンプルなので自然画像と異なり、モデリングしやすいという特徴があります。実際、自然画像のスタイル変換と比較してテキストのスタイル変換においてはモデリングの要素を取り入れたアプローチが多く提案されているように感じます。特に、テキストのグリフとスタイルはDisentangleするという考え方が広く取り入れられているように感じます。以下でいくつか研究の例を紹介します。

 Awesome typography[10]は文字のグリフに対応するスタイルをPatch matchingにより転送するアルゴリズムです。こちらの研究はNeral style transferの流行に影響を受けているとは思うのですが、深層学習は用いずに綺麗にスタイルの転送を実現しています。

Awesome typographyにおけるスタイル変換例[10]。

 こちらの手法[11]ではスタイルの転送をする前にグリフを変換した後にテクスチャを転送するというアプローチを提案しています。グリフの変化とテクスチャの学習を分離することで自然画像を活用したテクスチャの学習が可能になっています。

Glyphのスタイルを変換後にテクスチャを変換[11]。

 Typography with Decor[12]では文字のデコレーションをOne shotで推定し他の文字に転送する手法を提案しています。以前自然画像の対応点をとってColor transferする論文を読みましたが、文字界隈ではそれより前にこういったアプローチが取り組まれていたようです。

Typography with Decorの結果例[12]。

 

 いくつかText style transferの手法を紹介しましたが、次はText editingというスタイル特徴を維持しながらテキストを書き換える手法を紹介します。

SRnetによるText editing[13]。

 Text editingはアプリケーションとしては翻訳アプリの一つであるWord lensなどが以前から存在しますが、研究界隈では比較的新しい分野になります。少なくとも深層学習を活用した手法としては2019年にWuらが提案したSRnet[13]が最初の取り組みのはずです。SRnetは文字ごとではなくテキスト単位でスタイルの情報を抽出し、書き換える対象のテキストに転送するモデルを提案しました。また、このモデルは背景情報を抽出するためにInpaintingタスクも内包しています。

SRnetのモデル概要図[13]。

 

 Stefann[14]はテキストのスタイルをフォントモデル、カラーモデルとさらに細分化し、Text editingを行う手法です。InpaintingはOpenCVの関数で済ませてしまっていて、それぞれ問題を切り分けてシンプルな形式で文字の書き換えが可能であることを示しました。

STEFANNにおけるフォントのモデルと色のモデルの概要[14]。

 このように、テキストのスタイルに関する研究では問題を切り分けてモデリングする方向性の研究が広く取り組まれてきています。テキストとVector graphicsを組み合わせたアプローチはまだないのですが、今後盛り上がっていくのではないかと期待しています。

 

最後に

 今回はスタイル変換の変遷とテキストのスタイル変換について紹介しました。個人的に近年はスタイル変換においては変換のモデリングと機械学習を組み合わせるアプローチが増えてきているように感じています。一方で、モデリングベースのスタイル変換に関しては機械学習以前から長く取り組まれていた研究になります。現状はモデリングの困難なケースにも対応可能な機械学習ベースの手法が注目されていたところ、操作性の向上を目指すためにモデリングベースのアプローチを見直す必要が出てきているのかなと認識しています。ちなみに、鉛筆の画風への変換をVector graphicsの枠組みで行なった研究[15]からは、深層学習は用いずに丁寧なモデリングのみで問題が解決できましたという報告もあります。対応すべきパターンの数によってはモデリングを頑張ればそれで十分という事例は今後増えてきそうなので気をつけたいですね。

 今後はモデリングとデータドリブンのトレードオフを探る研究が増えるのか、何か革新的なアプローチが出てくるかはわからないですが、操作性の向上はクリエイティブ関連の応用にも重要なので、これからの動向にも注目していきたいです。余談ですが、変換をモデリングしながら機械学習を組み合わせる問題としては他に弱教師あり領域分割があります。弱教師あり領域分割は学生時代自分が取り組んでいた課題ですがいまだに未解決の問題です。弱教師あり領域分割とスタイル変換は共通点がありそうでない状況ですが今後どこかで合流する可能性はありそうな気がします。

鉛筆画風のスタイル変換例[15]

参考文献

[1] Image Style Transfer Using Convolutional Neural Networks, Gatys et al., CVPR2016

[2] Perceptual Losses for Real-Time Style Transfer and Super-Resolution, Johnson et al., ECCV 2016

[3] Fast Patch-based Style Transfer of Arbitrary Style, Chen et al., Chen et al., arXiv preprint arXiv:1612.04337

[4] Unseen Style Transfer based on a Conditional Fast Style Transfer Network, Keiji Yanai, ICLR 2017 workshop

[5] Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization, Huang et al., ICCV 2017

[6] Few-Shot Unsupervised Image-to-Image Translation, Liu et al., ICCV 2019

[7] SEAN: Image Synthesis with Semantic Region-Adaptive Normalization, Zhu et al, CVPR 2020

[8] https://mm.cs.uec.ac.jp/RamenAsYouLike/

[9] Stylized Neural Painting, Zou et al., CVPR 2021

[10] Awesome Typography: Statistics-Based Text Effects Transfer, Yang et al., CVPR 2017

[11] Controllable Artistic Text Style Transfer via Shape-Matching GAN, Yang et al., ICCV 2019

[12] Typography with Decor: Intelligent Text Style Transfer, Wang et al., CVPR 2019

[13] Editing Text in the Wild, Wu et al., ACMMM 2019

[14] STEFANN: Scene Text Editor using Font Adaptive Neural Network, Roy et al., CVPR 2020

[15] Sketch-Generation-with-Drawing-Process-Guided-by-Vector-Flow-and-Grayscale, Tong et al., AAAI 2021

]]>