AI Lab Media Fundamentalsチームの邱です。我々のチームでは広告クリエイティブの制作支援に関する研究開発に取り組んでおり、その中でも自分は特にデザインの配色推薦技術の研究に取り組んでいます。この記事ではACMMM2023に採択された、テキスト内容に基づくクリエイティブデザインの配色推薦に関する論文について紹介します。

Multimodal Color Recommendation in Vector Graphic Documents
Qianru Qiu, Xueting Wang, Mayu Otani

はじめに

色は人々の印象に影響を与える重要なデザイン要素です。多くのデザイナーは、色の選択の際にカラーパレットを参考として利用します。広告クリエイティブには、 写真、イラスト、テキストなど多様なデザイン素材が使用され、それらへの適切な配色は難しいことがあります。色の選択には、デザイン中の既存の色情報だけではなく、テキスト情報も重要な要素となります。いくつかのデザイン例を図１に示しています。今回の研究は主にクリエイティブデザインに向けたマルチパレットの色推薦モデルを提案しました。

図１：テキスト内容と指定色に基づいて推薦された配色のデザイン例

配色推薦タスク

配色は色の組み合わせであり、カラーパレットやカラーシームとも呼ばれます。配色推薦タスクは、カラーパレット補完（Color palette completion）とフルパレット生成（Full palette generation）の二つのタスクに分けられます。カラーパレット補完は、広告クリエイティブのような様々なデザイン素材に対して、指定された色とテキストに基づいて他の色を推薦するものです。その例は図２に示しています。最近の研究は、色の調和性のみを考慮して色を推薦しており、テキスト情報の考慮はまだ十分ではありません（詳細は我々のWACV2023での採択論文[1]を参照）。フルパレット生成は、テキストに応じた完全なカラーパレットを生成するタスクです。その例は図３に示しています。従来の手法では、テキスト情報に基づいて画像用の単一パレットを生成していますが、学習データの量が小さいため、複雑なテキスト情報を表現する能力が制限されています。

図２：カラーパレット補完の例

図３：フルパレット生成の例

提案手法

本研究は、色とテキスト情報を組み込むためのMultimodal masked color modelを提案しました。この手法は図４と図５に示しています。このアプローチでは、まず既存のデザインから各要素のカラーパレットとテキスト情報を抽出します。ここでは、明度を用いて色を並び替えます。テキストに関しては言語と画像の基盤モデルCLIPに基づいて特徴量を抽出します。次に、色とテキストの埋め込みベクトルを抽出し、Attentionネットワークの入力としています。最後は、マスクされた色を予測するモデルをトレーニングします。

図４：色とテキストの特徴の抽出

図５：Multimodal masked color modelの概要

実験結果

カラーパレット補完の評価実験では、Crello-v2のデータセットを使いました。予測された色と参照色の一致度と正しく予測された色の分布に対して定量的な評価を実施しました。その結果、我々の方法は従来技術より高い精度を示すことがわかりました。また、テキスト情報を予測に取り入れたモデルは色のみを参照するモデルよりも優れており、明度に基づいて色を順序付けることで従来の面積を用いた順序付けよりも良い結果を示しました。図６では、元デザインと我々の提案手法、従来手法、ランダムに推薦された配色を使用したデザイン例を比較しています。デザイナーと一般被験者を含むユーザースタディにおいては、我々の方法による配色を用いたデザインがプロのデザイナーによるデザインと同程度に評価されました。

図６：カラーパレット補完の結果の比較。（a）は元デザイン。（b）は元デザインから抽出されたカラーパレット（✔️マークは変換したい色）。（c）は提案手法による配色を用いたデザイン。（d）は従来技術[1]による配色を用いたデザイン。（e）はランダムに配色されたデザイン。

キーワードからパレット全体を生成する実験では、Palette-And-Textデータセットを使いました。図６には、元のパレットと、我々の提案手法および従来手法TPN[2]で生成されたパレットが示されています。結果として、我々の手法で生成されたパレットは、色の多様性や元パレットとの類似性の点で優れていることが確認されました。

図７：テキスト内容に基づくパレット生成の結果の比較。上段は元パレット、中段は従来技術[2]で生成されたパレット、下段は我々の手法で生成されたパレット。

おわりに

本研究では、クリエイティブ制作のため、テキストと色を条件とした配色推薦モデルを提案しました。この提案手法は、カラーパレット補完とキーワードからのパレット生成という二つの色推薦タスクに適用可能です。このような研究に興味をお持ちの方は、ぜひ採用ページをご参照ください。

参考文献
[1] Qiu et al., “Color recommendation for vector graphic documents based on multi-palette representation”, In WACV, 2023.
[2] Bahng et al., “Coloring with words: Guiding image colorization through text-based palette generation”, In ECCV, 2018.