AI Lab Media Fundamentalsチームの邱です。この記事では、画像の色変換における代表的な手法をご紹介します。

画像変換における課題は、私見でStyle Transfer、Colorization / Color Transfer、Image Recoloringという３つのテーマに分かれています。Style TransferあるいはColor Transferとは参照画像のスタイルや配色を他の画像へ転送する手法です。Recoloringとは画像の代表色をベースに画像の色を変換する手法です。今回は特に、カラーパレットベースの画像の色変換について詳しく解説します。

カラーパレットベースの画像色変換のアプローチは、「カラーパレット抽出」「画像を色レイヤーに分解」「色編集」の３段階で構成されることが多いです。カラーパレットはいわゆる色の組み合わせを指し、カラーシームとも呼ばれます。画像色変換の方法はカラーパレットの抽出方法により、主にクラスタリングによるアプローチ（Clustering methods）と幾何学的アプローチ（Geometric methods）があります。

Clustering methods

2015年にChangら[1]はLab色空間を用い、K-meansクラスタリングでカラーパレットを抽出して画像全体の色を編集する手法を提案しました。この研究は、カラーパレットベースの色編集手法が研究の根幹となっています。この手法は主に２つのステップになります。まず、画像からカラーパレットを抽出します。次に、カラーパレットを編集し、その変更を画像全体に伝播させます。画像内の明度の順序を保存するために、ユーザーがカラーパレットを変更後、画像の色がL*方向とa*b*平面それぞれ独立に編集されます。更に、インタラクティブに色を編集してリアルタイムに変換後の画像を確認できるデモシステムが公開されています。

https://recolor.cs.princeton.edu/demo/index.html　

その後、Changら[1]のアプローチの拡張として、画像を色レイヤーに分解することで色変換の効果を改善する方法が提案されました[2, 3, 4]。特に、Akimotoら[4]の研究では、深層学習を用いて１枚の画像を複数のRGBAレイヤーに分解し、画像品質を維持しつつ時間の短縮を実現しました。提案モデルでは、まず、K-meansクラスタリングでカラーパレットを抽出します。次に、U-Netに基づいてアルファレイヤーを予測します。最後に、分解されたレイヤーを使って再構成した画像と元画像の色残差を推定するネットワークを学習します。

Geometric methods

幾何学的アプローチでは、色空間での画像の色値を使い、凸包（Convex Hull）構造からカラーパレットを抽出します。このアプローチでは、各ピクセルの色は、パレットの色を線型結合として表すことができます。Tanら[5]の研究では、5D RGBXYの空間における色の幾何的形状に基づいて、RGB凸包を求め、その頂点（vertices）をパレットの色として抽出します。画像がカラーパレットに対応したレイヤー（additive mixing layers）に分解されます。ただし、5D凸包の構築には時間がかかり、1枚の画像の処理に数分かかることがあります。

凸包の頂点は画像に表われる色と乖離する場合があるため、Wangら[6]は凸包に基づくカラーパレットの抽出を最適化問題として下図のように改善しています。レイヤー分解の場合は、多面体（polyhedron）の中の色が多面体の頂点の線形補間として表すことができるので、平均値座標（mean value coordinates）を使用してアルファレイヤーを計算します。計算スピードが更に改善されます。

広告画像の色変換への応用

私が研究しているWeb広告のボタン要素を対象に、今回紹介したクラスタリング[1]と幾何学的アプローチ[5]による色変換を適用してみました。色編集UI及び色変換結果を下図に示します。幾何学的アプローチでは凸包構造の頂点が４以上だったことから、パレットの色数も４以上になります。クラスタリングアプローチではパレットの色数を２から選択します。経験的にボタン画像のようなシンプルな画像では、パレットの色数を４色以上に設定すると、色変換が直感的にうまくいきます。ボタン画像の文字色の白を抽出したい場合、幾何学的アプローチでは凸包の頂点から白を抽出できますが、クラスタリングアプローチではクラスターの平均値を代表色として抽出しているので、白を抽出できないことがあります。なお、幾何学的アプローチでは、凸包内にある重要な色を見逃す可能性があります。

おわりに

今回は画像の色変換におけるクラスタリングと幾何学的アプローチについて紹介しました。初心者でも直感的で使いやすい背景から、カラーパレットベース画像編集の研究が近年盛んです。画像の色変換技術から転じて、動画の色変換[7]にも広がっています。この技術はWeb広告デザインにとって重要なトピックなので、これからの動向も注目していきたいです。また、カラーパレットの編集は多くのデザイナーにとって難しいタスクです。AI Labでは、Web広告の配色に向けてカラーパレットの自動推薦をテーマに研究を進めています。

参考論文

[1] Palette-Based Photo Recoloring, Chang et al., SIGGRAPH 2015

[2] Palette-Based Image Recoloring Using Color Decomposition Optimization, Zhang et al., TIP 2017

[3] Decomposing images into layers with advanced color blending, Koyama et al., Pacific Graphics 2018

[4] Fast Soft Color Segmentation, Akimoto et al., CVPR 2020

[5] Efficient palette-based decomposition and recoloring of images via RGBXY-space geometry, Tan et al., SIGGRAPH 2018

[6] An Improved Geometric Approach for Palette-based Image Decomposition and Recoloring, Wang et al., Pacific Graphics 2019

[7] Video Recoloring via Spatial-Temporal Geometric Palettes, Du et al., SIGGRAPH Asia 2021