AI Lab NLPチームの三田です。我々のチームでは広告文の自動生成に関する研究開発に取り組んでいます。本記事では、ACL2024に採択された、広告文生成タスクの既定とベンチマーク構築に関する論文の概要について解説します。

Striking Gold in Advertising: Standardization and Exploration of Ad Text Generation [paper][data]
Masato Mita, Soichiro Murakami, Akihiko Kato, Peinan Zhang

はじめに

我々NLPチームでは、「広告テキストの自動生成」や「広告表現の理解」の基礎研究に取り組むとともに、人工知能（AI）で効果の出せる広告テキストを予測・自動生成する自社プロダクト「極予測TD」への技術・知見導入を通じた社会実装に取り組んでいます。広告テキストの自動生成（以下、広告文生成）に関する研究は、インターネット広告の著しい市場規模拡大に伴い、ますます活発化している一方で、分野全体として重大な課題に直面しています。それは、分野全体で享受できるベンチマークデータが欠如しているため、各研究者が自社（非公開）データを用いて個々の検証に留まっていることです。さらには、ベンチマークがないゆえに、モデルの入出力などが研究間で共有されていません。このような状況下では、当然研究を超えた手法間の精緻で公平な評価は難しく、また研究への参入障壁が高いことも相まって、分野全体として広告文生成のための技術や知見の正しい積み上げが困難といえます。そこで本研究では，広告文生成を応用横断的なタスクとして既定し、初のベンチマークデータセット「CAMERA」を構築することで分野全体が抱えるこれらの課題の解決を図りました。

広告文生成タスクの既定

広告文生成がタスクとして十分に既定されていなかった要因の一つとして、広告のバリエーションの多さがあると考えています。例えば、インターネット広告と一口に言っても、ユーザの検索クエリに関連した広告文を検索結果に表示する「検索連動型広告」や，Webサイトやアプリの広告枠にテキスト形式やバナー形式で表示される「ディスプレイ広告」など多種多様です。それゆえ、既存研究ではそれぞれの関心のある広告媒体、あるいは広告配信プラットフォーム（Google, Bingなど）に準拠した問題設定にて独立的に取り組んでいた、という経緯がありました。ここで、広告文生成とは結局のところ何か、といった広告文生成の本質的な課題について考えてみたいと思います。広告について辞書などを引いてみると、おおよそ広告の目的は、ある商材（取引の対象となる物品やサービス）があったとき、広告の受け手である消費者（ユーザ）の態度や行動に影響を与えること、のようなことが書いてあります。したがって、広告文生成の目的は、ユーザの購買行動を促す文を生成することになります。このように考えると、広告の媒体や形式は様々ありますが、広告文生成のコアな課題は、「ユーザの潜在的なニーズや関心を捉えたうえでいかにユーザの行動や態度に影響を与えるような訴求性のあるテキストを生成するか」であることがわかります。このような経緯から、本研究では、広告文生成タスクを下図にあるように、応用横断的なタスクとして規定することにしました。この標準化の利点は、産業応用においては広範囲な応用先を想定して柔軟性を維持しつつ、学術研究においては広告文生成のコアな課題に焦点を当てた探究が可能となることです。

CAMERA: 広告文生成ベンチマーク

本研究では、広告文生成のための初のベンチマーク「CAMERA（CyberAgent Multimodal Evaluation for Ad Text GeneRAtion）」を構築しました。本ベンチマークは、日本語の検索連動型広告に基づく包括的なデータセットとなっており、広告文生成タスクの特性を考慮して次の3つの特徴を有するよう設計しました:

1. マルチモーダル情報の活用が可能
2. 業種毎の評価が可能
3. マルチリファレンス評価が可能

特徴（1）については、検索連動型広告を含め多くの広告形態では商材の特徴や訴求ポイントをユーザにより直感的に伝えるために、テキストだけでなくLPなどの視覚情報を併せて用いており、これらのマルチモーダル情報を活用することがクリックを促す重要な役割を果たすと知られているからです。また、特徴（2）については、効果的な訴求戦略は商材や業種毎に異なることが知られているからです [1]。例えば、EC 系の広告では品揃えや値段に関する訴求が響きそうですが、車のような高い商品は品質などの項目も重要視されます。最後に、特徴（3）ですが、CAMERA構築に用いた元データにはすでに運用実績のある広告文（リファレンス）が１つ付与されていますが、同一商材に対する妥当な広告文は本質的に多岐にわたると考えられるため、本ベンチマークには、広告アノテーションの専門家により新たに追加で作成した3つのリファレンスと合わせて合計4つのリファレンスを含めています。

広告文生成の現状と今後の課題

広告文生成の現在の到達点と今後の課題を明らかにするために、古典的なモデルから、マルチモーダルモデルや大規模言語モデル（LLM）を含む、9つの多様な広告文生成モデルを用いた包括的なベンチマーク実験を行った結果、BARTやT5のようなfinetunedモデルは自動評価スコアの最大化や忠実性・流暢性の観点では重要な役割を担う一方で、広告誘引性（人間にとっていかに魅力的な広告を生成するか）の観点ではGPT-4を始めとした強力なLLMを用いた広告文生成モデルのポテンシャルの高さを観察しました。

おわりに

本研究では、広告文生成を学術研究としてより発展させることを目的にそのための研究基盤（タスクの既定、ベンチマーク構築、学術的意義の訴求、ベンチマーク実験など）を整備しました。弊社では、今回の研究に続き、広告文生成関連で多数の研究成果 [2-4]を発表しているほか、広告に限らず幅広い応用を見据えた基盤研究 [5-7] も行っています。毎年、博士課程の学生を対象にリサーチインターンシップを募集していますので、興味を持たれた方はぜひお声がけください。

参考文献

• [1]  Aspect-based Analysis of Advertising Appeals for Search Engine Advertising (Murakami et al., NAACL-HLT 2022 Industry Track)
• [2] An Empirical Study of Generating Texts for Search Engine Advertising (Kamigaito et al., NAACL-HLT 20221 Industry Track)
• [3] CAMERA³: An Evaluation Dataset for Controllable Ad Text Generation in Japanese (Inoue et al., LREC-COLING 2024)
• [4] FaithCAMERA: Construction of a Faithful Dataset for Ad Text Generation (Kato et al., arXiv 2024).
• [5] Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity (Hoshino et al., LREC-COLING 2024)
• [6] A Single Linear Layer Yields Task-Adapted Low-Rank Matrices (Kim et al., LREC-COLING 2024)
• [7] Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding (Honda et al., TACL 2024)