今回は言語処理学会第26回年次大会にてAILabの張(@so1owingpixy)とポスター発表を行いました。言語処理学会で初のオンライン開催とのことで色々緊張しましたが、周囲から好評をいただき無事終えることができました。

この記事では私がサイバーエージェントで取り組んでいる研究の紹介と、言語処理学会のオンライン開催を経て感じたことを書いていきます！

発表内容

発表した研究は「スタイル制御を考慮した多様な広告文生成」というタイトルです。広告制作の現場における自然言語処理の活用例としてコピーライターの支援が挙げられます。ここではより様々な表現をもった広告文の提案や、ライターの意図に沿った広告文の生成が重要となります。

今回の研究では、この “多様性” と “制御性” に注目し、品詞系列の制約による多様な文生成モデルであるPOS-VAEを提案しました。

POS-VAEでは品詞系列の生成と制約を学習することで、

• 単一の入力に対してより多様な表現の文を生成
• 品詞系列の指定による生成文の制御

を実現しています。

詳細については、ポスターの発表動画を作成しましたので、そちらをご覧いただけると幸いです！

• ポスターPDF
• 論文PDF

デモ画面

ポスター以外にデモ画面も実装しました。
実験で用いたVAEとPOS-VAE（提案手法）による生成を実際に比較することができます。

デモでは、シードとなる元文のコピーを入力すると、VAEによって多様なコピーを生成することができます。
例えば、「つけた瞬間にうるおいをぐんぐん引き込む、ブースター化粧水」というコピーを入力すると、以下のようにコピーが生成されます。

POS-VAEでは品詞を指定して生成することもできるので、是非試してみてください！

FAQ

発表では多数の質問やコメントをいただくことができ、非常に嬉しく思います。
以下発表中のFAQのピックアップです。

Q: なぜ一般的なseq2seqではなくVAEを用いたのか？
A: 一般的な最尤推定によるseq2seqでは1対1の関係を学習します。そのため1入力に対して多様な生成を行うのは困難です。これを解決するために確率分布を介して学習を行うVAEをベースとしました。

Q: 固有名詞を考慮するなど品詞の定義を変えるのはありか？
A: 非常にありだと思います。一方で品詞の粒度を細かくしすぎると制約が厳しくなってしまい、生成文の品質が低下する可能性もあります。データ量との塩梅も鑑みて、品詞の定義は今後検証していく予定です。

Q: 実応用で品詞を直接打つのは大変では？
A: 実応用では品詞のシードとなる文を別で入力し、その品詞を考慮した生成を行うような利用法や、効果の高い品詞系列を予めライターに提示しておくような使い方も想定しています。

Q: デモ画面は何で実装しましたか？ 
A: バックエンドはFlask、フロントエンドはJavaScriptとUIKitで実装し、Cloud Runにデプロイしました。Cloud RunはCPUで動いていますが、学習済みモデルを載せているため比較的高速に動作します。

オンライン発表について

今回は言語処理学会初のオンライン開催ということで、色々と不安でしたが、様々なコメントをいただき、無事終えることができました。私たちは3日目の発表だったので、1日目、2日目の様子を見ながら発表の形式を考えました。結果、以下の画像のように画面を二分割して発表を行いました。

発表画面（左側では解説動画を流しつつ、右側ではフィードバックのメモや各種リンクのQRコード等を載せています。）

以下、発表で気をつけた点について書いていきます。

聴講者がログを確認できるようにする

オフラインでのポスターでは対面方式で意見を交わしますが、オンラインではチャットベースのコミュニケーションが多くなります。しかし今回の配信システム（ZOOM）では途中から入ってきた人は、それ以前のチャットの内容が見えません。そこで、それまでの情報を共有しながら発表するために、ノートを画面内に置き、メモを追加していく形式をとりました。

発表の事前録画

発表する側として感じた、オンラインとオフラインの最大の違いは「相手の顔が見えない=反応がわからない」ということです。顔の見えない相手に対して、何度も繰り返し説明するのはモチベーションが上がりにくいものです。そこで発表の動画を事前に録っておき、発表中は動画を発表する形式をとりました。これは非常に効果的で、オフラインのポスター発表と比較しても労力がかなり削減できました。

また動画の再生中は以前のターンでいただいた質問やフィードバックをメモすることで、時間を効率的に使うことができました。案外暇で画面をじっと眺めている時間もありましたが…笑

オンライン形式のメリット・デメリット

今回のオンライン形式を経て感じたメリット・デメリットを箇条書きをしていきます。

メリット

• 発表が明瞭に聴講できる
  • オフラインでは発表者との距離が遠くスライドが確認できなかったり、周りの雑音の影響で発表者の声が聞き取れない場合がありますが、オンラインではこの問題はなくなり、とても快適に聴講できました。
  • また発表ではポスターであっても、10人-20人に対して同時に発表することができたのも大きなメリットであると思います。
• 発表の聴講, 移動コストがなくなる
  • 近年の言語処理学会は非常に盛況で、会場が混雑しやすい状況です。人気のセッションでは立ち見が発生したり、ポスターはまるでコミケ状態なので、身体的にも精神的にも消耗してしまいます。
  • オンラインでは部屋番号を切り替えるだけで移動でき、立ち見等も存在しないため、快適に聴講することができました。
• メモがとりやすい
  • ポスターは基本立ちなのでメモを取るのは中々難しいですが、オンラインではPCでメモをとりながら発表・聴講できますし、チャットにログが残るのも良いなと感じました。

デメリット

• 反応が見えない
  • オンラインでは頷きや表情などの相手の反応が見えないため、説明の焦点を合わせにくい場面があったり、なんとなく発表中に孤独感を感じました。
  • 同様の理由で質問や議論がオフラインと比べ、やり辛いと感じました。

おわりに

本記事では言語処理学会第26回年次大会にて発表した研究紹介と、オンライン開催の感想を書かせていただきました。
サイバーエージェント AI事業本部では自然言語処理を応用し、インターネット広告をはじめとしたドメインで研究開発に取り組んでいます。

︎ AI tech studioにおける自然言語処理の活用

今回私たちはコピーライター支援を想定した、広告文の多様性と制御性に着目した文生成手法の提案を行いました。今後はスタイルの定義や制約の強さを検証しながら、生成文の自然性、妥当性の向上を目指していきます。

最後までお読みいただきありがとうございました。

NLP2020の開催がいよいよ来週に迫ってきました！
現地開催は残念ながら中止となってしまいましたが、オンラインで引き続き発表の機会が
確保されてとてもうれしく思っています。運営の皆さま、ありがとうございます！

AI tech studioでは、広告クリエイティブやチャットボットをはじめとした
プロダクト開発における自然言語処理の応用に力を入れています。
昨年のYANS2019に引き続き、NLP2020でも各プロダクトでビジネス課題の解決に
挑戦してきた成果を発表します。
昨年までの現地開催と同じように、オンラインでもたくさんの方とディスカッションできると嬉しいです！

さて、今回は2件のポスター発表と、東京工業大学 岡崎研究室との共同研究について口頭発表が予定されています。

3/18に口頭発表を予定している岡崎研究室との共同研究では、
「広告キャッチコピーの特徴分析と自動生成」をテーマとして、これまでに当社で作成した
キャッチコピーを中心とする大量のクリエイティブデータから
広告効果の高い表現を提案することや、広告キャッチコピー自動生成モデルの構築を目指しています。

▼AI Lab、広告キャッチコピーの特徴分析と自動生成に向けた研究強化へ　東京工業大学情報理工学院教授 岡崎 直観氏と共同研究を開始
https://www.cyberagent.co.jp/news/detail/id=22930

キャッチコピーには、商品や作品を端的に表現するために様々な修辞技法が用いられます。
本研究では、キャッチコピーで用いられる修辞技法の中でも比較的多く用いられている「対句」に着目し、
解析手法の提案を行いました。
今回は、これまで行ってきたキャッチコピーの分析やコーパス構築をもとにした
対句データセットの作成と、対句構造の特徴量を組み込んだ解析手法について東工大の丹羽さんが口頭発表しますので、
ぜひ聴講参加してください！

■ポスター発表
ポスターセッションは、1件ごとにオンライン会議室が割り当てられており、
発表時間の90分間は入退室自由となっています。
当日はたくさんの方とディスカッションできればと思いますので、
発表者の皆さんに、発表ポイントと当日ディスカッションしたいことを聞いてきました。
チャットや音声でぜひ話しかけてください！

————————
「チャットボット運用における新規問い合わせ候補の抽出」
AI Shift 戸田・友松・ 杉山

■発表概要
データサイエンティストの戸田・友松・杉山が、チャットボットの利用ログから
新しい回答候補を自動で生成する取り組みについて発表します。
チャットボットが回答できなかった質問を抽出し、新たな回答候補を作成する工程は
現状手作業で行われており、人の経験やテクニックに依存しています。
この工程の自動化に向けて、クラスタリングされた問合せから代表文を抽出するという手法を用い、
実サービスでの活用に向けて現在プロトタイプを作成しています。

■当日ディスカッションしたいこと
当日は、自然言語処理の実サービス応用に興味がある方とぜひお話したいです！
高精度なモデルは世の中にどんどん出ていますが、学習データ量の制限・実行速度という点で
うまく使えるのかは実運用の視点から見ていく必要があります。
最先端ではない手法でもサービスの改善に大きく貢献するという実運用ならではの面白さを伝えたいし、
逆に、最新技術をどのようにサービスに適用していくかもディスカッションできるとうれしいです。
学生のみなさんには、自然言語処理の研究がどのように実社会の課題解決に役立っているかを
お伝えできればと思っています。

「スタイル制御を考慮した多様な広告文生成」
明治大学/AILab 川本(内定者)・ AI Lab 張培楠

■発表概要
インターネット広告において、個人に合わせたメッセージングの必要性が高まるとともに、
ユーザに同じ内容の広告を何度も提示すると反応が悪くなる、「広告の疲弊」と呼ばれる課題があります。
この課題を解決するために、20年新卒内定者の川本とリサーチサイエンティストの張が
品詞情報を用いた制御可能で多様性に富んだ文を生成するモデルと、このモデルに対応した評価尺度を提案します。

■当日ディスカッションしたいこと
今回のポイントは、一つの入力文から品詞情報を制約として与えた多数の広告文を出力することです。
多様性に注目した言語生成の研究は国内ではまだ事例が少なく、モデルアーキテクチャの設計や
自然言語生成における多様性の自動・人手評価の方法などについて議論できればと思っています。
————————

実プロダクトでの応用から共同研究まで、AI tech studioのNLPチームの
最新の成果をお伝えする発表が揃っています！
たくさんの方に参加いただいて活発な議論が起こったり、
オンラインならではのコミュニケーションも生まれたりするのではないかとわくわくしています。
当日のご参加、お待ちしております！

今週、6/18（月）からソルトレークシティで行われている「CVPR2018」※1にて開催されている、ビジュアル広告を理解するためのワークショップ「ADS」のコンペティションにAI Labのクリエイティブリサーチのメンバーで挑戦していたのですが、なんと…1位で技術コンペ通過となりました！
6/22（金）にソルトレークシティ現地にてコンペの技術詳細について発表もおこないます。
　※1コンピュータビジョンやパターン認識の分野における国際会議

『AI Lab』のクリエイティブリサーチチームでは、
「広告クリエイティブの自動制作支援と自動生成」について研究開発を進めており、大学や研究機関との産学連携も進めながらアカデミックで進めている研究技術を、広告の配信技術やクリエイティブ生成技術に活かすべく日々研究開発を行っています。

関連リリース
「AI Lab」、バージニア大学の研究者らとの共著論文が、コンピュータビジョン分野の国際会議「CVPR」にて採択
【AI Lab】国際会議のCVPR@USに続き、CHI@Canadaのワークショップも2本採択！ 採択論文概要とAI Labの研究オフィス紹介

このような活動の中、今回の「CVPR2018」ではAI Labから４つの発表を予定しています。

たくさんの発表が行われるCVPR2018、今回１位通過したコンペティションについて詳しく研究員に聞いてみました。

ビジュアル広告の理解のためのワークショップ「ADS」
コンペティション１位通過！ＵＳ現地で発表へ

－－コンペ１位通過おめでとうございます！
まずはどういう形でコンペが行われるのか？など詳しく教えてください

CVPRでは本会議以外にもコンピュータビジョンの多数の詳細研究領域についてのワークショップが開催されます。今回はADにもAI Lab大谷が言語と画像理解のためのLanguage and Visionワークショップにてポスター発表を予定しております。今回1位で通過したのはビジュアル広告の理解のためのワークショップ「ADS」の中で行われた画像認識を競うコンペ。与えられた広告画像のデータセットに対する認識性能を競います。競技は3−4月の準備期間を経て、5−6月の競技期間中に正解が不明なテストデータに対する性能を主催者側が判定するという形で行われます。(山口)

－－今回の課題は具体的にどのような内容ですか？

今回の課題は、あるバナー画像について与えられた15個のテキストから正しい記述を1つ選び出すというタスクの性能を競います。15個中正解となりうるものが3つ含まれているのでこの3つのどれかを当てれば正解となります。バナー画像を対象としているため、例えばチラシのように商品と価格が並んだものから禁煙や自然保護を訴える印象的な広告まで、幅広い対象を認識する必要がある点が難しい設問になっています。我々は多くの広告画像に含まれるテキスト領域に着目し、深層学習を用いた画像認識モデルに文字認識モデル（OCR）を組み合わせた手法で1位を獲得することができました。(山口)

－－たとえば、今回の手法/提案を活かすと広告ではどんなことが期待できるのでしょう？

広告画像が何を表現しているのかを直接理解するための技術は、様々な応用が期待できます。例えば広告クリエイティブの制作者は制作現場でリアルタイムに広告の受け手の印象や理解内容のフィードバックを受けることができるようになります。意図しない表現があればすぐに修正を加えることができますし、どんな箇所に視線が集まりそうかといった情報を推定することも可能になります。また、自動で広告を生成した場合の表現の品質評価に使うことで、制作自動化技術・制作支援技術の改善に繋がることが期待できます。(山口)

AI Labのクリエイティブリサーチチームで研究をすすめている、『広告クリエイティブ自動製作支援と自動生成』の研究テーマにどんぴしゃのコンペティションで１位という結果、とてもうれしいです！

■同ワークショップでのポスター発表について

－－同ワークショップでポスター発表を行う大田さんです
今回の発表をもとに、今後の意気込みやカンファレンスから持ち帰りたいことなどあれば教えてください。

▼画像を感情に沿うようにレタッチした一例

たしかにレタッチが違うだけで画像から受け取る印象がとても違います・・・
様々な切り口から画像に関する研究を行っている『AI Lab』クリエイティブリサーチチーム。
今まさに現地でインプット&アウトプットに取り組んでいます！

アドテクスタジオ、AI Labでは多くの国際カンファレンスや学会に参加していますが、インプットだけではなくアウトプットの場としてもどんどん挑戦しています。

CVPRに関する詳細のレポートは、参加後にAI Labのリサーチブログにおいて参加レポートを予定しております。
ぜひご覧ください。