NLP | AI tech studio https://cyberagent.ai AI事業本部は、サイバーエージェントグループのデジタルマーケティング分野におけるサービス開発を行う組織です。 Sun, 29 Mar 2020 23:54:26 +0000 ja hourly 1 https://wordpress.org/?v=5.3.26 NLP2020 発表&参加報告まとめ https://cyberagent.ai/blog/pr/12546/ Sun, 29 Mar 2020 23:48:27 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=12546 こんにちは!AI事業本部 人事の鈴木です。
3/17-19に開催された言語処理学会第26回年次大会 (NLP2020)に、
AI tech studio所属の9人が参加・発表しました。

期間中は、聴講した発表についてSlackでわいわい議論していたり、
快適に参加するためのtipsを共有したり、最終日の発表に向けて工夫を凝らしたりと、
メンバーそれぞれにオンライン開催のメリットをうまく活用してとても楽しんでいました!

オンライン開催が決まってからの短い期間で素晴らしい年次大会を開催いただいた
運営の皆さまに感謝申し上げます。

今回も、参加メンバーが参加&発表報告をアップしています。
こちらのリンクからぜひご覧ください。

参加報告

言語処理学会第26回年次大会(NLP2020)へのオンライン参加
AI Shift 杉山@GIANT__TCR が、オンライン参加してみての気づきを初日の夜にまとめました。(速い!)

NLP2020参加報告(勝手にクロージング編)
AIクリエイティブDivisionの澤井が「勝手にクロージング編」と題して、
言語資源や自然言語生成を中心に印象に残った発表を紹介しています。
オンライン懇親会の様子も少しだけ公開。

言語処理学会第26回年次大会(NLP2020) 参加報告
AI Shiftの友松 @tomomatsu_yutaによる、NLP2020 の大会概要を含めた参加報告です。
過去最大規模の参加者がオンラインで参加した3日間の雰囲気が伝わってきます。

発表報告

言語処理学会第26回年次大会(NLP2020) 発表報告
「チャットボット運用における新規問い合わせ候補の抽出」について、AI Shiftの戸田 @Trtd6Trtdによる発表報告です。
発表中にいただいた質問とその回答もまとめています。

「スタイル制御を考慮した多様な広告文生成」発表報告@オンライン言語処理学会
20新卒内定者の川本 @shunyo_kによる発表報告です。
当日の発表内容と質疑に加えて、オンラインのメリットを最大限に生かした発表の工夫をまとめています。
広告文生成のデモ画面もこちらの記事で公開していますので、ぜひ試してみてください!

また、今回の年次大会に合わせてAI tech studioにおける自然言語処理の取り組みについて、
全体像をまとめたスライドを公開しています。
こちらも合わせてご覧ください!

今後もNLPチームの様々な取り組みをブログやtwitterで発信していきます
お楽しみに!
———————————————–
AI tech studioでは、オフィス見学やカジュアル面談を随時受け付けています。
興味をお持ちの方は、こちらのフォームからご連絡お待ちしております!

]]>
【NLP2020】ビジネス課題×NLPについてディスカッションしませんか? https://cyberagent.ai/blog/pr/12328/ Fri, 13 Mar 2020 08:55:13 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=12328 こんにちは!
AI事業本部 人事の鈴木です。

NLP2020の開催がいよいよ来週に迫ってきました!
現地開催は残念ながら中止となってしまいましたが、オンラインで引き続き発表の機会が
確保されてとてもうれしく思っています。運営の皆さま、ありがとうございます!

AI tech studioでは、広告クリエイティブやチャットボットをはじめとした
プロダクト開発における自然言語処理の応用に力を入れています。
昨年のYANS2019に引き続き、NLP2020でも各プロダクトでビジネス課題の解決に
挑戦してきた成果を発表します。
昨年までの現地開催と同じように、オンラインでもたくさんの方とディスカッションできると嬉しいです!

さて、今回は2件のポスター発表と、東京工業大学 岡崎研究室との共同研究について口頭発表が予定されています。

■発表予定一覧■ ※オンライン発表のURLは事前参加登録者のみ公開されています
<3/18(水):口頭発表>
9:00-10:20
D3-4「キャッチコピーにおける対句構造の解析」
○丹羽彩奈 (東工大), 脇本宏平, 西口佳佑, 毛利真崇 (サイバーエージェント), 岡崎直観 (東工大)
※東京工業大学 岡崎研究室とサイバーエージェントとの共同研究

<3/19(木):ポスター発表>
13:05-14:35
P6-14「スタイル制御を考慮した多様な広告文生成」
○川本峻頌 (明大), 張培楠 (サイバーエージェント)

P6-27「チャットボット運用における新規問い合わせ候補の抽出」
○戸田隆道, 友松祐太, 杉山雅和 (AI Shift)

3/18に口頭発表を予定している岡崎研究室との共同研究では、
「広告キャッチコピーの特徴分析と自動生成」をテーマとして、これまでに当社で作成した
キャッチコピーを中心とする大量のクリエイティブデータから
広告効果の高い表現を提案することや、広告キャッチコピー自動生成モデルの構築を目指しています。

▼AI Lab、広告キャッチコピーの特徴分析と自動生成に向けた研究強化へ 東京工業大学情報理工学院教授 岡崎 直観氏と共同研究を開始
https://www.cyberagent.co.jp/news/detail/id=22930

キャッチコピーには、商品や作品を端的に表現するために様々な修辞技法が用いられます。
本研究では、キャッチコピーで用いられる修辞技法の中でも比較的多く用いられている「対句」に着目し、
解析手法の提案を行いました。
今回は、これまで行ってきたキャッチコピーの分析やコーパス構築をもとにした
対句データセットの作成と、対句構造の特徴量を組み込んだ解析手法について東工大の丹羽さんが口頭発表しますので、
ぜひ聴講参加してください!

■ポスター発表
ポスターセッションは、1件ごとにオンライン会議室が割り当てられており、
発表時間の90分間は入退室自由となっています。
当日はたくさんの方とディスカッションできればと思いますので、
発表者の皆さんに、発表ポイントと当日ディスカッションしたいことを聞いてきました。
チャットや音声でぜひ話しかけてください!

————————
「チャットボット運用における新規問い合わせ候補の抽出」
AI Shift 戸田・友松・ 杉山

■発表概要
データサイエンティストの戸田・友松・杉山が、チャットボットの利用ログから
新しい回答候補を自動で生成する取り組みについて発表します。
チャットボットが回答できなかった質問を抽出し、新たな回答候補を作成する工程は
現状手作業で行われており、人の経験やテクニックに依存しています。
この工程の自動化に向けて、クラスタリングされた問合せから代表文を抽出するという手法を用い、
実サービスでの活用に向けて現在プロトタイプを作成しています。

■当日ディスカッションしたいこと
当日は、自然言語処理の実サービス応用に興味がある方とぜひお話したいです!
高精度なモデルは世の中にどんどん出ていますが、学習データ量の制限・実行速度という点で
うまく使えるのかは実運用の視点から見ていく必要があります。
最先端ではない手法でもサービスの改善に大きく貢献するという実運用ならではの面白さを伝えたいし、
逆に、最新技術をどのようにサービスに適用していくかもディスカッションできるとうれしいです。
学生のみなさんには、自然言語処理の研究がどのように実社会の課題解決に役立っているかを
お伝えできればと思っています。

「スタイル制御を考慮した多様な広告文生成」
明治大学/AILab 川本(内定者)・ AI Lab 張培楠

■発表概要
インターネット広告において、個人に合わせたメッセージングの必要性が高まるとともに、
ユーザに同じ内容の広告を何度も提示すると反応が悪くなる、「広告の疲弊」と呼ばれる課題があります。
この課題を解決するために、20年新卒内定者の川本とリサーチサイエンティストの張が
品詞情報を用いた制御可能で多様性に富んだ文を生成するモデルと、このモデルに対応した評価尺度を提案します。

■当日ディスカッションしたいこと
今回のポイントは、一つの入力文から品詞情報を制約として与えた多数の広告文を出力することです。
多様性に注目した言語生成の研究は国内ではまだ事例が少なく、モデルアーキテクチャの設計や
自然言語生成における多様性の自動・人手評価の方法などについて議論できればと思っています。
————————

実プロダクトでの応用から共同研究まで、AI tech studioのNLPチームの
最新の成果をお伝えする発表が揃っています!
たくさんの方に参加いただいて活発な議論が起こったり、
オンラインならではのコミュニケーションも生まれたりするのではないかとわくわくしています。
当日のご参加、お待ちしております!

]]>
YANS2019 発表&参加報告まとめ https://cyberagent.ai/blog/pr/5834/ Wed, 04 Sep 2019 11:29:12 +0000 https://cyberagent.ai/?p=5834 こんにちは!AI事業本部 人事の鈴木です。
8/26-28に札幌で開催されたNLP若手の会(YANS)第14回シンポジウム(2019)に、
AI tech studio所属の9人が参加・発表してきました。

Research Blogにて発表&参加報告をアップしています。
こちらのリンクからぜひご覧ください。

YANS 2019 参加報告① 〜チャットボットの運用における自然言語処理の活用〜
MLエンジニアの戸田(@Trtd6Trtd)、杉山(@GIANT__TCR)、友松(@tomomatsu_yuta)による
自然言語処理技術での日々の運用支援や、設計者の効率を上げるためのチャレンジは必見です。

YANS 2019 参加報告② 〜デジタル広告における商品特徴を考慮した広告文の自動生成〜
19年新卒 脇本(@KoheiWakimoto)&20年内定者 川本(@shunyo_k)のルーキーコンビによる
テキスト生成の取り組みをぜひご覧ください。

YANS 2019 所感: これからの言語処理コミュニティのために
YANSを通じて感じたNLPのこれまでとこれから、若手研究者コミュニティを応援していく理由など、
自然言語処理&バックエンドエンジニアの澤井(github: @tuxedocat)の熱い思いがこもった記事です。

また、昨年に引き続きプラチナスポンサーとして発表とブース出展を行いました。
スポンサー発表でもたくさんの方と議論させていただきました。ありがとうございます!


今後もNLPチームの様々な取り組みをブログやtwitterで発信していきます!
お楽しみに 💡
———————————————–
AI tech studioでは、オフィス見学やカジュアル面談を随時受け付けています。
興味をお持ちの方は、こちらのフォームからご連絡お待ちしております!

]]>
YANS 2019 所感: これからの言語処理コミュニティのために https://cyberagent.ai/blog/research/10263/ Wed, 04 Sep 2019 03:00:27 +0000 https://cyberagent.ai/research/?p=2667 自然言語処理&バックエンドエンジニアをしている澤井 (github: @tuxedocat) です。普段は、広告表示におけるブランド毀損リスク低減のためのサービス “Adveri.jp” を開発しています。また趣味として、自然言語処理エンジニア有志での論文読み会や雑談会もやっています。

本稿では、NLP若手の会 (YANS) 第14回シンポジウム (2019)の参加報告として、招待講演や個人的に注目した萌芽的研究の概観を中心に、自然言語処理の過去と現在、そしてこれからについての所感を書きます。また、企業に属する研究者・エンジニアとしてYANSを応援したい理由を、僭越ながら贈呈させていただいたスポンサー賞の詳細と併せてお伝えできればと思います。

内容は以下のような感じです:

  • YANS2019の招待講演や発表内容からみる、自然言語処理のこれまでとこれから
  • 個人的に興味を惹かれた萌芽的研究
  • 企業のNLP研究者・エンジニアとして若手研究者コミュニティを応援する理由と、スポンサー賞

というわけで、本記事は多分にエモさが溢れています。あと、脚注がやたらと多いです。

なお、具体的な研究内容は過去の発表資料やこれからの対外活動をご参照ください。特に期間中の弊社の研究発表の様子は、個別記事①と個別記事② をお読みいただければと思います。

はじめに: NLPerといちばん深く話せる3日間

僕にとっては、合宿形式になって以来では、今回がはじめてのYANS参加となりました1。
実は僕自身は2013年に NAISTの自然言語処理学研究室 で修士課程を修了しているので、参加にあたって「若手とは……」という迷いも若干あったのですが、そんな迷いはすぐに払拭されるような、いつもどおりの暖かく議論が活発なNLPコミュニティを感じる2泊3日の集まりでした。

あと、僕は暑さに極端に弱いため、夏の終わりの札幌は涼しくて最高に過ごしやすかったです。おかげで(?)渋谷に帰ってからの出社が憂鬱で仕方ありません。ご飯も美味しかったし、また行きたいな……。

YANS2019参加人数

参加人数は過去最多。NLP界隈の盛り上がりを示しているようです。


北の大地で「いまとこれからの言語処理」について考えてみる

ここのタイトルは、NAIST時代の恩師である松本先生の招待講演『いまとこれからの言語処理を考える』をリスペクトしています。

松本先生の講演は、自然言語処理研究の黎明期から現在に至るまでをご自身の経歴とともに概観し、今後の自然言語処理分野に残された研究課題を論じるという内容です2。
なお、講演スライドは YANS2019公式サイト で公開が予定されていますので、正確な内容はそちらをご参照ください。

さて、自然言語処理は、計算機で人間のことば(自然言語)を扱い、なんらかの知的な作業を実現するということに重きを置いた分野だといえます3。
実際の言語現象を扱えるように、また、そのような基礎に乗っかって機械翻訳や対話生成のようなタスクを実現するために、文法規則やオントロジーの利用、統計的機械学習(最近では特に深層学習)による手法など、様々なパラダイムを経て研究が積み重ねられてきました。

昨今の何度目かの人工知能ブームの中でも、基盤技術のひとつとして捉えられることが多い自然言語処理ですが、こうした変遷を経て、何ができるようになって、一方で何がリサーチクエスチョンとして残っているのでしょうか。

まず、特に最近発展が目覚ましいトピックについて。

ひとつは単語単位の意味の取り扱いが進んだことです。Word2Vec4やGloVe5 をはじめとする手法により、大規模コーパスから分散表現 (Word Embedding) が得られるようになり、本来離散的な単語を連続的なベクトル空間で容易に扱えるようになりました6。膨大な語彙を数百次元のベクトルとして扱えるようになるという利便性や、意味的に近い単語の関係性の取得といった実タスクに役立つ性質だけでなく、そもそもなぜそのような類似性を扱えるのかの理由付け自体の研究も発展しています。

また、言語を系列としてうまく扱うという点では、RNN (Recurrent Neural Networks) の範疇にある各種のモデルや、長距離の関係を明示的に扱える注意機構 (Attention) の貢献が挙げられると思います。ELMo7 やBERT8 のように、こうしたメカニズムを発展させた手法は、先に挙げた単語単位の意味表現において文脈を考慮できるようにしただけでなく、文書分類や質問応答などの複数のタスクで利用できるモデルを獲得することができる点で、特筆すべきものだといえそうです。

このような進歩によって、これまでのようなパイプライン(=形態素解析・構文解析・応用解析など)を必要としないEnd-to-Endな手法が提案され、機械翻訳や質問応答など、高度なタスクの現実性はかなり高いところまで到達しました。

松本先生の講演より

松本先生の講演より。自然言語処理に残された課題としてはやはり言語自体の構造をどうモデルに組み込むか、ということなのかも。

実用が見えてきたタスクが数多くある一方、残された課題もあります。
たとえば、End-to-Endな手法では難しい、中間的な構造や知識(形態論的なものや句構造など)が必要な場合です:

  • 出力結果の理由や根拠の説明、解釈の支援が必要なタスク
    • たとえば言語学習者への教育支援。文法や表現の誤りを訂正するときに、「なぜここが誤りか」、「こう直すとなぜ良いのか」という出力がある方が良い。
  • よくある言語現象の取り扱いには、言語の構造に対する知識が必要?
    • 単語により構文が影響されるケース
    • 並列構造や複文、埋め込み文などの統語的な複雑性が高いケース9

このように、まだ綺麗に解けていない問題に取り組むには、様々なレベルの構造を知識としてモデルに組み込むことが必要となりそうです。

僕の場合は、自然言語処理の応用面に関わっているという立場上、ドメイン知識や言語学的な知識を使って済む場合はそうしたいと思っています。それでも、BERTのようなEnd-to-Endなモデルを使う際には、「いやぁ便利になったなぁ……」という心の声が出てしまいます。この講演後、必要な場合には言語自体への知見に基づいて、「割に合う」手法を考案できるようにしたいという初心を思い出しました。


YANSだからこそわかる、これからのNLP

YANSは発足当初から、萌芽的な研究やアイデアレベルの内容について、その場で議論し合える場を重視しているイベントです。

これから始まる,または始まったばかりの研究の発表を歓迎します.本シンポジウムでの活発な議論を通じて,研究の進展を促進することを目指します. — YANSの発表募集要項

今回僕は特に萌芽的な研究を聴きたいと思い、以下のような発表を中心に回っていました。

  • タスクとして新しいもの
  • 以前からある言語現象をモダンな手法で扱えるように工夫したもの
  • 自分が以前テーマとしていた言語学習者支援の研究

以下ではそれらのうち一部を紹介します。ただしYANSの意義はライブ感のある議論だと思うので、ここではごく簡単なコメントをするだけにとどめておきます。

なお、ポスターは YANS2019プログラム で一般公開が始まっています。


YANS2019スポンサー賞(あるいはスポンサーとなる意義)

今回、弊社はプラチナスポンサーとしてYANS2019を微力ながら支援させていただきました。
企業としての意義は色々あるらしいのですが、いちNLPエンジニアの気持ちとしては、研究コミュニティに少しでも恩返しがしたいというのが一番の理由です。

もう少し詳しくいえば、2つの観点があります。

まず一つ目は、直接得ている便益に対する感謝です。こちらは自然言語処理を実用して利益を得ている立場にいます。OSSの開発やそれを利用するという文脈とほぼ同じです。

特にYANSは、新しいアイデアの議論が中心となっているため、NLPの実用面での課題を研究コミュニティに意思表示できる場であり、同時に、貴重なフィードバックをいただくことにもなります。また、個人としても研究コミュニティに助けられた経験もあります10。たとえば、実際にプロダクトに利用している手法も、YANS2018における国際会議参加報告で知ることができたという、コミュニティに大きく助けられた例もあります11。

もう一方の意義としては、自身が育てられた自然言語処理研究コミュニティとその自由闊達な環境を繋いでいきたいというものです。YANSポスター発表が中心なので議論がしやすいですし、合宿形式なので、「言語処理界のあの人!」みたいな人とも急に雑談が始まったりします。進路についての悩みも、ここなら相談しやすいですし。

深い議論を気軽にできる研究コミュニティが維持できるように、また、自分が属するところにも作りたい。社内外関わらず、僕の周りの企業NLP研究者・エンジニアもこうした動機でやっているような気がします。

サイバー賞

こうした観点も踏まえて、今回は「サイバー賞」を、阪大の芦原さんの研究に差し上げることになりました🎉

芦原和樹(阪大), 梶原智之, 荒瀬由紀, 内田諭(九大), 文脈ベクトルと細分化した単語ベクトルを用いた語彙的換言

シンプルなモデルで修飾関係を含められる分散表現という実用上の興味や、より広範囲の構文構造を扱えるという発展性から、選定させていただきました!

授賞式の一コマ

おめでとうございます!ちなみに中身は各種グッズと睡眠改善ガジェット、そしてオフィスに遊びに来て美味しいランチを食べられる券です。


おわりに

長々とエモい話を書かせてもらいましたが、一言で言えば「みんなYANSに行ってみよう」ということです!
最後になってしまいましたが、参加者のみなさま、YANS運営のみなさまには深くお礼申し上げます。

おまけ:ラーメンのお洒落写真です🍜


  1. 正確には、以前NAISTで行われたYANSシンポジウム以来ですね、というと、時の流れをひしひしと感じてしまいます。 ↩
  2. 僕自身は、すでに大規模コーパスが揃いはじめ、各種の機械学習手法が主流になって以降の自然言語処理しか経験していません。ですが、NAIST時代に雑談で先生が話していたような、論理ベース、知識・オントロジーベースの手法が活発だった時代の話、そして(これはやけに記憶に残っていますが)国プロからNAISTに移るまでの話と当時の研究環境など、少し懐かしい気持ちになる講演でした。 ↩
  3. 隣接、あるいは重複する研究領域として計算言語学 (Computational Linguistics) がありますが、自然言語処理の方はそれと比べると実応用やエンジニアリング的側面にも興味を持っているコミュニティである気がします。 ↩
  4. Mikolov, Tomas, Kai Chen, Greg Corrado, and Jeffrey Dean. “Efficient Estimation of Word Representations in Vector Space.” ArXiv:1301.3781 [Cs], January 16, 2013. http://arxiv.org/abs/1301.3781. ほか。 ↩
  5. Pennington, Jeffrey, Richard Socher, and Christopher D Manning. “GloVe: Global Vectors for Word Representation.” Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 2014, 1532–43. https://doi.org/10.3115/v1/D14-1162. ↩
  6. ただし、単語や依存構造などを連続的なベクトル空間で表すこと自体は、古くからあるものです。 ↩
  7. Peters, Matthew, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. “Deep Contextualized Word Representations.” In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), 2227–2237. New Orleans, Louisiana: Association for Computational Linguistics, 2018. https://doi.org/10.18653/v1/N18-1202. ↩
  8. Devlin, Jacob, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. “BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding.” ArXiv Preprint, October 11, 2018. https://doi.org/arXiv:1811.03600v2. ↩
  9. 例えば、並列構造(並列句)の場合は、並列句それ自体が文中に複数存在したり入れ子の構造になることもあり、難しい問題の一つです。最近の研究としては、寺西裕紀, 進藤裕之, 松本裕治. “ニューラルネットワークに基づく並列句表現の学習と構造解析.” 研究報告自然言語処理(NL)2017-NL-232, no. 5 (July 12, 2017): 1–7. など。 ↩
  10. たとえば、国内学会・研究会で受けたコメントや議論からアイデアが深化して、トップカンファレンス論文までうまく持っていけた、というようなこと。このあたりのメリットは鈴木先生の招待講演が面白かったです。僕も今のジョブを得たのは、ACLに一本通していたというのをLinkedInに書いておいたら、弊社の人事がそれを見てコンタクトを取ってくれたということがあったからです。 ↩
  11. 学習済みの分散表現を基底ベクトルの組み合わせで表現することで、大幅にサイズを削減する手法。言語モデルの再学習が必要ない点や、NLPコンテナの起動時間やリクエストのペイロードサイズの削減ができた。 Shu, Raphael, and Hideki Nakayama. “Compressing Word Embeddings via Deep Compositional Code Learning.” In Proceedings of the International Conference on Learning Representations (ICLR), 1–13, 2018. http://arxiv.org/abs/1711.01068. ↩
]]>
YANS 2019 参加報告② 〜デジタル広告における商品特徴を考慮した広告文の自動生成〜 https://cyberagent.ai/blog/research/10264/ Tue, 03 Sep 2019 05:36:01 +0000 https://cyberagent.ai/research/?p=2729 AI tech studio AIクリエイティブDivisionの脇本、AI Lab内定者バイトの川本です。
この度、8/26-28に札幌で開催されたNLP若手の会(YANS)第14回シンポジウム(2019)に、我々を含めAI tech studio所属の9人が参加・発表してきました。本記事ではその報告を簡単にさせていただきます。

YANSについて

YANSはNLP分野の若手研究者、技術者の成長や交流の促進を目的として、年に一度開催される研究シンポジウムです。今年は二泊三日の合宿形式で開催され、参加人数は昨年の150名を大きく上回る202名(過去最多)となりました。
今回弊社からはスポンサー発表、共同研究を含む4件の発表を行いました。

  • スポンサー・ポスター発表S03:サイバーエージェントにおける自然言語処理の取り組み
    • ○張培楠(株式会社サイバーエージェント)
  • [学生]ポスター発表 P63:修辞技法を考慮したキャッチコピー自動生成に向けた研究
    • ○丹羽彩奈, 岡崎直観(東工大), 西口佳佑, 亀山千尋, 毛利真崇(サイバーエージェント)
  • ポスター発表 P83:デジタル広告における商品特徴を考慮した広告文の自動生成
    • ○脇本宏平(サイバーエージェント), ○川本峻頌(明大), 張培楠(サイバーエージェント)
  • ポスター発表 P84:チャットボットの運用における自然言語処理の活用
    • ○戸田隆道, 杉山雅和, 友松祐太(サイバーエージェント)

本ブログでは我々コピー生成チームが発表した、P83「デジタル広告における商品特徴を考慮した広告文の自動生成」について報告します。 ブースターセッション, ポスター
P84「チャットボットの運用における自然言語処理の活用」の報告ブログはこちら。

AIクリエイティブとAI Labの取り組みについて

AIクリエイティブはAI Labと連携し、広告クリエイティブの自動生成の研究、開発を行っています。コピー生成チームは、Twitterやニュースアプリなどでみられる広告クリエイティブのテキスト部分の生成について研究しています。このテキスト部分は、広告としてキャッチーな文である、文法的に正しく自然な文である、といったことに加えて、商品名や商品の特徴、セールスポイントを適切に反映していることが重要になります。

今回我々は、コスメ商品のカテゴリと説明文を入力として、広告文を生成する手法について、文生成タスクで一般的に用いられる4つのモデルで実験を行いました。

  • Bidirectional LSTM Encoder-Decoder1
  • Bidirectional LSTM Encoder-Decoder + Global Attention2
  • Pointer-Generator Networks3
  • Transformer4

それぞれのモデルが生成した広告文に対してRelative Ranking Aproach5 による評価を行い、その結果元にTrueSkill6という手法でスコアリングしました。スコアが高いモデルほど、その項目において優れているといえます。Pointer-Generatorは入力文の単語を生成に利用する機構により、説明文の内容を反映した文を生成しやすい一方で文法的に崩れやすい傾向がありました。Transformerは文法的に自然で、キャッチーな文を生成しましたが、説明文をあまり考慮しない傾向がありました。
実験により、説明文に基づく広告文生成におけるモデルごとの傾向を掴むことができました。今後はより広範囲のドメインで実験を行うとともに、より高性能な広告文生成を目指して異なるアプローチも試していきます。

参加報告まとめ

以上、コピー生成チームからの参加報告でした。NLP界隈の盛り上がりを感じた3日間でした。ポスターセッションでは、予想していた以上に多くの学生や研究者の方々に興味を持っていただき、我々としては非常に励みになりました。非常にためになるご意見やご指摘をたくさんいただいたので、それらを整理して、今後の研究・プロダクト開発に反映したいと思います。


  1. Ilya Sutskever, Oriol Vinyals and Quoc V. Le “Sequence to sequence learning with neural networks” Advances in neural information processing systems, 3104-3112, 2014. ↩
  2. Minh-Thang Luong, Hieu Pham and Christopher D. Manning “Effective approaches to attention-based neural machine translation” arXiv preprint arXiv:1508.04025, 2015. ↩
  3. Abigail See, Peter J. Liu and Christopher D. Manning “Get To The Point: Summarization with Pointer-Generator Networks” Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, Volume 1, 1073-1083, 2017. ↩
  4. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser and Illia Polosukhin “Attention is all you need” Advances in neural information processing systems, 5998-6008, 2017. ↩
  5. Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana Neves, Martin Popel, Matt Post, Raphael Rubino, Carolina Scarton, Lucia Specia, Marco Turchi, Karin Verspoor and Marcos Zampieri “Findings of the 2016 conference on machine translation” Proceedings of the First Conference on Machine Translation, Volume 2, 131-198, 2016. ↩
  6. Ralf Herbrich, Minka Tom and Graepel Thore “TrueSkill™ : A Bayesian Skill Rating System” Advances in neural information processing systems, 569-576, 2007. ↩
]]>
NLPでビジネス課題に挑戦~ YANS2019で発表します~ https://cyberagent.ai/blog/pr/5816/ Fri, 23 Aug 2019 09:32:45 +0000 https://cyberagent.ai/?p=5816 こんにちは!
アドテクスタジオ人事の鈴木です。

アドテクスタジオのNLPメンバーは、それぞれの所属プロダクトでビジネス課題の
解決に日々取り組んでいます。
これまでも、様々な学会への参加や論文投稿を行ってきましたが、
「自分たちの取り組みをしっかりと形に残したい」「もっとアウトプットしていきたい」という思いから
この半年間はプロダクトの垣根を越えて活動してきました。

定期的に開催している論文読み会では、プロダクトでの応用やこれから
やってみたいことまで議論が広がり、毎回時間が足りなくなってしまうほど盛り上がっています。
また、kaggleでのシルバーメダル獲得や、社内論文誌「White Paper Project」への投稿など、
チャレンジの幅がどんどん広がっています!

▼White Paper Project vol.9発行&発表会レポート
https://cyberagent.ai/archives/5718
(次回vol.10ではNLPメンバーから4本投稿予定です。楽しみ!)

そして!8/26~8/28に開催されるYANS2019では2件の発表を行います!
——————————–
「デジタル広告における商品特徴を考慮した広告文の自動生成」
AIクリエイティブ 脇本、AI Lab/明治大学 川本

デジタル広告において個人に合わせたメッセージングの必要性が高まる中、
当社ではクリエイティブの自動生成に力を入れています。
その中でも、19新卒の脇本くん、内定者バイトの川本くんのルーキーコンビが
取り組んでいるのはダイレクト広告に使われるテキスト(=ダイレクトコピー)の自動生成を目指す研究です。
ダイレクト広告とは、見た人に直接商品の購入を促す広告のこと。
これに使われるテキストは文法的に正しいのはもちろん、
キャッチーであること、目を引くものであること、商品の特徴を反映させることが求められます。
今回の発表は、ダイレクトコピーに適した生成と評価手法がポイントです!

「チャットボットの運用における自然言語処理の活用」
AIメッセンジャー 戸田・杉山・友松

チャットボットで受け付ける問い合わせは様々なバリエーションがあり、
企業目線で予測していくには限界があります。
そこで重要になるのが、運用の部分!
用意したロジックをいかに運用していくかがカギとなります。
AIメッセンジャーでは、チャットボットの運用の部分に対してNLPの技術を活用しています。
今回の発表では、MLエンジニアの3人が自然言語処理技術での日々の運用支援や、
設計者の効率を上げるためのチャレンジを紹介します。
ビジネス×NLPならではの取り組みに注目です!
——————————–

また、今年もプラチナスポンサーとしてブース出展&スポンサー発表も行います。
ブースではアベマくんグッズも配付予定ですので、ぜひお越しください!

■発表予定一覧■
<8/26(月)>
15:00~15:40
スポンサー口頭発表O04「サイバーエージェントにおける自然言語処理の取り組み」
張 培楠
16:20~18:10
スポンサーポスター発表S03「サイバーエージェントにおける自然言語処理の取り組み」
張 培楠

<8/28(水)>
09:30-11:20
ポスター発表 P83「デジタル広告における商品特徴を考慮した広告文の自動生成」
脇本 宏平、川本 峻頌
ポスター発表 P84「チャットボットの運用における自然言語処理の活用」
戸田 隆道、杉山 雅和、友松 祐太

 

]]>
木星を継ぐもの 〜JupyterLab よこんにちは〜 https://cyberagent.ai/blog/research/10260/ Wed, 20 Mar 2019 05:05:30 +0000 https://cyberagent.ai/research/?p=2045

AI Lab で主に NLP を担当している張です。
突然ですが、まだ Jupyter Notebook で消耗していませんか?

2011 年に IPython Notebook (現 Jupyter Notebook) の登場1によって研究やデータサイエンスの環境は一変しました。
それまではソースコードの実行やグラフの出力、メモやノートなどをすべて別々に取っておく必要があったものが、このツールによって一箇所にまとめて表示できるようになり、管理や閲覧が一元化され圧倒的に便利になりました。IPython Notebook の登場は研究者やデータ分析する人に革命的な効率改善をもたらしたのです。まさに働き方改革です。
2019 年現在、初登場から約 8 年もの年月が過ぎました。この 8 年の間に Python のバージョンは 3.2 から 3.7 にあがり、GPU は GTX 500 番台から RTX 2000 番台になり、NLP における state-of-the-art な言語モデルも RNNLM 2 から GPT-2 3 へと進化しました4。そんな中 Jupyter は過去に留まったままでしょうか?否、 Jupyter もこの激しい変化に適応するための新しい武器を粛々と開発していたのです。Jupyter Notebook で使いづらかった点を改善し、より利便性を向上させた後継、それが JupyterLab なのです。
しかし悲しいかな、まだその存在を知らない方が多くいらっしゃいます。そこで、 Jupyter Notebook との違いと活用方法に主眼を置きながら、その良さをあまねくご紹介できたらと思います。

もくじ

  1. 画面
    1. 画面構成
    2. 画面操作
    3. ダークモードとプレゼンテーションモード
    4. CSV / TSV のテーブル表示と JSON の展開可能な表示
  2. セル操作
    1. セルの D&D
    2. 補完機能
    3. マルチカーソル
    4. セル内検索、正規表現検索
  3. ファイル操作関係
    1. ファイルダウンロード
    2. 共有リンク
  4. 拡張機能(extensions)
  5. おすすめの運用方法
  6. さいごに
  7. 参考

1. 表示関係

画面構成

JupyterLab になって一番はじめに目につくのはなんと言っても画面構成でしょう。ディレクトリ画面も ipynb 実行画面も全てがシングルページだった Jupyter Notebook とは違い、JupyterLab では画面がマルチタブ・マルチペインな構成に一新されました。

トップレイヤーでは左側にサイドバー、右側に実行画面がある2ペイン構成になっています。
サイドバーではディレクトリ移動や実行中のファイル操作、さまざまなコマンド、拡張機能タブなどと多くの補助的な機能が備わっています。
右側にある実行画面では Notebook やエディタ、ターミナル、出力画面などと数多くの編集・実行可能画面が自分好みなペイン・タブ構造に配置できるようになっています。
え?シングルページの方が集中できる?ご心配なさらずに。左のサイドバーは非表示可能なので、それを閉じればいつものシングルページな Jupyter Notebook に早変わりです。さらにメニューバーの View から Single-Document Mode なるモードも選択可能で、それを実行すればタブバーも消失するのでもう完璧に Jupyter Notebook と化します。

画面操作

具体的な画面操作についてご紹介していきます。

画面の配置変更は、タブをドラッグすると分割する方法が青い枠線で提示されるので、自分がやりたいようにタブをドラッグします。カーソルを画面の左、右、上、下、中央に重ねることによって、ペインに分割することやタブに統合することなどの挙動になります。下の GIF から分かるように、動作は非常にスムーズでストレスはほとんどありません。

また、タブ・ペイン化できるのはなにもファイルだけではありません。ターミナル画面や拡張機能画面、ipynb 内で実行する際の出力まで可能です。その自由度の高さを下の GIF で表現してみました。

この実行出力を別タブ・ペインで表示できるのは非常に便利で、上の GIF のように画像を表示させながら色んな処理を施したりできます。

他にもいくつか便利なタブ・ペイン化できる機能が JupyterLab に備わっています。そのひとつが同じ ipynb の複数画面表示です。自分もこの機能には大いにお世話になっています。例えば長くなった ipynb の上の方のコードを修正したいときはわざわざ上までスクロールするのはめんどくさいですよね?そういうときはペインを上の部分と下の部分のふたつの分割をすればその手間もなくなります。

もうひとつの有用な機能が、Code Console と呼ばれるものです。これは ipynb 内の環境を引き継いた IPython インタラクティブシェルと言えば伝わりやすいでしょうか。これは ipynb の編集中に、スペース部分の右クリックメニューから「New Console for Notebook」を選ぶことで開くことができます。ipynb に残したくない検証や、軽いアドホックな処理を行うのに最適です。ただし、同じ ipython カーネルを使っている以上、名前空間は ipynb と共有されるので、くれぐれもお気をつけください。

ダークモードとプレゼンテーションモード

Jupyter Notebook を使っている方なら少なくない方が拡張機能を入れてダークモードにしたり、プレゼンテーションモードを有効化しているのではないでしょうか。自分もそのうちの一人でした。それもそのはず、仕事の性質上、パソコンの画面と長時間に渡ってにらめっこをするのが日常化している我々にとって、明るい画面はそれだけで我々をムスカ大佐たらしめる要因になり得るのです。そのため、ダークモードといった目に優しい機能は必要不可欠です。そんな方に朗報です。なんと!JupyterLab ではダークモードとプレゼンテーションモードが標準機能として組み込まれています!(Cheers and applause)
これで拡張機能を入れたり探したりする時間をデータ分析や研究に費やせますね!

ただプレゼンテーションモードは、横幅や文字サイズをプレゼンテーション用に拡大したりするけど RISE5 みたいにスライド化されるもののではないのでご注意ください。

CSV / TSV のテーブル表示と JSON の展開可能な表示

他にも便利な表示に関するアップデートがあります。今までの Jupyter Notebook で CSV や JSON ファイルを開くと生データが表示されていましたが、それを不便に思ったことはありませんか?研究やデータ分析で扱う多くのフォーマットは CSV や JSON です。それらをきれいに表示できることは正しくデバッグすることやミスを減らすことに繋がります。そこも JupyterLab は対応してくれています!CSV や JSON ファイルを開くと、表形式や展開可能な形式にレンダリングされます。

画面構成に比べると小さな改善ではありますが、日々データを扱う身としては利便性の向上に繋がる重要な改善だと思っています。

2. セル操作

セルの D&D

JupyterLab になって、セル周りの操作もかなり便利になりました。その中でもセルをドラッグ・アンド・ドロップ(以下 D&D)できるようになったのはちょっとした驚きかもしれません。それも同じファイル内だけでなく 6、異なるファイル間でも可能なのです。

これでファイル間でのコードのコピーが楽になりますね。

補完機能

個人的にかなり嬉しいことのひとつに、JupyterLab でのコード補完の挙動がアップデートされたことが挙げられれます。というのも、以前 Jupyter Notebook を使っていたときは、一応 TAB キーで候補リストが出るものの、その移動は方向キーの↑↓でしか動かせませんでした。vim の jk でもなく、emacs の ctrl-p, ctrl-n でもなく方向キーです。いちいちキーボードのホームポジションから手を離さなければならないのが地味にストレスでした。しかしそれももう悩まされることはありません。JupyterLab では補完機能が一新されました。

TAB キーを押すと候補リストがでてくるところまでは同じですが、python の場合はリストの各項目の左にその項目が関数なのか変数なのかキーワードなのかなどの情報が表示されています。さらに、肝心の補完操作ですが、入力したキーと候補の中からマッチする項目が選択されていきます。

最初はちょっと慣れないかもしれませんが、使っていくうちにただ上下移動する方式よりも速く入力できるようになります。

マルチカーソル

これも待ち望んだ機能のひとつだと思います。自分がマルチカーソルに出会ったのは sublime text 2 というエディタを初めて使ったときでした。あのときはこんな便利な機能があったとは!と多大なる衝撃を受けたものでしたが、それが今やあらゆるエディタや IDE の標準装備として組み込まれています。マルチカーソルを含め、他にも多くの斬新な機能を搭載させた sublime text 2 はエディタ文化の一時代を切り開いたと個人的には思っています。
閑話休題。そんなデファクトスタンダードな機能になりつつあるマルチカーソルを、JupyterLab ではついに搭載しました。

ただし注意点がいくつかあります。まずマルチカーソルが有効なのは単一のセル内のみです。複数のセルに渡ってマルチカーソルを行うことができません。次に、マルチカーソルでは、BackSpace のような時々対応していないキーがあったりします。というのも、マルチカーソルの状態で BackSpace をしても、ひとつのカーソルしか動きません。BackSpace の場合は、Mac / Linux ユーザであれば ctrl-h で同じ挙動をさせることはできますが、他にも効かないキーがあるかもしれないのでご注意ください。

セル内検索・正規表現

これに関してはどれくらいの希望度があったのかわかりませんが、使ってみると意外と便利な機能と言えます。従来の検索に / を前後に追加すると正規表現での検索に早変わりです。ただリアルタイムでヒット箇所が出るわけではなく Enter キーを押して初めて該当箇所がハイライトされる仕組みになっています。

検索はできるのに置換機能はなかったり、単一セル内でしか使えなかったり、放置するとハイライトが残りっぱなしになったりなど、まだ使い勝手の向上する余地がありますが、なんだかんだ便利な機能です。

3. ファイル操作関係

ここでは軽くファイルの操作について書きます。Jupyter Notebook もそうですが、近頃共用サーバ上で Jupyter を起動して特定のグループのメンバーから使用可能にさせたり、遠隔からでもアクセスできるようにしたりする運用が増えています。この運用方法自体は非常に利便性が高いが、Jupyter Notebook だといくつか不便なことがあります。

ひとつがファイルのダウンロードです。実験で作られたモデルファイルや評価の出力画像など、なんだかんだでダウンロード処理がしたい場合が多々あります。Jupyter Notebook を使っていたときはわざわざ scp などで転送するか、Google Storage などのクラウドホスティングのストレージに保存したりしていました。しかし JupyterLab からはその面倒なことをしなくて済みます。サイドバーのファイル操作画面でファイルの右クリックメニューでダウンロードできちゃいます。しかも複数選択7もできちゃいます。

他にも右クリックメニューから共有 URL のコピーとかファイルを複製するなどの機能も追加されていたりするので、ぜひ使ってみてください。

拡張機能(extension)

ここではいくつかお世話になっている便利な拡張機能をご紹介します。

jupyterlab-variableInspector [link]

個人的に一番お世話になっているのがこの拡張機能です。これはアクティブになっている ipynb の変数を一覧にして表示してくれている拡張機能です。変数名だけでなく、その型やサイズ、内容まで表示してくれるのでかなり重宝します。numpy の shape や pandas の shape も見れるので、行列計算が多いニューラルネットワークをゴニョゴニョする人やデータを分析する人にはかなり助けとなる拡張機能です。

また、Jupyter を使っている方なら一度は経験しているのが名前空間のカオス化じゃないでしょうか。関数やクラスにせずにただただ変数を宣言していくとグローバル名前空間があっという間に混沌としていきます。そこから何かを計算するときに予期しない動作をして失敗したり、なにより一番怖いのが予期しない動作に気づかないことです。そのためにもこういった宣言されている変数を見ることができる機能は非常に有用だと思っています。

ただこれにもひとつ注意点があり、Unicode 文字の扱いがいまいちなのです。例えば a = 'あ' と宣言してもインスペクタ上では \u3042 になってしまいます。以前これを Issue に上げたら製作者の方が str などの文字列には対処してくれました。が、pandas の DataFrame などには未対応のままとなっております。みなさんプルリクチャンスですよ。

jupyterlab-go-to-definition [link]

PyCharm などの IDE でおなじみのコードジャンプです。Alt + Click でその変数の宣言文までジャンプしてくれます。

ipynb はその性質上、図表なども表示できるが全体的に長くなってしまいがちなのでめちゃくちゃ便利です。

その他

他にも多くの拡張機能がありますが、自分が主に使っているのは上のふたつだけなので詳しく書いてみました。
いくつか自分は使っていないけど便利そうな拡張機能もご紹介してみます。

  • jupyterlab_templates [link]
    • テンプレートを作ってそこからファイルを新規作成できる拡張機能
  • jupyterlab_tensorboard [link]
    • JupyterLab 上で tensorboard を開ける拡張機能
  • jupyter-matplotlib [link]
    • matplotlib の出力グラフをぬるぬる動かせる拡張機能
  • jupyterlab_code_formatter [link]
    • 散らばっているコードをきれいにしてくれる formatter

世に存在する拡張機能は github のトピックや個人の awesome-jupyterlab などで追うといいかもしれません。

おすすめの運用方法

基本的に @lain21 さんの記事を参考にして下図のようにリモートサーバに JupyterLab サーバが入ったカスタマイズ済み Docker イメージを実行して運用しています。

この方法で得られるメリットはいくつかあります。

  • どこに行ってもネット環境さえあれば実験サーバにアクセスできる
  • 環境構築が容易
  • 統一性のある環境が作れる
  • GCP との接続を切っても Jupyter の実行が中断されない

ただしあまりメモリをいじめすぎると docker コンテナが落ちてしまうので気をつけましょう。

参考までに、自分で構築せず既存のサービスとして使いたいのであれば Google の Colaboratory や Cloud Datalab、Miscrosoft の Azure Notebooks などの選択肢があります。どれも Jupyter Notebook のクローンではありますが、Colaboratory なら GPU/TPU が条件付きで使える、Datalab なら他の GCP サービスとの連携が容易といったそれぞれ独自のメリットがあります。自分でサーバを建てずに手軽でパワフルな環境を利用したい際は一考する価値があるかもしれません。

さいごに

よい Jupyter ライフを!

参考


  1. Fernando Perez: The IPython notebook: a historical retrospective ↩
  2. Mikolov et al., Recurrent neural network based language model, INTERSPEECH 2010 ↩
  3. Radford et al., Language Models are Unsupervised Multitask Learners ↩
  4. なのにアーマードコアの新作はまだ出ません ↩
  5. Jupyter Notebook をプレゼンテーション用スライドみたいに表示してくれる拡張機能 [link] ↩
  6. 同じファイル内だったらショートカットのほうが馴染みあるし速いかもしれないですね ↩
  7. なにげに shift キーを使っての複数選択というお馴染みな操作ができます ↩
]]>
NLP若手の会 第13回シンポジウム参加レポート https://cyberagent.ai/blog/research/10251/ Fri, 07 Sep 2018 06:33:43 +0000 https://cyberagent.ai/research/?p=752 こんにちは。2018年度新卒の玉津と福田です!
8/27 ~ 8/29 で自然言語処理の若手研究者の集まりである『NLP若手の会(YANS) 第13回シンポジウム』に参加してきました。今回の開催地は香川の高松市でした。

YANSとは

NLP若手の会 (YANS) は、自然言語処理および関連分野の若手研究者・若手技術者の交流を促進し、若手のアクティビティを高めることを目指したコミュニティです。なお YANS は Young Researcher Association for NLP Studies の頭文字をとったものです。

NLP 若手の会

去年の参加レポート

弊社発表

今回,スポンサー口頭/ポスター発表として弊社におけるNLPを用いた取り組みを,そしてポスター発表として広告文への利用のためのwebページ本文抽出や小規模コーパスにおける未知語の分散表現の獲得について発表しました.
以下は資料のリンクと発表の様子になります.

大規模コーパスと小規模コーパスを用いた単語分散表現獲得法の比較検討 友松祐太

検索連動型広告自動生成のためのWebページ本文抽出手法の研究 山村崇 (九工大), 張培楠, 田中駿

弊社でのNLPを用いた取り組みについては,広告文の自動生成やFAQ用のチャットボットの開発,アドベリフィケーション(中でもブランドセーフティ)について紹介させて頂きました.特にアドベリフィケーションについてはアドテクに関心のある人でないと聞いたことがないタスクだと思うので,今回のYANSを通じて興味を持ってくれる方が一人でもいると嬉しいです.

▲ブースターセッションの様子

▲ポスター発表の様子

▲弊社の取り組みの紹介と水

印象に残った発表

今回,全てのポスターを見ることはできませんでしたが,回った中で印象に残ったものを一部紹介します.

・サブワードに基づく単語ベクトルの再構築 〇佐々木翔大 (東北大), 鈴木潤, 乾健太郎 (東北大/理研AIP)[ポスター]

一般的に単語の埋め込み表現は各単語についてベクトルが与えられているため,語彙数が多い場合はモデルサイズも大きくなってしまいます.また,コーパスに含まれない単語や削除された低頻度語にも対応できません.これらの問題に対して単一または複数の文字n-gramを利用して元の単語ベクトルを表現する方法もありますが,この研究ではBPEにより文字を頻度の高いものから設定した語彙数になるまでマージしていき,作成されたサブワードベクトルの和を元の単語ベクトルに近づけるよう学習します.データの圧縮のために提案されたBPEは語彙数の問題から機械翻訳でも利用されますが,単語のベクトル空間をBPEによるサブワードのベクトル空間で表現したのは興味深かったです.

・五感に基づく言語表現における個人のバイアスとその補正 〇大葉大輔 (東大), 吉永直樹 (東大/生産研), 赤崎智 (東大), 豊田正史(東大/生産研)[ポスター]

例え様々な人が同じものを評価しても感じ方やその表現は多様で,ある意味その人のスタイルに変換された評価になっていると考えることもできます.この研究では多人数により書かれた大量の文書から一般的な単語の分散表現を獲得したのち,それを初期値として個人ごとに文書を追加で学習させ,個人レベルでの単語の分散表現の獲得しています.そしてその補正に関する実験も行なっています.物事について書かれた文書もその表現には(言語能力や感覚器官の差によって生じる)個人のバイアスがかかって伝えられるという点が面白かったです.

当日の風景

▲旅館からは高松市が一望できました!

▲交流会企画の1つであるクルージングも楽しかったです!

感想

YANS自体への参加はこれが初めてで,ポスター発表や懇親会を通じて多くの方々と交流でき,とても刺激になりました.また,香川ということでうどんをたくさん食べましたが,中でも鶴丸というお店が個人的に一押しでした.来年もぜひ参加したいと思ってます!(玉津,福田)

]]>
EMNLP2017 参加報告 https://cyberagent.ai/blog/tech/10199/ Thu, 12 Oct 2017 05:00:13 +0000 https://cyberagent.ai/techblog/?p=3093 こんにちは。アドテク本部 ProFit-Xの押切です。

2017/09/07〜11にかけてコペンハーゲンで開催された、自然言語処理 (NLP) 分野のトップ国際会議 Conference on Empirical Methods in Natural Language Processing (EMNLP) に参加してきました。

この記事では、今回のEMNLPの概要と発表の一部について紹介します。

EMNLP2017 の概要

今回のEMNLPへの投稿数は、ロングペーパーとショートペーパーを合わせて過去最多となる1418件で、その中から約23%にあたる323件が採択されました。投稿された論文の統計情報を見ると、やはり「neural networks」「deep learning」がキーワードに入っている論文が特に多く、また「情報抽出、情報検索、質問応答」の分野に多くの論文が投稿されていることがわかります。

本会議の参加者数は、オープニングセッションの時点で1000人以上とのアナウンスがありました。また日本からは、少なくとも30人程度の参加者がいたと思われます。

Let the games begin....

本会議当日は、すべての招待講演と口頭発表が録画され、ライブ配信されていました。さらに会議終了後もすべての動画が視聴可能となっています(10/11現在)。気になった方はチェックしてみてください。

また本会議ポスターセッションでは、各ポスターに貼られたQRコードを通じて気に入ったポスターに投票できるという新しい取り組み(Poster Audience Award)が実施されました。しかし、一ヶ月経った10/11現在もなぜか結果が公開されておらず、結局どうなったのかよくわかりません……。

人が少ない時間帯のポスターセッションの様子

人が少ない時間帯のポスターセッションの様子

1日目のポスターセッションでは、私も学生時代の研究について発表しました。この研究では、新語や分野特有の固有名詞などを大量に含むようなテキストデータを使って単語ベクトルを作るのは一般に難しいという背景のもとに、このようなテキストデータを使って単語ベクトルをむりやり作る手法を提案しています。詳細が気になった方は論文をチェックしてみてください。

研究をいくつか紹介

Best paper award は、下記の4つの論文に与えられました。

  1. データセットに含まれるジェンダーバイアスを分析、データセットから学習する際に生じるバイアスの影響を軽減する論文 (pdf)
  2. 自傷行為の恐れのある Reddit ユーザーを検出するためのデータセットと手法に関する論文 (pdf)
  3. マルチエージェントシステムの実験(この研究では、ボット同士を協力・対話させて、一つのタスクを解かせるという設定)で得られる言語の性質を詳しく調べる論文 (pdf)
  4. 要約の目的で文書集合からコンセプトマップを生成するタスクの訓練データを作成する論文 (pdf)

以下、ベストペーパーと招待講演の中から特に気になった研究を2件紹介します。

Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints (pdf)

近年自然言語処理分野では、機械学習と大規模なデータセットを用いた手法が盛んに扱われていますが、この結果として得られる予測器や特徴量はデータセット由来の様々な “バイアス” の影響を受けてしまうことが、いくつかの既存研究で報告されています。ここでいう “バイアス” とは、例えば「画像とその画像を説明するようなタグのペアを集めたデータセットにおいて、cooking タグが付いている写真には男性よりも女性が写っていることが多い(ジェンダーバイアス)」というような社会的なバイアスのことを指します。こういったバイアスの影響を受けた予測器をそのままプロダクトに組み込んでしまうと様々な倫理的問題を起こしてしまうため、なにかしらの対策が必要です。

cooking, agent=woman のタグが付いている画像

cooking, agent=woman のタグが付いている画像 (http://imsitu.org/browse/?verb=cooking&agent=woman より)

この研究ではまず、imSimu と MS-COCO と呼ばれるデータセットがジェンダーバイアスを含んでいることを、簡単な分析によって示しています。さらにこれらのデータセットを使って画像からタグを推定する(例えば、上の画像を入力すると cooking を出力する)予測器を学習する場合に、結果として得られた予測器のバイアスがデータセットのそれより強くなってしまう、という現象に着目しています。(この現象が、論文タイトルにある Gender Bias Amplification です。)この論文は、この Gender Bias Amplification を軽減しつつ予測器を学習する、一般的なフレームワークを提案しています。実験の結果、Gender Bias Amplification を軽減しつつ、かつ性能を大きく落とさずに予測器の学習を行うことができたと報告しています。

[招待講演] “Does This Vehicle Belong to You”? Processing the Language of Policing for Improving Police-Community Relations (link)

まず背景として、文章の politeness(礼儀正しさ)を定量化し、さらにこれをもとにして、文章を入力したときに politeness を出力する予測器を作るという研究があります(論文)。招待講演では、この politeness の予測器を応用して様々なデータセットを分析した結果を軽快な口調で紹介していました。

例えば、講演者らが今年発表した論文では、アメリカの警官と市民の会話ログのデータセットを分析したところ、話しかける相手である市民が白人の場合と黒人の場合で、(会話が発生した状況・場所や警察官の人種などで調整した上でも)警官側の発言の politeness に差があったと報告しています。

また 別の論文では、同様に Wikipedia と Stack Exchange のデータセットを使って、politeness と社会的な地位・属性の関係を調べています。この論文の中で、Stack Exchange において Python カテゴリより Ruby カテゴリの方が politeness が高い傾向があった、という分析結果が出ていたのが気になりました。

おわりに

上で書いた内容の他にも、word2vec で有名な Tomas Mikolov の講演など、興味深い発表を色々と聞くことができた5日間でした。

]]>
NLP若手の会 第12回シンポジウム参加レポート https://cyberagent.ai/blog/tech/3032/ Tue, 10 Oct 2017 04:53:38 +0000 https://cyberagent.ai/techblog/?p=3032

こんにちは。2016年度新卒の田中と2017年度新卒の稲村です!
9/3 ~ 9/5 で自然言語処理の若手研究者の集まりである『NLP若手の会(YANS) 第12回シンポジウム』に参加してきました。

この記事では、田中がスポンサーとして発表したスライドと、稲村がポスター発表した内容について軽く触れ、印象に残った発表について掲載しようと思います。

 

スポンサー発表

 

二日目の朝一でスポンサー発表を行いました!
話の内容としては、AI Labの紹介と、研究の取り組みに関してがメインです。



▲発表の様子

発表資料を掲載します!
なお、外部用資料なので、当日に発表した内容とは少し異なります。
また、発表時の内容なので現在とは異なる場合があります。ご了承ください。

AI Labにおける取り組みのご紹介

 

ポスター発表

 

二日目の午後の部に「用例ベース対話システムに有用な文スコアリングモデルの調査」という題でポスター発表を行いました。
この発表では、弊社で開発されているカスタマーサポート向けチャットボットサービス AI Messenger の機能改善に関して行なった調査の結果を報告しています。AI Messengerではカスタマーの問い合わせ入力に対して、あらかじめ用意された回答文を選択する必要がありますが、文同士の関連度を精度良く計算することは一般に難しいことが知られています。
本調査では、自然言語処理における代表的な深層学習モデルであるRNNとCNNを用いた2種類の関連度計算モデルを回答文選択に適用し、両者の性能と特性の差異について分析しました。実験の結果、文全体の意味を考慮できることで知られるRNN(LSTM)モデルの方が、長い文に対してはCNNモデルよりも誤りやすい傾向が観察されました。
この結果から、文が長い場合の回答文選択では、RNNモデルで文全体を考慮しすぎるよりも、句のような局所的な情報をよく捉えることができるCNNモデルを用いて要点のみに着目することがより有効であると考えられます。また、いずれのモデルについても関連度スコアの分布が高い値に偏る傾向が観察されましたが、この点についての有効な対処方法はまだ解決しておらず、今後解決するべき課題となっています。


▲ポスター発表の様子
こちらも発表資料を掲載します!

用例ベース対話システムに有用な 文スコアリングモデルの調査

 

印象に残った発表

 

筆者が聞いた中で興味深いと思ったいくつかの発表について紹介します。

ポスター発表P37
周辺文脈の集合による単語表現の獲得と関係抽出への応用
○濱口拓男(NAIST), 大岩秀和(RIT), 新保仁, 松本裕治(NAIST)

Word2Vecに代表される単語埋め込みの手法では、1単語の意味を1つのベクトルで表現することが一般的です。このような表現方法では、「(臓器/機械の)レバー」や「(経験/荷物を)積む」といった複数の意味だが同じ表記の単語を一つにまとめてしまう問題点があります。この問題に対するアプローチとしてこの研究では、単語が出現する個々の周辺文脈をそれぞれベクトル化した上で、単語の表現を文脈ベクトルの集合として表現するという手法を示しています。自然言語処理では応用のみならず研究レベルでも単語の多義性を無視することが多く、多義性をコンパクトに表現できる手頃な手法の開発が待たれています。このような状況を打開する研究の一端として本研究には多くの参加者から期待が寄せられていました。

 

ポスター発表P48
発話スタイル空間の教師なし学習およびスタイル制御可能な 対話システムの実現
○赤間怜奈, 渡邉研斗, 横井祥, 乾健太郎(東北大)

同じ意図を伝える文でも、言葉の選び方に応じて丁寧な話し方や古風な話し方などといったスタイルの差があります。この研究では単語ベクトル空間を主成分分析し、意味の軸の次にはスタイルの情報が含まれると仮定を置いて種々のスタイルのテキストを解析していました。第二主成分以降の部分空間の情報を用いて単語の類似性を評価した結果は、確かに意味以外のスタイル情報を捉えているように見えました。将来的には分離したスタイル情報を用いた対話スタイルの制御を目指しているとのことで、手法的にもまだまだ試す余地のあるアプローチだと言えるので今後の発展が期待されます。

 

さいごにひとこと

 

沖縄は非常に暑く、一日目の夜はひどい土砂降りでしたが、雨の中を走り抜けて懇親会会場に向かいました。笑
今年のYANSではYouTubeでリアルタイム配信を行っており、お高そうな撮影機材を持ってきている優秀な方がいらっしゃいました。
来年も積極的に参加していきたいと考えています!(田中)

新卒ながらも貴重な対外発表の機会をいただき感謝しています。YANS運営委員会の方々も主催していただきありがとうございました。
若手の会は初参加でしたが、会社での仕事を外部に当てる機会をいただいたことに加えて、研究熱心な若手の方々と交流できたことはとても刺激になりました。また参加できる機会があればぜひ参加したいです。(稲村)


▲会場からみた空がキレイでした

 

]]>