こんにちは。2016年度新卒の田中と2017年度新卒の稲村です！
9/3 ~ 9/5 で自然言語処理の若手研究者の集まりである『NLP若手の会(YANS) 第12回シンポジウム』に参加してきました。

この記事では、田中がスポンサーとして発表したスライドと、稲村がポスター発表した内容について軽く触れ、印象に残った発表について掲載しようと思います。

スポンサー発表

二日目の朝一でスポンサー発表を行いました！
話の内容としては、AI Labの紹介と、研究の取り組みに関してがメインです。

▲発表の様子

発表資料を掲載します！
なお、外部用資料なので、当日に発表した内容とは少し異なります。
また、発表時の内容なので現在とは異なる場合があります。ご了承ください。

AI Labにおける取り組みのご紹介

ポスター発表

二日目の午後の部に「用例ベース対話システムに有用な文スコアリングモデルの調査」という題でポスター発表を行いました。
この発表では、弊社で開発されているカスタマーサポート向けチャットボットサービス AI Messenger の機能改善に関して行なった調査の結果を報告しています。AI Messengerではカスタマーの問い合わせ入力に対して、あらかじめ用意された回答文を選択する必要がありますが、文同士の関連度を精度良く計算することは一般に難しいことが知られています。
本調査では、自然言語処理における代表的な深層学習モデルであるRNNとCNNを用いた２種類の関連度計算モデルを回答文選択に適用し、両者の性能と特性の差異について分析しました。実験の結果、文全体の意味を考慮できることで知られるRNN（LSTM）モデルの方が、長い文に対してはCNNモデルよりも誤りやすい傾向が観察されました。
この結果から、文が長い場合の回答文選択では、RNNモデルで文全体を考慮しすぎるよりも、句のような局所的な情報をよく捉えることができるCNNモデルを用いて要点のみに着目することがより有効であると考えられます。また、いずれのモデルについても関連度スコアの分布が高い値に偏る傾向が観察されましたが、この点についての有効な対処方法はまだ解決しておらず、今後解決するべき課題となっています。

▲ポスター発表の様子
こちらも発表資料を掲載します！

用例ベース対話システムに有用な 文スコアリングモデルの調査

印象に残った発表

筆者が聞いた中で興味深いと思ったいくつかの発表について紹介します。

ポスター発表P37
周辺文脈の集合による単語表現の獲得と関係抽出への応用
○濱口拓男(NAIST), 大岩秀和(RIT), 新保仁, 松本裕治(NAIST)

Word2Vecに代表される単語埋め込みの手法では、１単語の意味を１つのベクトルで表現することが一般的です。このような表現方法では、「（臓器/機械の）レバー」や「（経験/荷物を）積む」といった複数の意味だが同じ表記の単語を一つにまとめてしまう問題点があります。この問題に対するアプローチとしてこの研究では、単語が出現する個々の周辺文脈をそれぞれベクトル化した上で、単語の表現を文脈ベクトルの集合として表現するという手法を示しています。自然言語処理では応用のみならず研究レベルでも単語の多義性を無視することが多く、多義性をコンパクトに表現できる手頃な手法の開発が待たれています。このような状況を打開する研究の一端として本研究には多くの参加者から期待が寄せられていました。

ポスター発表P48
発話スタイル空間の教師なし学習およびスタイル制御可能な 対話システムの実現
○赤間怜奈, 渡邉研斗, 横井祥, 乾健太郎(東北大)

同じ意図を伝える文でも、言葉の選び方に応じて丁寧な話し方や古風な話し方などといったスタイルの差があります。この研究では単語ベクトル空間を主成分分析し、意味の軸の次にはスタイルの情報が含まれると仮定を置いて種々のスタイルのテキストを解析していました。第二主成分以降の部分空間の情報を用いて単語の類似性を評価した結果は、確かに意味以外のスタイル情報を捉えているように見えました。将来的には分離したスタイル情報を用いた対話スタイルの制御を目指しているとのことで、手法的にもまだまだ試す余地のあるアプローチだと言えるので今後の発展が期待されます。

さいごにひとこと

沖縄は非常に暑く、一日目の夜はひどい土砂降りでしたが、雨の中を走り抜けて懇親会会場に向かいました。笑
今年のYANSではYouTubeでリアルタイム配信を行っており、お高そうな撮影機材を持ってきている優秀な方がいらっしゃいました。
来年も積極的に参加していきたいと考えています！(田中)

新卒ながらも貴重な対外発表の機会をいただき感謝しています。YANS運営委員会の方々も主催していただきありがとうございました。
若手の会は初参加でしたが、会社での仕事を外部に当てる機会をいただいたことに加えて、研究熱心な若手の方々と交流できたことはとても刺激になりました。また参加できる機会があればぜひ参加したいです。(稲村)

▲会場からみた空がキレイでした