こんばんは。
AI labの杉尾・今井です。

先月の11月16日から19日に京都大学で開催された情報論的学習理論ワークショップ (IBIS2016)にチームメンバーの馬場、渡辺、今井、杉尾の4名で参加してきました。
IBISは今年が19回目の開催という歴史ある研究会であり、今回は「ブームを乗り越える」をテーマに掲げ、近年のAIブームの中心にあるDeep Learningをはじめ、さまざまな機械学習手法やその関連分野についての議論が行われました。

本レポートでは、最終日のチュートリアルの内容に関して紹介したいと思います。

第一日目~第三日目のセッション内容に関しては、こちらをご覧ください。

「ベイズ推定からベイズ的最適化入門まで」

AIlabのアドバイザーでもある東京大学の佐藤一誠先生による「ベイズ的最適化入門」では、ベイズ統計の基礎から始まり、関数の形状が未知なブラックボックス関数を最適化するためのガウス過程の解説やそれらをword2vecやOnline LDAに適用した最新研究の紹介という内容でした。
ベイズ的最適化とは、探索と活用の戦略に基いて逐次的に信頼区間を学習していくことで、最適解（真の関数の形状)を求めることができます。近年では、機械学習には欠かせないハイパーパラメータのチューニングなどに使えることから注目を集めている技術です。
高度な内容ながら図を多く使うことで非常にわかりやすく説明をされていました。

「スパース正則化入門- 今さらL1ノルム？今こそL1ノルム！-」

東北大学の大関真之先生による「スパース正則化入門」では、大規模かつ高次元のデータ (いわゆるビックデータ) を扱う上で欠かせないスパース解をL1ノルムで推定する方法についての解説があり、天文学や材料科学の分野に適用した例やADMMといった最新研究についての紹介がありました。
スパースモデリングはどこが零かを自動的に判別することで本質的な情報を抽出できる技術であり、特徴抽出を学習過程で行える深層学習と組み合わせることで、多様なビックデータに適用可能な学習器を作ることができます。
一時期話題になった京都大学におけるカンニング検出もこの仕組みを利用して作られたということで、当時受けたインタビュー動画などが流されて会場が沸きました。

「カーネル法の最前線」

統計数理研究所の福水健次先生による「カーネル法の最前線」では、確率分布に関する統計的推論に対するカーネル法とビックデータに対応するための近似技術についての解説がありました。
カーネル法はサポートベクターマシンの提案が発端でさまざまな発展を遂げてきた技術であり、非線形な情報や高次モーメントの扱いが容易なことが特徴です。
ノンパラメトリック推論などに適用可能なカーネル平均という概念や、低ランク近似などを用いた計算の効率化を知ることができました。
カーネル法も近年では研究が盛んになっており、その先端を知れる良い機会にもなりました。

「ディープラーニングの基礎」

電気通信大学の庄野逸先生による「ディープラーニングの基礎」では、コンピュータビジョン分野でデファクトスタンダードな技術であるDeep Convolutional Neural Networkについての解説や応用例の紹介がありました。
ディープラーニングは第三次人工知能ブームを牽引する技術ですが、一方で，歴史的には1960年代まで遡られ、要素技術よりもデータの質と量、計算機環境の変化が大きな進歩につながっています。
AlphaGoで一躍脚光を浴びたDeepMindがヘルスケアの領域に注力したこともあり、「人工知能 ＝ ディープラーニング」という構図がますます強くなる印象を受けました。
積極的に勉強し、活用していきたいと思います。

「まとめ」

チュートリアルを通して、今後のデータ分析業界においてより顕著になるであろう課題、

• 大量に収集されるデータをどう扱えばよいか
• 未知のデータから如何にして本質的な情報を抽出するか

に対する知見を得ることができました。
また、全体を通して多くの最新研究に触れることができ、非常に充実した4日間を過ごすことができました。

IBIS2017は東京大学にて開催予定です。
今から参加するのが楽しみです！！
次は成果と共に。