音楽と機械学習ゼミ．

• FeedForwardNetwork

• CNN-300-Bach

なにこれ？？

• 機械学習の生成モデルにより作曲した音楽です．
• 約３００曲のMIDI情報を学習しています．
• これをWebAudioAPIというライブラリを通じて再生させたもの(を録音したもの）です．

 ゼミ制度とMML（Music and Machine Learning）ゼミ

みずかみ@AI Labです．AdTech Studioでは業務時間の20%を「チーム」での自由な研究，調査，学習に充てられる「ゼミ制度」というものがあります．同じテーマを研究したいメンバー同士でチームを作り，各チーム論文執筆や外部講演，内部向けのワークショップやプロダクトの改善など沢山の成果をあげています．

sparkにコントリビュートするチームや，機械学習タスクのコンペに挑み続けるゼミ，などなど沢山の個性的なゼミがあるのですが，本日は私みずかみが主催する「音楽と機械学習ゼミ（以下MMLゼミ）」についてご紹介したいと思います!

ゼミを始めるきっかけは，半年以上前に遡ります．当時，私は同僚の宮西と二人でゼミの活動としてコンテンツ推薦システム[※2]に関する研究をしていました．しかし私たちはお互い業務としてデータ分析を生業とする身です．直近で成果を求められるような’プロダクトの機能開発’は言ってしまえば業務の範疇です．

その頃から私たちは「ゼミくらいもっと自由にやりたいなぁ」なんて思うようになりました．

そしてちょうどその頃，画像を生成するAIがネット上で注目を浴び始めます．任意の画像に動物を合成するDeepDreamや，表面の質感を書き換えるTheFourPaintersのアウトプットはそれはもう衝撃的でした．これらのDeepLearningと言われる技術が，様々な分類問題や予測問題において革新的な成果をあげているのは知っていましたが，ついに人間の感情に訴えかけてくるとは，この驚きは今も変わりません．

そこで音楽が大好きなみずかみは思いついたわけです．

水「同じような技術で音楽作りましょうよ．ゼミで．」
宮「いや，流石に仕事だし．．．そんなこと出来ないんじゃない？」

ダメ元で申請したら，なんと承認されて，今は私を含め８人で活動しています．とても自由な制度です．

ちなみにそのときのコンテンツ推薦システムは今も業務として改善を繰り返しており，実際のプロダクトのコンテンツ推薦においても良い成績をあげています．

グラミー賞を狙っています．

私たちは「作曲するAI」にグラミー賞[※1]をとらせるゼミです．

似たような試みとしてはAIに大学入試を受験させて東大合格を目指す

• 東ロボくんプロジェクト

で国立大学に合格するAIが登場したり，応募資格に人間が執筆することを課さない文学賞の

• 星新一賞

でAIが一次審査を通過したというニュースが最近では話題です．
どんどん人間らしいタスクを計算機が解くようになってきているのが印象的ですね，画像，入試，文学（言語）と来ています．なので今回私達がテーマとしている「音楽」の生成というのは，最近のAI界隈を見ていると自然なタスクだと思っています．

［追記］googleによる似たようなプロジェクトが最近話題になりました．MIDIをパースして機械学習に放り込むのは本当に骨が折れるのですが機械学習ライブラリTensorFlowにMIDIのParserが実装予定らしいです．僕達の苦労は一体．MIDIのparserをつくったこの経験はとても良い勉強になりました！

抱えている問題一覧

グラミー賞を取るべく，これまで様々なアプローチを行って来ました．次回以降の記事では以下の様なこれまで私達が直面した問題とその解決方法やその見通しについて少しずつご紹介していきたいと思います．

• [済]何をやって良いのか全く見当もつかない問題
• [済]元データない問題
• [済]MIDI学習できない問題
• [済]学習結果が再生できない問題
• 音色ダサい問題
• [済]生成モデルない問題
• [済]学習データ丸暗記問題
• 評価指標無い問題
• 不協和音問題
• リズム感を感じれない問題
• PV無い問題
• 歌詞無い問題
• 生成された楽曲に抑揚が無い問題
• 感動出来ない問題

また，私達 MMLゼミでは上記のような問題について議論できる方，一緒に考えてくださる仲間を探しています．ご興味のある大学，その他研究機関，民間企業の方がいらっしゃいましたら，課題共有などのお打ち合わせの場を持ちたいと考えています．

お手数ですが twitter: @adtechzemi_mml までDM頂ければと思います．

次回以降の記事も是非お楽しみに！