こんにちは。Dynalystのkayanoです。

アドテクスタジオのエンジニア数名で
San Francisco で開催されている Spark Summit 2015 に参加しているので、その様子を簡単にお届けします。

到着は、Summitの前日の日曜日。ちょっとだけ観光もしました。

さて、１日目です。
タイムスケジュールはこちら

会場のホテル全体がSpark仕様。エスカレータまでSparkでした

レジストレーション。この後、長蛇の列になりました。

朝食

全体的な流れですが、
午前は、Keynote
午後は、
* DEVELOPER TRACK
* DATA SCIENCE TRACK
* APPLICATIONS TRACK/USE CASES TRACK
の３会場に分かれてセッションがありました。
数が多いので、気になったセッションをいくつか上げたいと思います。

Keynote

Powering Data Science with Spark

Spark1.4でSparkRがreleaseとなるので、Databricksがtwitterのログを使ったMachine LeaningのdemoをSparkRで行っていました。Twitterの様なbigdataをRで対話的に分析しているDemoにただただ興奮してました。（そのせいで写真を取り忘れました。。）

A Tale of a Data-Driven Culture

データ駆動型の大切さと、非エンジニアにもデータ駆動、そのためのツールを理解してもらうことで、早くイノベーションサイクルを回す事ができるというお話でした。SQLMonkeyは続かない、 kill the SQLMonker、、、とSQLMonkeyという単語に会場がよく反応していた感じがします。大半の企業にSQLMonkeyはきっといるのでしょう。。。

Sessions

Spark DataFrames: Simple and Fast Analysis of Structured Data

Spark SQLを使う事で、ハイレベルな処理でもコードを短くできる点や、目玉のPipelineを使ったMachine Learningの処理が語られていました。JIRAとgithubのデータをjoinさせるデモが分かり易くて面白かったです。DatabricksはDemoがいつも魅力的です。

Making Sense of Spark Performance

詳細にベンチマークを取ってみると、意外とcpuがボトルネックになることが見えたのに驚き、今後インスタンスを選ぶ際の参考に出来る内容でした。
SparkのJobの実行状態の可視化が改善しているのも魅力的でした。

ランチ＆企業ブース

会場の様子

企業ブースが並んでいて、みんなコーラやペプシを片手にブースを回っていました。
DatabricksとMapRのブースが特に盛り上がっていた様に感じました。

お昼はランチボックス（アメリカンサイズでした。。。）

ケーキもありました。（手ぶれがひどくてすみません。。。）

会場の雰囲気や、全体のセッションの傾向として
– KeyNote は SparkR、Machine Leaning, Pipeline の話がメインテーマな感じがしました。
– 去年に比べて、Analysis分野に関する機能追加や事例の話が多く感じました。

Attendee Networking Event @ 620 Jones Street

おしゃれなオープンテラス付きのバーで、参加者のNetworking Eventがありました。
日本からいらっしゃっている方も多かったのが印象的でした。
緊張しながらも、Speakerの方とお話できたので、すごく貴重な機会でした。