Blog

Spark Summit 2015 in San Francisco【1日目】


こんにちは。Dynalystのkayanoです。

アドテクスタジオのエンジニア数名で
San Francisco で開催されている Spark Summit 2015 に参加しているので、その様子を簡単にお届けします。

到着は、Summitの前日の日曜日。ちょっとだけ観光もしました。
2015-06-15 23.20.00

さて、1日目です。
タイムスケジュールはこちら

会場のホテル全体がSpark仕様。エスカレータまでSparkでした
20150615_083156

レジストレーション。この後、長蛇の列になりました。
2015-06-15 23.18.49

朝食
2015-06-15 23.20.392015-06-15 23.18.15

全体的な流れですが、
午前は、Keynote
午後は、
* DEVELOPER TRACK
* DATA SCIENCE TRACK
* APPLICATIONS TRACK/USE CASES TRACK
の3会場に分かれてセッションがありました。
数が多いので、気になったセッションをいくつか上げたいと思います。

Keynote

20150615_083521

Powering Data Science with Spark

Spark1.4でSparkRがreleaseとなるので、Databricksがtwitterのログを使ったMachine LeaningのdemoをSparkRで行っていました。Twitterの様なbigdataをRで対話的に分析しているDemoにただただ興奮してました。(そのせいで写真を取り忘れました。。)

A Tale of a Data-Driven Culture

データ駆動型の大切さと、非エンジニアにもデータ駆動、そのためのツールを理解してもらうことで、早くイノベーションサイクルを回す事ができるというお話でした。SQLMonkeyは続かない、 kill the SQLMonker、、、とSQLMonkeyという単語に会場がよく反応していた感じがします。大半の企業にSQLMonkeyはきっといるのでしょう。。。

Sessions

Spark DataFrames: Simple and Fast Analysis of Structured Data

Spark SQLを使う事で、ハイレベルな処理でもコードを短くできる点や、目玉のPipelineを使ったMachine Learningの処理が語られていました。JIRAとgithubのデータをjoinさせるデモが分かり易くて面白かったです。DatabricksはDemoがいつも魅力的です。

Making Sense of Spark Performance
2015-06-16 00.26.06
詳細にベンチマークを取ってみると、意外とcpuがボトルネックになることが見えたのに驚き、今後インスタンスを選ぶ際の参考に出来る内容でした。
SparkのJobの実行状態の可視化が改善しているのも魅力的でした。

 

ランチ&企業ブース

会場の様子
20150615_163348
企業ブースが並んでいて、みんなコーラやペプシを片手にブースを回っていました。
DatabricksとMapRのブースが特に盛り上がっていた様に感じました。

お昼はランチボックス(アメリカンサイズでした。。。)
20150615_121629

ケーキもありました。(手ぶれがひどくてすみません。。。)
20150615_161439

会場の雰囲気や、全体のセッションの傾向として
– KeyNote は SparkR、Machine Leaning, Pipeline の話がメインテーマな感じがしました。
– 去年に比べて、Analysis分野に関する機能追加や事例の話が多く感じました。

Attendee Networking Event @ 620 Jones Street

おしゃれなオープンテラス付きのバーで、参加者のNetworking Eventがありました。
日本からいらっしゃっている方も多かったのが印象的でした。
緊張しながらも、Speakerの方とお話できたので、すごく貴重な機会でした。

 

Author

アバター
shoko

関連記事