Talk Submission

If you are interested in attending this talk at PyCon JP 2016, please use the social media share buttons below. We will consider the popularity of the proposals when making our selection.

This talk proposal has been cancelled.

talk

Pythonでクラウドサービスを使いビッグデータを解析して効果計測・請求処理を行った話(ja)

Speakers

Akira Taniguchi

Audience level:

Intermediate

Category:

Cloud

Description

今回のスポンサーの一つでもあるシルバーエッグ・テクノロジーは、様々なクラウドサービス利用してビッグデータを解析し、自社サービスの効果計測、およびそれに紐づく請求処理を行っています。 実際に動作しているPythonのコードを交えながら、そこで得た知見、ノウハウ、ぶち当たった壁とその突破方法、および今後の展開を共有し、またその際作成したクラウドサービスライブラリも公開します。

Objectives

リスナーがPythonを使ってのいくつかのAmazon、およびGoogleクラウドサービスの利用方法、またBigQueryを使ったBigデータの解析手法を学ぶことができる。

Abstract

世の中には便利なクラウドサービスが多数存在しています。 シルバーエッグはそれらを利用してビッグデータの解析を行い、それを元にお客様に弊社サービスの効果情報を提供、およびそれに即した請求処理を行っています。 それらはすべてPythonで実装されており、日々自動で実行、運用されています。 今回は 1. Pythonを使ってのBigDataの扱い方(実際に動作しているコードを参照しながら、多重プロセス・およびBigQueryを扱うノウハウの共有を行う) 2. Pythonを使っての各種クラウドサービスの扱い方(Amazon、およびGoogleのクラウドサービスAPIの実行方法、およびそれをラッピングしたライブラリの共有を行う) 3. 実運用を行った際に発生した問題点とその突破方法、および得た知見 4. 今後の展開 を共有します。 リスナーの皆様にはこの情報を元に、Pythonやクラウドサービスの利用性、可能性をより感じ取っていただけると幸いです。 《参考:稼動しているモジュールの動作概要》 【日次実行】 1. モジュールがデプロイされている**EC2**環境をタイマーで起動 2. **S3**に配置された弊社レコメンドエンジンが出力するビッグデータを取得、CSV形式にコンバート 3. **Google Storage**へアップロード、その後**BigQuery**にインポート 4. **BigQuery**にクエリを発行し、結果を参照して、コンバージョン結果を**postgre(RDS)**にインポート、ポータルサイトから参照できる状態にする 【月次実行】 1. SQSを使ってサービスを呼び出し、請求処理を実行。日時でインポートしたコンバージョン結果を元に、お客様に請求 _本システムで利用しているクラウドサービス_(カッコ内は今後利用していく予定) Amazon:EC2、S3、SQS、Postgre、(Data Pipe、SWF、Aurora) Google:Cloud Storage、BigQuery
  • このエントリーをはてなブックマークに追加