応募トーク

これは応募されたトークです。聞きたいと思うトークをSNSで拡散しましょう。選考時に参考にさせていただきます。

この応募されたトークはキャンセルされました。

talk

Pythonでクラウドサービスを使いビッグデータを解析して効果計測・請求処理を行った話(ja)

スピーカー

Akira Taniguchi

対象レベル:

中級

カテゴリ:

Cloud

説明

今回のスポンサーの一つでもあるシルバーエッグ・テクノロジーは、様々なクラウドサービス利用してビッグデータを解析し、自社サービスの効果計測、およびそれに紐づく請求処理を行っています。 実際に動作しているPythonのコードを交えながら、そこで得た知見、ノウハウ、ぶち当たった壁とその突破方法、および今後の展開を共有し、またその際作成したクラウドサービスライブラリも公開します。

目的

リスナーがPythonを使ってのいくつかのAmazon、およびGoogleクラウドサービスの利用方法、またBigQueryを使ったBigデータの解析手法を学ぶことができる。

概要

世の中には便利なクラウドサービスが多数存在しています。 シルバーエッグはそれらを利用してビッグデータの解析を行い、それを元にお客様に弊社サービスの効果情報を提供、およびそれに即した請求処理を行っています。 それらはすべてPythonで実装されており、日々自動で実行、運用されています。 今回は 1. Pythonを使ってのBigDataの扱い方(実際に動作しているコードを参照しながら、多重プロセス・およびBigQueryを扱うノウハウの共有を行う) 2. Pythonを使っての各種クラウドサービスの扱い方(Amazon、およびGoogleのクラウドサービスAPIの実行方法、およびそれをラッピングしたライブラリの共有を行う) 3. 実運用を行った際に発生した問題点とその突破方法、および得た知見 4. 今後の展開 を共有します。 リスナーの皆様にはこの情報を元に、Pythonやクラウドサービスの利用性、可能性をより感じ取っていただけると幸いです。 《参考:稼動しているモジュールの動作概要》 【日次実行】 1. モジュールがデプロイされている**EC2**環境をタイマーで起動 2. **S3**に配置された弊社レコメンドエンジンが出力するビッグデータを取得、CSV形式にコンバート 3. **Google Storage**へアップロード、その後**BigQuery**にインポート 4. **BigQuery**にクエリを発行し、結果を参照して、コンバージョン結果を**postgre(RDS)**にインポート、ポータルサイトから参照できる状態にする 【月次実行】 1. SQSを使ってサービスを呼び出し、請求処理を実行。日時でインポートしたコンバージョン結果を元に、お客様に請求 _本システムで利用しているクラウドサービス_(カッコ内は今後利用していく予定) Amazon:EC2、S3、SQS、Postgre、(Data Pipe、SWF、Aurora) Google:Cloud Storage、BigQuery
  • このエントリーをはてなブックマークに追加