Sunday 2:20 p.m.–2:50 p.m.

Python + Hive on AWS EMRで貧者のログ集計 (ja)

Akira Chiku

Audience level:
Intermediate
Category:
Cloud Services / クラウドサービス

Description

KanmuではPythonとAmazon Elastic MapReduce上のHiveを利用してアプリケーション上でのユーザ行動履歴を集計しています。人的リソース、金銭的リソースの制約をある程度前提に置いた状態で、ユーザ行動を集計する際の設計的工夫、実装的工夫、利用ライブラリを紹介します。

Abstract

Kanmuの商売 ----------- Kanmuではクレジットカード会社のオンライン明細にクーポンを表示し、カード決済をするだけで様々な特典を受けることができる、CLO(Card Linked Offer)というサービスをやっています。カード会員がオンライン明細のCLOに対してどのような行動をとっているのかを集計し、「どのようなクーポンが人気なのか」等の分析を実施しています。 ログ集計 -------- 上記のような分析に、KanmuではAWS Elastic MapReduceにHiveをインストールして集計を実施しています。ただし、現在弊社にはインフラ専任のエンジニアはおらず、Hadoopの管理を専門で実行できる能力を会社として持っておりません。 そういった制約事項のある中、大きな投資をせずに、ただし将来の備えを施策に練り込んだ形で、どのようにPythonとAWSを活用して日々のログ集計や行動分析を実施しているかをお話します。