Talk Proposal Submission
If you are interested in attending this talk at PyCon JP 2017, please use the social media share buttons below. We will consider the popularity of the proposals when making our selection.
talk
PythonとHadoopで作るデータ分析環境(ja)
Speakers
Katsunori Kanda
Audience level:
Novice
Category:
Big Data
Description
データ処理に関わるツールはPythonで実装されていることが多いですが、HadoopエコシステムはJVM上で動作するものが多いためPythonからの接続が問題になることが多いです。このTalkではHadoopエコシステムを中心としたデータ分析環境においてPythonを利用した場合におきる問題とその対策をお伝えします。
Objectives
データエンジニアが抱える課題をPythonを使ってどのように解決するのか?とくに、「PythonからHDFS(secure mode)に接続するときに起きる問題とその対策」と「データ処理を並列化するためにコンテナをどう使えばよいか」について理解が深まります。
Abstract
株式会社サイバーエージェント アドテクスタジオでは、マルチテナント化されたHadoopを中心としたデータ分析環境を構築おり、分析環境を利用するためのCLIツールやワークフロー管理など多くのシステムでPythonを利用しています。
このtalkでは、データ分析環境の構築に際して生じるデータに関わる問題の解決にむけてPythonをどのように利用したかを事例を交えながら解説します。
