Talk Proposal Submission
If you are interested in attending this talk at PyCon JP 2017, please use the social media share buttons below. We will consider the popularity of the proposals when making our selection.
talk
ScrapyではじめるWebスクレイピング入門(ja)
Speakers
Takanori Suzuki
Audience level:
Novice
Category:
Web Frameworks
Description
Webページからデータを抜き出すWebスクレイピングはメジャーなソフトウェア技術となってきています。Pythonで作られたWebスクレイピングフレーム Scrapy を使用して、本格的なスクレイピング用を行う手順を、ステップ・バイ・ステップで解説します。
Objectives
Webスクレイピングフレームワーク「Scrapy」の概要と基本的な使い方を理解します。スクレイピングのプログラムを書いていく過程を見ていくことによって、Webサイトを調査してコードを書いていく具体的な流れを学ぶことができます。
Abstract
Webサイトから情報を収集するWebスクレイピングの技術は、データを収集するためにはかかせない技術になっています。
このトークでは Python 製のWebスクレイピングフレームワークScrapyを使用して、Webサイトからデータを抜き出す手順についてステップ・バイ・ステップで解説します。
* scrapyのアーキテクチャ
* スクレイピングプロジェクトの作成→デフォルトで設定すべき項目
* Webページから単一の情報を取り出す
* Webページからデータを抜き出すための情報を調査する(Scrapy shell)
* 取り出した情報をCSV, JSONファイルに保存する
* 複数のページから情報を取り出す
* Scrapyのスクレイピング機能のまとめ
* Scrapyのその他の機能
