データ分析分野が急成長すると共に，分析対象となる情報をWeb上から自動的に収集する「Webクローラ（Web crawler）」と呼ばれる技術が注目を集めています． 本発表ではPythonの代表的なクローラ構築フレームワークScrapyを利用して，目的に応じたクローラを構築・運用する方法について学びます．ここでいう目的に応じたクローラとは，特定のWebサイトやサービスの情報に着目し選択的にクローリングしてくるクローラを指します．発表中では，クローラ構築方法に加えてクロール対象のサイトやサービスに迷惑をかけないような紳士的なクローラ構築方法について言及します． 更にBeautifulSoup4の利用方法を中心に，クロールして集めたデータの抽出（スクレイピング）・加工方法について紹介します． 主に取り上げる予定のライブラリは以下です． - aiohttp - asyncio - BeautifulSoup4 - lxml - pyquery - requests - Scrapy - scrapy-splash - Selenium