スクレイピング

urllib.parseモジュールは、URLの文字列を解析するPythonの標準ライブラリです。URLを構成要素毎に分解して取り出したり、相対URLから絶対URLを生成するのに使います。WebスクレイピングでダウンロードするURLを指定する際にも使えます。今回は、このモジュールの基本的な使い方についてまとめます。

スクレイピングはWebサイトから欲しい情報を取得する方法のことで、HTMLスクリプトを解析して所望のデータを抽出することが多いです。この操作はライブラリを使うことで簡単に実行できますが、今回は敢えて正規表現を使ってスクレイピングを行います。これによってスクレイピングの基本を理解できると思います。

Python標準組み込みモジュールのwebbrowserは、ブラウザを制御してWebサイトを表示することができます。本記事では、このモジュールの使い方についてまとめます。

PythonでURLエンコードおよびデコードをするには、urllib.parseモジュールを使います。本記事ではこれらの使い方についてまとめます。

Seleniumは、ブラウザをコマンドを使って遠隔操作することのできるツールです。元々はWebアプリの試験の自動化が主な用途のようですが、スクレイピングにも用いられるようです。また、このツールはPythonから制御することも出来ます。本記事では、PythonからSeleniumモジュールを使ってchromeブラウザを直接制御する方法についてまとめます。

BeautifulSoupは、Webサイトをスクレイピングしてデータを取得する際に便利なライブラリです。正規表現を使ってデータを取得する方法もありますが、正規表現パターンの構築の難しさが懸念としてありました。本記事では、こんな心配を解決してくれる（はずの）ライブラリの基本的な使い方についてまとめます。

Requestsモジュールは、PythonでHTTP通信を行うための3rdParty製のライブラリです。本記事では、このモジュールを使ってGET/POSTリスクエストを送信し、Webサイトのデータを取得する方法についてまとめます。

今回は、Pythonの標準ビルトインモジュールのurllib.requestを使ってWebサイトのデータを取得する方法についてまとめます。