Python [Python] Seleniumを使ったWebスクレイピング Seleniumは、ブラウザをコマンドを使って遠隔操作することのできるツールです。元々はWebアプリの試験の自動化が主な用途のようですが、スクレイピングにも用いられるようです。また、このツールはPythonから制御することも出来ます。本記事では、PythonからSeleniumモジュールを使ってchromeブラウザを直接制御する方法についてまとめます。 2018.10.19 2019.07.13 Pythonスクレイピングモジュール
Python [Python] BeautifulSoupを使ったWebスクレイピング BeautifulSoupは、Webサイトをスクレイピングしてデータを取得する際に便利なライブラリです。正規表現を使ってデータを取得する方法もありますが、正規表現パターンの構築の難しさが懸念としてありました。本記事では、こんな心配を解決してくれる(はずの)ライブラリの基本的な使い方についてまとめます。 2018.10.09 2020.03.21 Pythonスクレイピングモジュール
Python 【Python】 GET・POSTリクエストによるWebデータの取得(Requestsモジュール) Requestsモジュールは、PythonでHTTP通信を行うための3rdParty製のライブラリです。本記事では、このモジュールを使ってGET/POSTリスクエストを送信し、Webサイトのデータを取得する方法についてまとめます。 2018.10.02 2020.01.12 Pythonスクレイピングモジュール
Python [Python] Webサイトのデータを取得する(urllib.requestモジュール) 今回は、Pythonの標準ビルトインモジュールのurllib.requestを使ってWebサイトのデータを取得する方法についてまとめます。 2018.09.28 2019.07.13 Pythonスクレイピングモジュール
Python [Python] 正規表現の表記方法のまとめ(reモジュール) Pythonで正規表現を使うには、標準ライブラリのreモジュールを使います。本記事では、Pythonの正規表現の表記方法について、具体例を交えながらまとめています。 2018.09.18 2019.07.13 Pythonモジュール正規表現
Python 【Python】itertoolsモジュールを用いた組み合わせパターンの生成 itertoolsモジュールは、イテレータの使い方としてよくある実装をライブラリにしたものです。例えば、イテラブルの要素の組み合わせパターンを全て取得したい場合などに便利です。このモジュールは多くの関数を実装していますが、本記事では主なものをいくつかピックアップしてまとめます。 2018.08.28 2020.09.23 Pythonモジュール組込み関数
Python 【Python】ランダムな数値の生成方法(randomモジュールの使い方) Python標準ライブラリのrandomモジュールを使ってランダムな数値(乱数)を生成する方法や、データをシャッフルする方法等についてまとめています。 2018.08.21 2020.05.11 Pythonモジュール数値型
Python 【Python】 コマンドライン引数の使い方(argparseモジュール) argparseモジュールを使ったコマンドライン引数の設定方法について解説します。このモジュールは位置引数・オプション引数の設定やhelpメッセージの生成、排他グループの設定等の処理を簡単に実現することができます。 2018.07.31 2021.10.16 Pythonファイル操作モジュール
Python 【Python】小数点の四捨五入、切り上げ、切り捨て(round, math.ceil, math.floor) Pythonで小数点を四捨五入するには、round()やformat()を使います。一方、切り上げ、切り捨ては、標準ライブラリのmathモジュールを使った、math.ceil()、math.floor()を使います。本記事ではこれらの関数の使い方について具体例を交えながらまとめています。 2018.07.13 2023.03.14 Pythonモジュール数値型数学演算組込み型
Python [Python] 辞書の要素の順番を保持する(OrderedDict) Python3.6時点では辞書データはリストと異なり要素の順番は不定です。辞書型のデータ構造で順番を維持させたい場合はcollections.OrderedDict()を使います。このメソッドで生成される順序付き辞書(Ordered dic... 2018.07.01 2019.07.13 Pythonモジュール組込み型辞書型