web関連

Python サーバーへSSH接続してcsvファイルを読み込んだり、SFTP転送によりファイルコピーする「Paramiko」

例えば、WindowsローカルPCにて、Linuxサーバ等とファイルをやり取りするには、FTPソフトであるFFFTPやWinSCPなどを使用する方法があります。本記事では、そのようなソフトを使用するのではなくて、Pythonスクリプトで同様のことをする雛形コードを載せまし…

Python Web APIにて、JSONのtrue, falseを指定する方法「json」

本記事では、Python辞書型をJsonへ変換して、ポストリクエストする雛形コードを載せました。(このサンプルは実在しないURLとリクエスト情報のため、ポストメソッド実行時にレスポンスのエラーになります。あくまで例のための雛形コードです) ■本プログラム…

Python 楽天トラベルWeb API(REST)によるホテル情報の抽出「requests」

'22/04/13更新:堅牢性のためにエラー処理などを追加 本記事では、下図のようにホテル情報を抽出する雛形コードを載せました。使用するライブラリは「requests」です。 はじめに、楽天IDが必要なので、登録してない場合は登録します。そして、次のリンク先に…

Python 株ランキングを例に、html解析によってデータを抽出してcsvへ保存する「BeautifulSoup」

本記事では、html解析により、web上のデータを抜き出し、csvへ書き出す雛形コードを載せました。下図は、日経HPの株の売買ランキングを抽出した場合の例です。証券コードと銘柄名を抽出してcsvへ出力します。 ライブラリのインストールは次の通りです。 pip …

Python google-search-consoleの検索パフォーマンスで取得したURLからページタイトルを取得する「BeautifulSoup」

'21/05/12更新:「ページ.csv」内のヘッダー名のひとつ「ページ」が「上位ページ」に変更したため、それに対応。 Google Search Consoleは、自分のブログのアクセス状況を調べるツールです。Chromeなどのwebブラウザで操作し、「検索パフォーマンス」にある…

Python 「YouTube Data API」キーワード検索により動画チャンネルのランキングを作成する

本記事では、下図のようにURL、チャンネルタイトル、動画タイトル、閲覧数、いいね数などを抽出してcsvファイルに保存する雛形コードを載せました。APIキーは次のリンク先で取得できます。OAuth 2.0 トークンは不要です。https://console.developers.google.…

Python 【RPA】再帰的にWebページを完全な「html」または「mhtml」で自動保存する

本記事では、PythonでRPA(Robotic Process Automation)を行う実施例を載せました。はてなブログ記事をサイトマップ「sitemap.xml」から、全自動で保存する雛形コードで動作例は次の動画です。 www.youtube.com 手法は、前提としてChromeブラウザを使用しま…

Python webスクレイピング/①google NEWSトップページ/②googleニュース検索エンジン/③画像

■本記事はスクレイピングに関して、3つのことをします。 ①google NEWSトップページにあるリンクをスクレイピングする ②googleニュース検索エンジンにキーワード検索をした結果をスクレイピングする 下図のように、タイトルとURLを抽出する。実行する度に、実…