web関連

Python LINE message APIにてLINEへメッセージを送る雛形コード

本記事では、下図のようにpythonスクリプトの実行によって、LINEへメッセージを送信する雛形コードを載せました。 使用するにあたっては完全に無料ではなく、'24/4/27現在の無料プラン(コミュニケーションプラン)は、送信できるメッセージ数は月に200通ま…

Python 指定したワードに対する関連キーワードをGoogle Trendsより抽出する

下図はpythonライブラリpytrendsを用いて、ワード「株」を指定して、ここ1週間の関連ワードを抽出した結果です。ターゲット期間は、日, 月, 年単位で指定できます。 ■ライブラリのインストール pip install pytrends ■本プログラム from pytrends.request i…

Python 指定した地域名の緯度経度を取得する。さらにそれを中心とした四角形を地図上に描く「folium」

本記事では、国土地理院の無料のAPIを利用して、指定した地域名の緯度と経度を取得する雛形コードを載せました。そして、ライブラリ「folium」を利用して、下図のように抽出した緯度と経度を中心座標として矩形を描く雛形コードを載せました。 国土地理院のA…

Python 急上昇ワードを抽出する。GoogleトレンドAPI「pytrends」

pythonライブラリ「pytrends」を用いることで、Googleトレンドにおける直近の人気キーワードを容易に抽出することが出来ます。下記はそのライブラリのHPで、公式ではないAPIです。 github.com ライブラリのインストールは次の通りpipでします。 pip install …

Python サーバーへSSH接続してcsvファイルを読み込んだり、SFTP転送によりファイルコピーする「Paramiko」

例えば、WindowsローカルPCにて、Linuxサーバ等とファイルをやり取りするには、FTPソフトであるFFFTPやWinSCPなどを使用する方法があります。本記事では、そのようなソフトを使用するのではなくて、Pythonスクリプトで同様のことをする雛形コードを載せまし…

Python Web APIにて、JSONのtrue, falseを指定する方法「json」

本記事では、Python辞書型をJsonへ変換して、ポストリクエストする雛形コードを載せました。(このサンプルは実在しないURLとリクエスト情報のため、ポストメソッド実行時にレスポンスのエラーになります。あくまで例のための雛形コードです) ■本プログラム…

Python 楽天トラベルWeb API(REST)によるホテル情報の抽出「requests」

'22/04/13更新:堅牢性のためにエラー処理などを追加 本記事では、下図のようにホテル情報を抽出する雛形コードを載せました。使用するライブラリは「requests」です。 はじめに、楽天IDが必要なので、登録してない場合は登録します。そして、次のリンク先に…

Python 株ランキングを例に、html解析によってデータを抽出してcsvへ保存する「BeautifulSoup」

本記事では、html解析により、web上のデータを抜き出し、csvへ書き出す雛形コードを載せました。下図は、日経HPの株の売買ランキングを抽出した場合の例です。証券コードと銘柄名を抽出してcsvへ出力します。 ライブラリのインストールは次の通りです。 pip …

Python google-search-consoleの検索パフォーマンスで取得したURLからページタイトルを取得する「BeautifulSoup」

'21/05/12更新:「ページ.csv」内のヘッダー名のひとつ「ページ」が「上位ページ」に変更したため、それに対応。 Google Search Consoleは、自分のブログのアクセス状況を調べるツールです。Chromeなどのwebブラウザで操作し、「検索パフォーマンス」にある…

Python 「YouTube Data API」キーワード検索により動画チャンネルのランキングを作成する

本記事では、下図のようにURL、チャンネルタイトル、動画タイトル、閲覧数、いいね数などを抽出してcsvファイルに保存する雛形コードを載せました。APIキーは次のリンク先で取得できます。OAuth 2.0 トークンは不要です。https://console.developers.google.…

Python 【RPA】再帰的にWebページを完全な「html」または「mhtml」で自動保存する

本記事では、PythonでRPA(Robotic Process Automation)を行う実施例を載せました。はてなブログ記事をサイトマップ「sitemap.xml」から、全自動で保存する雛形コードで動作例は次の動画です。 www.youtube.com 手法は、前提としてChromeブラウザを使用しま…

Python webスクレイピング/①google NEWSトップページ/②googleニュース検索エンジン/③画像

■本記事はスクレイピングに関して、3つのことをします。 ①google NEWSトップページにあるリンクをスクレイピングする ②googleニュース検索エンジンにキーワード検索をした結果をスクレイピングする 下図のように、タイトルとURLを抽出する。実行する度に、実…