データの前処理で使うpandas には、データを要約・集約するための agg メソッドがあり、これを使いこなせるようになると、複雑な集計処理もシンプルに記述できるようになります。本記事では、agg メソッドの使い方を、具体的な例で解説します。 aggメソッド…

本記事では、下図のような行方向に年月の時系列と数値があるデータセットにおいて、行数が揃っていない場合（欠損）がある場合でも、横軸の目盛りを指定してグラフを描画するサンプルコードを載せました。 その方法は、欠損している年月データを作成する時に…

本記事では、画像とプロンプト（命令文）を入力データとして、その回答を文章で生成するサンプルコードを掲載しました。この場合、視覚言語モデル（Vision Language Model, VLM）を用います。 使用したモデルは、Hugging Faceの「llava-calm2-siglip」です。…

はじめに Llama-3（ラマ）モデルはMeta社のオープンソースのLLM（大規模言語モデル）です。これを元に日本語での精度を向上させたモデルがいくつか公開されています。無料で利用できます。 本記事では、このLlama-3モデル（派生モデル）をローカルPCでChatGP…

本記事では、下図左のように半角カナが含まれている文字を下図右のように全角カナへ変換する雛形コードを載せました。ライブラリは、「jaconv」を用います。 ■インストールは次の通りです。 pip install pandas jaconv ■本プログラムpandasデータフレーム上…

'24/08/31更新：レーダーチャートの右横に、その数値データを表形式で載せるコードを追記しました。 本記事では、Pythonのmatplotlibとpandasライブラリを使って、レーダーチャートとデータテーブルを同時に表示する方法を紹介します。レーダーチャートは、…

本記事では、下図のような等高線図を描く雛形コードを載せました。 下図は、上図を描いた数値データです。この例では、Xの値は1～10の整数、Yの値は1～8の整数の値をとっています。上図は、その組み合わせ「頂点座標（X, Y）」の数を全体数で割った割合を等…

下図は、本プログラムの実行例です。100個のランダムデータがあって、赤点は任意に指定したx,y座標 (0.75, 0.58)です。青点はプログラム実行によって得られた赤点に最も近いN＝5個を抽出した結果です。 下図は、上記の青点のデータである。pandasデータフレ…

本記事では、二つのデータフレームを結合する雛形コードを6つ載せました。はじめに、その一覧を示します。 #1. 基本的な結合: merged_df = pd.merge(df1, df2, on='key_column') #2. 異なる列名を指定しての結合: merged_df = pd.merge(df1, df2, left_on='l…

本記事では、下図左のように複数の列「入荷1」,「入荷2」,「入荷3」を行方向に走査して、もし「りんご」の単語があれば、下図右のように新しい列「りんご」に真偽値「True」を代入する雛形コードを載せました。 下記は、上記の処理をするpythonスクリプトで…

本記事では、pandasデータフレームに対して、所望のグループ毎に統計量を計算する雛形コードを載せました。これは、groupbyのaggメソッドを用いることで簡単にできます。groupby は、データを特定の基準でグループ化するために使用されます。agg メソッドは…

本記事では、下図のような縦軸と横軸が文字列の場合の等高線図を描く雛形コードを載せました。図示するにあたって、下図例の横軸では「特大、大、中、小、極小」の順に、「0, 1, 2, 3, 4」の座標を割り当てることによって実現しています。縦軸も同様の考え方…

本記事では、下図のような散布図の雛形コードを載せました。特徴は、第1から第4象限までの各象限のデータを異なる色でプロットします。また、各データポイントのデータ名を散布図上に表記します（この例では‘A’から’J’）。これにより、データを識別するのが…

Multi-Index（マルチインデックス）とは、下図のようにインデックスがOne, Twoとa, bのように複数のインデックスがあることを言います。 本記事では、上記のようなデータセットに対して、下図右のように横軸が２段表示になるような雛形コードを載せました。…

本記事では、下図のようにpythonスクリプトの実行によって、LINEへメッセージを送信する雛形コードを載せました。 使用するにあたっては完全に無料ではなく、'24/4/27現在の無料プラン（コミュニケーションプラン）は、送信できるメッセージ数は月に200通ま…

本記事では、tkinterやpyside6などで作成したGUIアプリのpythonスクリプトをソフトウェア（デスクトップアプリ）として実行可能な形式（Windowsならexe, Macなら.app）にする方法を載せました。本記事では「pyinstaller」について述べます。 有名どころのラ…

'24/04/16更新：メニューバーから実行できるボタン追加のコードを追記しました。 本記事では、スプレッドシートを置いたカレントフォルダ以下を再帰的に探索して、ファイル一覧を書き出すGoogel App Script（GAS）の雛形コードを載せました。下図は、本プロ…

本記事では、PySide6でデスクトップアプリを作成する雛形コードを載せました。本アプリの動作検証用のサンプルのexcelファイルと雛形コードは、次のgithubにアップしています。https://github.com/hk29-ai/template_for_GUI_app_using_pyside6 ■ライブラリの…

本記事では、例えばjpg, jpeg, pngの３種類の画像ファイルを読み込む雛形コードを記載しました。 ■本プログラム import os import glob # カレントディレクトリの取得folder_path = os.getcwd() # 画像ファイルをリストで取得files_path = glob.glob(os.path…

'24/04/06更新：雛形コードを追加した。本記事では、辞書からpandasデータフレームを作成する雛形コードを3パターン載せました。 ■その1. 下図のように、キーに対してバリューが1つの場合の辞書データがあります。これからキーとバリューを列に設定したデー…

ソートせずに、メソッド「df.nlargest」、「df.nsmallest」を使うことで簡単にできます。具体例で示します。下図のような506行×14列のデータがあります。この右端の列「PRICE」の上位25個、下位25個のデータ行をそれぞれ抽出します。 まずは、上位25個の行デ…

下図はpythonライブラリpytrendsを用いて、ワード「株」を指定して、ここ１週間の関連ワードを抽出した結果です。ターゲット期間は、日, 月, 年単位で指定できます。 ■ライブラリのインストール pip install pytrends ■本プログラム from pytrends.request i…