pandas

Python Linuxのターミナルでコマンド実行した結果を読む方法

'20/03/02更新:コードの可読性の向上。はじめに、下図はLinuxのターミナルで、コマンド $ ps aux を実行した例です。 本記事では、上記のようなコマンドラインで実行した結果がスタックであるようなデータを下図のような横棒グラフを作成して可視化する処理…

Python 指定文字列を複数行に渡って置換する方法

'20/08/13更新:見づらかったので記事構成を編集しました。 本コードの仕様について説明します。下図左にある「@TARGET_*@」のように@で囲まれた複数箇所を下図右のように置換する雛形コードを載せました。複数行に渡って置換している元データは、別ファイ…

Python 「PandasのDataFrame・Series」,「numpyのndarray」,「list」の違い

'22/05/01更新: 本記事では、Pythonでデータ処理するために、ほぼ必須のPandasとNumpyとlistについて、その概要説明と雛形コードを載せました。それぞれの特徴を一言で述べると、pandasは行列データの加工が容易、numpyは行列計算が高速、listは1次元配列で…

Python 各行データをリスト化し、そのリストを用いて別ファイル内の指定文字列を置換する方法

'20/08/13更新:読みづらかったので、記事構成を編集しました。 下図のように、行方向にデータが並んでいるcsvファイルがあるとします。1列目はインデックス名、2列目以降は各行の数値データです。このデータをpandasで読み込んでリストに格納したり、別フ…

Python 行名を指定して行データをリスト化し、別ファイル内の文字を置換「pandas」

本記事の特記事項はpandasのインデックスのデータ処理について下記2点です。1. インデックス名(行名)を列名で指定して与える下記例では、一行目に列名IDの列がインデックス(行名)になります。df_s = df.set_index('ID')2. インデックス(行名)のその行のデー…

Python 指定列の要素に対して、部分一致によりデータをリストで抽出。それを用いて置換する方法「pandas」

'20/08/15更新:インデックス番号を1から振り直すコードを追記。また、備忘録の観点から、本記事の構成を再編集しました。 1. ある列を対象に部分一致したその行データを抽出したい場合 df[df['列名'].str.contains('部分一致にしたい内容')] 完全一致の場合…

Python 指定列を対象に、抽出したい数値に近い値を抽出する「pandas」

'20/03/21更新:アルゴリズム変更とコードを見易く刷新した。 下図のようなcsvファイルで、3列目の列名「Out」に数値が昇順に並んでいる。抽出したい値が例えば2.5の場合、2.5に近い値を抽出することを目的とする。 No In Out abc 1 21 1.2 a 2 32 1.24 b 3 …