'22/02/28更新：時間型（日付型）へ変換するコードを追記
本記事では、pandas（パンダス）を活用したデータ処理の頻出操作の雛形コードを載せました。下図はpandasによるデータ操作の一例です。Excel（エクセル）のような表形式で、行列データを自由自在に操作することが出来ます。
備忘録として、カテゴリを次の5つに分けて逆引きできるように記載しています。
■1. データフレーム型を作成する（ファイルを読み込む、追記する、空を作成する）
■2. ファイルへ書き出す
■3. データフレームを調べる
■4. データを抽出する
■5. 列（カラム）を操作する
文中のcolumn_name_listは、次のようなリストを意味します。
column_name_list = ['列名1', '列名2', '列名3']
■1. データフレーム型を作成する（ファイル読んだり）
# excelを読み込む
df = pd.read_excel(file_path, sheet_name = 'Sheet1')
# csvを読み込む
df = pd.read_csv(file_path1, sep = ',', # タブの場合は'\t' index_col = 0, # インデックスを指定する場合は列番号 header = 0, # ヘッダーにしたい行の番号。ヘッダーがなく、数字にしたい場合はNone
skiprows = [1, 2], # スキップしたい行番号をリストで指定 #usecols = [0,2], # 特定の列を指定して読みたい場合。 #unecols = lambda x: x not in [] # 特定の列以外を読みたい場合 encoding = 'utf-8', # 'utf-8' 'shift_jis' 'cp932' # コーデックを指定して読みたい場合 ) # ファイル書式のコーデックエラーを無視して読み込む。import codecsで要インポート with codecs.open(file_path, mode='r', encoding='utf-8', errors='ignore') as f: df = pd.read_table(f, #delim_whitespace = True, delimiter = ' ', names = column_name_list, # 列名をリストで与える ) # リストからpandasのデータフレーム型へ変換する。列名もcolumnsでリストで与える df = pd.DataFrame(data_list, columns = column_name_list) # 空のデータフレームを作る。データ行は空で、列名は指定する場合 df = pd.DataFrame(index=[], columns=column_name_list)
# 列名をリストで作成する
column_name_list = (["dummy_{:02d}".format(x) for x in range(100)])
# データフレームを行方向へ追加する df3 = pd.concat([df, df2]) # データフレームを列方向へ追加する df3 = pd.concat([df, df2], axis=1)
■2. ファイルへ書き出す
# csvファイルへ書き出し（インデックス書き出さない場合はFalse、する場合はTrue） df.to_csv('data.csv', sep=',', # 区切り文字の指定。タブの場合は'\t' mode='w', # 追記したい場合は'a' index=False, #header=column_name_list # ヘッダーがないデータをヘッダー付きで書き出したい場合はリストで設定
#float_format='%.12e', # float型を指数表記。小数点以下を12桁の例 encoding='utf-8', )
■3. データフレームを調べる
# pandas データフレームの行数、列数を調べる row, col = df.shape
# 型を調べる
print(df.dtypes)
# 特定の列の要素の数を数える df = df.groupby('列名').size() # 要約統計量を調べる df = df.describe()
■4. データを抽出する
# 列名を指定してリスト化する mylist = df['列名'].values.tolist() # クロス集計 df = df.groupby('列名').count() # 2つのdfとdf2で読み込み後、各々指定した列で重複する要素があるdfの行を抽出する df3 = df[df['列名'].isin(df2['列名2'])]
# 指定リスト内の要素がある行のみ残す
df2 = df[df['列名'].isin(リスト)]
# 指定列の最小値、最大値を抽出する x_min = df['列名'].min() x_max = df['列名'].max()
# 数値型の指定列の各要素について、指定条件区間にある値の行を全て抽出する
df_extract = df[(df['列名'] >= 17) & (df['列名'] <= 25)]
# 特定の列の指定文字列がある行を抽出する df3 = df[df['列名'] == 'ほげほげ']
■5. 列（カラム）を操作する
# 列を追加する（全て同じ値の場合）
df['新列名'] = 0
# 列を追加する（リストで与えることができる。但し、列数と同じ要素数である必要がある）
df['新列名'] = リスト
# 列名をリネームする
df = df.rename(columns={'列名': '新列名'})
# 列名を複数リネームする
target_column_list = ['列名1', '列名2', '列名3']
rename_column_list = ['列名A', '列名B', '列名C']
df = df.rename(columns=dict(zip(target_column_list, rename_column_list)))
# 列名をリストで一括リネームする（列数とリストの要素数が異なればエラーとなる）
df.columns = ['新列名A', '新列名B', '新列名C']
# 列名を指定してソートする(並び替える)。リストで複数指定できる。 df = df.sort_values(['列名'], ascending=True) # インデックスを1からに変更する。numpyを利用する
df.index = np.arange(1, len(df) + 1)
# インデックスを列名指定で変更する。 df.set_index('列名', inplace=True) # インデックスをリセットする df.reset_index(drop=True, inplace=True) # 列をコピーして新たな列を作成する df['新列名'] = df['列名']
# 重複列を削除する（ひとつ残す）
df2 = df.loc[:,~df.columns.duplicated()]
# 指定列を削除する df2 = df.drop(['列名'], axis=1)
# 指定列を残す
df2 = df[['列名A', '列名B']]
# 欠損値がある列を削除する
df.dropna(axis = 1, inplace = True)
# 特定の列で欠損値がある行を削除する
df.dropna(subset=['列名'], inplaece = True)
# 新たに1からナンバリングしたリストを列として挿入する No_list = np.arange(1, len(df) + 1).tolist() df['列名'] = No_list # 列順を変更する(列番号) df = df.iloc[:, [5, 0, 1, 2, 3, 4]]
# 列順を変更する(列名)
df = df.loc[:, ('列名C', '列名A', '列名B')]
# 1列に対して演算
df['列名'] = df['列名'] * 1e9
# 2列の各行の和（足し算）を新規列に作成する df = df.assign(新列名 = [x + '_' + y for x, y in zip(df['列名1'], df['列名2'])]) # 指定列の全ての行に同じ文字列を挿入する df['新列名'] = df['列名'].apply(lambda x: f"入れたい文字列{x}") # データフレームを列方向に追記する df3 = pd.concat([df, df2], axis=1)
# 特定の列の型を変換する
df2 = df.copy() df2['列名'] = df['列名'].astype('str') # 'str' 'int' 'float' 'category'
# 特定の列の型を日付型（時間型）へ変換する
df['列名'] = pd.to_datetime(df['列名'])
# 全ての列の型を変換する
df = df.astype('str')
# float型のフォーマットを指数表記にする。小数点以下12桁の例
pd.options.display.float_format = '{:12e}'.format
# 列を指定して辞書を作成する
dic_colA_vs_colB = dict(zip(df['列名A'], df['列名B']))
# 指定した列に対して、上記の辞書で置換する
df2 = df.replace({'列名A': dic_colA_vs_colB})
以上
<広告>
リンク
