{ "cells": [ { "cell_type": "markdown", "id": "e94a41dd-08dd-4a1e-9f87-b0f33a0f77e9", "metadata": {}, "source": [ "# 形状変更" ] }, { "cell_type": "markdown", "id": "0973412d-0339-4fcc-8e9f-cc0d5c5b7529", "metadata": {}, "source": [ "データの形状を変更する操作は、データ分析や加工において重要なステップです。Polarsでは効率的に形状を変更するための様々な方法を提供しています。この章では、その中でも特に重要な操作について説明します。" ] }, { "cell_type": "code", "execution_count": 1, "id": "c7a609c5-66dc-45bb-b292-38b54c5877d8", "metadata": {}, "outputs": [], "source": [ "import polars as pl\n", "from helper.jupyter import row" ] }, { "cell_type": "markdown", "id": "9e46a1f8-e439-4819-a8aa-ef8f942f06a3", "metadata": {}, "source": [ "## ピボットテーブル\n", "\n", "ピボットテーブルは、**データの集計や再構成**を行うための強力なツールです。特に、複数の次元（列）を指定してデータを再配置し、表形式で集計結果を分かりやすく整理するのに役立ちます。Polarsでは、`pivot`メソッドを使用してピボットテーブルを簡単に作成できます。一般的にピボットテーブルに変換すると、元々縦長いテーブルは横長いテーブルになります。また、`unpivot`メソッドは`pivot`の逆演算で、横長いテーブルを縦長いテーブルに変換します。" ] }, { "cell_type": "markdown", "id": "a193b448-fdc5-433a-b526-6272811134f8", "metadata": {}, "source": [ "### pivot" ] }, { "cell_type": "markdown", "id": "a13eff66-e3a8-4e61-a46f-fae8fa2135a7", "metadata": {}, "source": [ "`pivot`メソッドを使用すると、データフレームをピボットテーブルの形式に変換できます。この操作では、指定した列を基準にしてデータを集計し、行列形式で再構築します。\n", "\n", "以下の例では、`name`列を新しい列ラベルとして使用し、`index`列を行ラベル（インデックス）として設定しています。また、`value`列の値を新しいテーブルのセルに挿入し、同じ行と列の組み合わせが複数存在する場合には`aggregate_function`で指定した方法（この場合は`first`）で値を集約します。" ] }, { "cell_type": "code", "execution_count": 2, "id": "6c853587-1288-4f2d-97f3-e8f4ebd98863", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "shape: (10, 4)
indexnamevaluescore
i64stri64i64
0"A"101
1"A"203
2"A"305
0"B"404
1"B"503
2"B"602
0"C"701
1"C"802
2"C"903
1"A"1004
\n", "shape: (3, 4)
indexABC
i64i64i64i64
0104070
1205080
2306090
" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "df = pl.DataFrame(\n", " dict(\n", " index=[0, 1, 2, 0, 1, 2, 0, 1, 2, 1],\n", " name=['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C', 'A'],\n", " value=[10, 20, 30, 40, 50, 60, 70, 80, 90, 100],\n", " score=[1, 3, 5, 4, 3, 2, 1, 2, 3, 4],\n", " )\n", ")\n", "\n", "df1 = df.pivot('name', index='index', values='value', aggregate_function='first')\n", "row(df, df1)" ] }, { "cell_type": "markdown", "id": "c3919b38-0489-4ca0-baa2-ffc4e156e7e8", "metadata": {}, "source": [ "`aggregate_function`引数を使用して、同じ行列の組み合わせに対応する複数の値をどのように集約するかを指定できます。Polarsはこの引数に以下のような標準的な関数を受け付けます：\n", "\n", "1. **`sum`**: 値を合計します。\n", "2. **`mean`**: 値の平均を計算します。\n", "3. **カスタム演算式**: ユーザー定義の集約演算式を適用可能です。ここでは`pl.element()`ですべての値をリストに集約します。\n", "\n", "以下の例を通して、異なる`aggregate_function`を使用したピボットの結果を確認します。" ] }, { "cell_type": "code", "execution_count": 3, "id": "9ac8c298-3d88-45cc-b3b9-3de5b97939e7", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "shape: (3, 4)
indexABC
i64i64i64i64
0104070
11205080
2306090
\n", "shape: (3, 4)
indexABC
i64f64f64f64
010.040.070.0
160.050.080.0
230.060.090.0
\n", "shape: (3, 4)
indexABC
i64list[i64]list[i64]list[i64]
0[10][40][70]
1[20, 100][50][80]
2[30][60][90]
" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "df2 = df.pivot('name', index='index', values='value', aggregate_function='sum')\n", "df3 = df.pivot('name', index='index', values='value', aggregate_function='mean')\n", "df4 = df.pivot('name', index='index', values='value', aggregate_function=pl.element())\n", "row(df2, df3, df4)" ] }, { "cell_type": "markdown", "id": "978a4ade-edfc-4561-bb22-e945e22c680b", "metadata": {}, "source": [ "`values`引数に複数の列を渡すことで、指定した複数の列がピボットテーブルの中で展開されます。この場合、結果のテーブルでは、列ラベルが`name`列の値に基づき、各ラベルに対応するサブ列として指定された値の列が表示されます。又、`separator`引数を指定することで、列名と値の結合文字を自由に変更できます。" ] }, { "cell_type": "code", "execution_count": 4, "id": "4fbff1a4-9fc1-4eaa-8430-d33466f31064", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "shape: (3, 7)
indexvalue_Avalue_Bvalue_Cscore_Ascore_Bscore_C
i64list[i64]list[i64]list[i64]list[i64]list[i64]list[i64]
0[10][40][70][1][4][1]
1[20, 100][50][80][3, 4][3][2]
2[30][60][90][5][2][3]
\n", "shape: (3, 7)
indexvalue:Avalue:Bvalue:Cscore:Ascore:Bscore:C
i64i64i64i64i64i64i64
0104070141
11005080432
2306090523
" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "df5 = df.pivot('name', index='index', values=['value', 'score'], aggregate_function=pl.element())\n", "df6 = df.pivot('name', index='index', values=['value', 'score'], aggregate_function=\"max\", separator=\":\")\n", "row(df5, df6)" ] }, { "cell_type": "markdown", "id": "0e91596c-e845-437d-86c3-2ea600383a8c", "metadata": {}, "source": [ "### unpivot\n", "\n", "`DataFrame.unpivot()`は`pivot()`の逆操作で、横長のデータフレームを縦長の形式に変換します。このメソッドを使うことで、複数の列を1つの列に変換し、元の形式に戻すことができます。`unpivot`では、指定した列を一つの列にまとめ、その他の列をインデックスとして保持します。これにより、カテゴリごとにデータを整形することができます。`unpivot()`メソッドには以下の引数があります：\n", "\n", "- **`on`**: unpivotする対象となる列を指定します。列名や列名のリスト、あるいは列を選択するセレクターを使用できます。通常、`cs.exclude()`を使ってインデックス列や不要な列を除外することが一般的です。列を選択する演算式（`pl.col()`や`pl.exclude()`など）は使用できません。\n", " \n", "- **`index`**: 新しい縦長データフレームで、インデックスとして使用する列を指定します。`index`列は、元のデータフレームでの位置を保持するための役割を果たします。\n", "\n", "- **`variable_name`**: `on`引数で指定した複数の列名から一つの列を作成します。この引数で、この新しい列の名前を指定します。例えば、元の列名をまとめた新しい列を作成できます。\n", "\n", "- **`value_name`**: `on`で指定した列の値から作成した列の名前を指定します。これにより、`on`で指定された各列の値が新しい列に変換され、結果として縦長のデータフレームに格納されます。\n", "\n", "次の例では、`index`列を除くすべての列を`unpivot`し、`name`列に元の列名を、`value`列に対応する値を格納します。`index`列はそのまま保持され、結果的に縦長のデータフレームが作成されます。このように、`unpivot`を使うと、ピボットで横長に変換されたデータを再び縦長に戻すことができます。" ] }, { "cell_type": "code", "execution_count": 5, "id": "56662358-4a1e-4b88-9994-14376bfe8885", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "shape: (3, 4)
indexABC
i64i64i64i64
0104070
1205080
2306090
\n", "shape: (9, 3)
indexnamevalue
i64stri64
0"A"10
1"A"20
2"A"30
0"B"40
1"B"50
2"B"60
0"C"70
1"C"80
2"C"90
" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "from polars import selectors as cs\n", "df_u1 = df1.unpivot(on=cs.exclude('index'), index='index', variable_name='name', value_name='value')\n", "row(df1, df_u1)" ] }, { "cell_type": "markdown", "id": "99ed02e6-647d-4ca9-a17f-bc9478620abc", "metadata": {}, "source": [ "`df6`のような複数の列を`pivot()`の`values`引数に渡して作成したデータフレームを元の形に戻すには少し複雑な処理が必要です。以下のコードでは、`unpivot()`を使って縦長のデータフレームに戻し、その後、列名と元の名前を分割して`pivot()`を使って再構成しています。\n", "\n", "1. **`unpivot(on=cs.exclude('index'), index='index')`**:\n", " - `df6`のピボットされたデータフレームを縦長のデータフレームに変換します。\n", " - `index='index'`で、`index`列はそのまま保持され、`on=cs.exclude('index')`により、`index`列以外の全ての列が縦長になります。`variable`列には元々の列名（例えば、`value:A`, `score:B`など）が格納されます。\n", "\n", "2. **`pl.col('variable').str.split(\":\")`**:\n", " - `variable`列（元々の列名）を`:`で分割し、リスト（2つの要素）にします。例えば、`value:A`は`['value', 'A']`に分割されます。\n", "\n", "3. **`.list.to_struct(fields=['colname', 'name'])`**:\n", " - 分割されたリストを構造体に変換します。この構造体は2つのフィールド（`colname`と`name`）を持ちます。\n", "\n", "4. **`.struct.unnest()`**:\n", " - 構造体を展開し、2つの新しい列（`colname`と`name`）を作成します。これにより、`colname`列には元の列名（`value`、`score`）が、`name`列には元々のデータフレームのこの二つ列のデータが格納されます。\n", "\n", "5. **`pivot('colname', index=['index', 'name'], values='value')`**:\n", " - 最後に、`colname`列を使って元のデータをピボットします。`index`には元々の`index`列と`name`列を使い、`values`には元々の値が入っていた`value`列を指定します。" ] }, { "cell_type": "code", "execution_count": 6, "id": "c11e4b68-8108-416a-b6ad-de5fe0f5df3b", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "shape: (9, 4)
indexnamevaluescore
i64stri64i64
0"A"101
1"A"1004
2"A"305
0"B"404
1"B"503
2"B"602
0"C"701
1"C"802
2"C"903
" ], "text/plain": [ "shape: (9, 4)\n", "┌───────┬──────┬───────┬───────┐\n", "│ index ┆ name ┆ value ┆ score │\n", "│ --- ┆ --- ┆ --- ┆ --- │\n", "│ i64 ┆ str ┆ i64 ┆ i64 │\n", "╞═══════╪══════╪═══════╪═══════╡\n", "│ 0 ┆ A ┆ 10 ┆ 1 │\n", "│ 1 ┆ A ┆ 100 ┆ 4 │\n", "│ 2 ┆ A ┆ 30 ┆ 5 │\n", "│ 0 ┆ B ┆ 40 ┆ 4 │\n", "│ 1 ┆ B ┆ 50 ┆ 3 │\n", "│ 2 ┆ B ┆ 60 ┆ 2 │\n", "│ 0 ┆ C ┆ 70 ┆ 1 │\n", "│ 1 ┆ C ┆ 80 ┆ 2 │\n", "│ 2 ┆ C ┆ 90 ┆ 3 │\n", "└───────┴──────┴───────┴───────┘" ] }, "execution_count": 6, "metadata": {}, "output_type": "execute_result" } ], "source": [ "(\n", "df6.unpivot(on=cs.exclude('index'), index='index')\n", ".with_columns(\n", " pl.col('variable')\n", " .str.split(\":\")\n", " .list.to_struct(fields=['colname', 'name'])\n", " .struct.unnest()\n", ")\n", ".pivot('colname', index=['index', 'name'], values='value')\n", ")" ] }, { "cell_type": "markdown", "id": "b9596d85-8f33-4392-8457-89e260175a35", "metadata": {}, "source": [ "## unstack" ] }, { "cell_type": "markdown", "id": "f4057fee-5ab8-45e0-b18e-bbadce2be445", "metadata": {}, "source": [ "`unstack()`はNumPyの`reshape`に似ており、一つの列の要素を複数の列に展開するために使用します。`how`引数で並び順を指定でき、`'vertical'`では縦方向（行優先）、`'horizontal'`では横方向（列優先）に展開されます。また、`fill_values`引数を使うことで、欠損部分に埋める値を指定できます。\n", "\n", "以下の例では、`index`、`name`、`value`、`score`の4つの列を持つデータフレームを作成し、`unstack()`を使って縦方向および横方向に展開します。" ] }, { "cell_type": "code", "execution_count": 7, "id": "a54b6207-a3f9-463a-86d8-333ab147b0a7", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "shape: (10, 4)
indexnamevaluescore
i64stri64i64
0"A"101
1"A"203
2"A"305
0"B"404
1"B"503
2"B"602
0"C"701
1"C"802
2"C"903
1"A"1004
\n", "shape: (4, 6)
index_0index_1index_2name_0name_1name_2
i64i64i64strstrstr
012"A""B""C"
121"A""B""A"
20-1"A""C""?"
01-1"B""C""?"
\n", "shape: (4, 3)
index_0index_1index_2
i64i64i64
012
012
012
1nullnull
" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "df_vertical = df.unstack(4, how='vertical', columns=['index', 'name'], fill_values=[-1, '?'])\n", "df_horizontal = df.unstack(3, how='horizontal', columns='index')\n", "row(df, df_vertical, df_horizontal)" ] }, { "cell_type": "markdown", "id": "0ca3fe96-e947-479b-aa48-54468b9a5729", "metadata": {}, "source": [ "## to_dummies\n", "\n", "`to_dummies()` は、カテゴリカルデータを**ダミー変数（one-hotエンコーディング）** に変換するためのメソッドです。指定した列に含まれる各カテゴリが新しい列として展開され、その列には **0** または **1** の値が割り当てられます。 \n", "\n", "- **0**: そのカテゴリに該当しない場合 \n", "- **1**: そのカテゴリに該当する場合 \n", "\n", "複数の列を指定した場合、それぞれの列に対してダミー変数を生成します。\n", "\n", "- `drop_first=False`（デフォルト）: すべてのカテゴリをダミー変数として作成します。\n", "- `drop_first=True`: **基準となるカテゴリ**（最初のカテゴリ）を除外し、残りのカテゴリのみをダミー変数として作成します。これは**多重共線性**を防ぐために使われます（回帰分析などの統計モデルで役立ちます）。" ] }, { "cell_type": "code", "execution_count": 8, "id": "c92f0ffe-0278-4cdf-b3fb-c6cdc78cf58a", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "shape: (7, 3)
indexnamevalue
i64stri64
0"A"10
1"A"20
0"B"40
1"B"50
0"C"70
1"C"80
1"A"100
\n", "shape: (7, 6)
index_0index_1name_Aname_Bname_Cvalue
u8u8u8u8u8i64
1010010
0110020
1001040
0101050
1000170
0100180
01100100
\n", "shape: (7, 4)
index_1name_Bname_Cvalue
u8u8u8i64
00010
10020
01040
11050
00170
10180
100100
" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "df_original = df.filter(pl.col('index') < 2).select('index', 'name', 'value')\n", "df_dummies1 = df_original.to_dummies(['index', 'name'], drop_first=False)\n", "df_dummies2 = df_original.to_dummies(['index', 'name'], drop_first=True)\n", "row(df_original, df_dummies1, df_dummies2)" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.12.2" } }, "nbformat": 4, "nbformat_minor": 5 }